להורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!
-
-
-
@REFAEL-2 לי זה פשוט כתב את זה עוד פעם
-
@tcrvodkxrvzurgho אתה והוא לא מדברים על אותו הדבר
-
@NH-LOCAL להוריד את קובץ הבאט מחדש?
-
@tcrvodkxrvzurgho כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL להוריד את קובץ הבאט מחדש?
לא. אתה צריך שהקובץ של המודל (ששוקל כמה ג'יגה) יהיה באותה תיקיה יחד עם קובץ הבאט. אחרת זה לא יעבוד לעולם
@REFAEL-2 כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL
זה ממש לארק בוא נוודא את זה: על איזה תוכנה אתה מדבר בדיוק?
-
@NH-LOCAL יש לקחת בחשבון שהגרסה הזו עברה קוונטיזציה, כלומר המודל המקורי אומן על 7 מיליארד מספרים שכל אחד מהם הוא 16 ביטים, וישנו תהליך מסויים להפוך כל מספר לבעל 4 ביטים, תוך איבוד מידע מסויים בהכרח. המודל המקורי דורש פי 4 זכרון ראם, וגם קצת יותר איכותי. החכמה היא לשמור על האיכות ככל האפשר. (זה כמו להוריד רזולוציה של תמונה)
יש שיטה מיוחדת שנקראת GPTQ שעושה את זה תוך כדי אימון קל עם דאטה סט קטן. https://huggingface.co/dicta-il/dictalm2.0-instruct-GPTQ
אבל הקובץ הזה הוא קוונטיזציה יותר פשוטה ופחות איכותית. ואגב, יש גם גרסת gguf ברזולוציה של 16.
מה שבאתי לומר שהאיכות על המחשב תהיה קצת פחות מלהשתמש בדמו שלהם.
-
@sivan22 אני מכיר קצת את הנושא ממודלים אחרים שהרצתי עם llama.cpp, אבל יש לציין שהיכולות של המודל עדיין מרשימות מאוד כשאני מריץ אותו על המחשב שלי, וגם הביצועים שלו נחמדים. (3-4 טוקנים בשנייה)
אם כי לאחר 2048 אסימונים הוא מאבד את זה לגמרי. לא ברור אם זו בעיה בגרסה הזו או עניין של הגדרה
מה למעשה הדגם המומלץ ביותר באיזון בין איכות לביצועים למיטב ידיעתך?
-
הרצתי את הקובץ של הג'יגה אחד בערך והוא ממש גרוע:
-
@tcrvodkxrvzurgho כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
הרצתי את הקובץ של הג'יגה אחד בערך והוא ממש גרוע:
לא מפתיע. גודל של ג'יגה 1 בשביל מודל שפה, זה מאוד מאוד קטן
(תחשוב שמח אנושי היה צריך להכנס לגודל של ג'יגה...) -
@NH-LOCAL כשאני מריץ את ה2 ג'יגה וכותב לו באנגלית הוא סבבה. אבל האמת שצריך לכתוב לו באנגלית וגם לתרגם את מה שהוא כותב אז צריך אינטרנט וזה לא ממש אופליין...
-
@tcrvodkxrvzurgho כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL כשאני מריץ את ה2 ג'יגה וכותב לו באנגלית הוא סבבה. אבל האמת שצריך לכתוב לו באנגלית וגם לתרגם את מה שהוא כותב אז צריך אינטרנט וזה לא ממש אופליין...
אתה בהחלט צודק. ממש לאחרונה עלה מודל בעברית מלאה. אבל הוא כבד יותר מהמודל באנגלית ששמתי בפוסט הראשי
![חיפוש גוגל בפורום](javascript:{bootbox.prompt({title:'<div style="text-align: center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400"></div>',placeholder:'כתוב מילים לחיפוש ב Google',buttons:{confirm:{label:'חיפוש'},cancel:{label:'ביטול'}},backdrop:true,callback:function(result){if(result!=null&&result!=''){var a=document.createElement('a');a.href='https://www.google.co.il/search?q=site:mitmachim.top '+encodeURIComponent(result.trim());a.target='_blank';a.click();}}})();};){kind=link}