להורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!
-
@tcrvodkxrvzurgho כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL להוריד את קובץ הבאט מחדש?
לא. אתה צריך שהקובץ של המודל (ששוקל כמה ג'יגה) יהיה באותה תיקיה יחד עם קובץ הבאט. אחרת זה לא יעבוד לעולם
@REFAEL-2 כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL
זה ממש לארק בוא נוודא את זה: על איזה תוכנה אתה מדבר בדיוק?
-
@NH-LOCAL יש לקחת בחשבון שהגרסה הזו עברה קוונטיזציה, כלומר המודל המקורי אומן על 7 מיליארד מספרים שכל אחד מהם הוא 16 ביטים, וישנו תהליך מסויים להפוך כל מספר לבעל 4 ביטים, תוך איבוד מידע מסויים בהכרח. המודל המקורי דורש פי 4 זכרון ראם, וגם קצת יותר איכותי. החכמה היא לשמור על האיכות ככל האפשר. (זה כמו להוריד רזולוציה של תמונה)
יש שיטה מיוחדת שנקראת GPTQ שעושה את זה תוך כדי אימון קל עם דאטה סט קטן. https://huggingface.co/dicta-il/dictalm2.0-instruct-GPTQ
אבל הקובץ הזה הוא קוונטיזציה יותר פשוטה ופחות איכותית. ואגב, יש גם גרסת gguf ברזולוציה של 16.
מה שבאתי לומר שהאיכות על המחשב תהיה קצת פחות מלהשתמש בדמו שלהם.
-
@sivan22 אני מכיר קצת את הנושא ממודלים אחרים שהרצתי עם llama.cpp, אבל יש לציין שהיכולות של המודל עדיין מרשימות מאוד כשאני מריץ אותו על המחשב שלי, וגם הביצועים שלו נחמדים. (3-4 טוקנים בשנייה)
אם כי לאחר 2048 אסימונים הוא מאבד את זה לגמרי. לא ברור אם זו בעיה בגרסה הזו או עניין של הגדרה
מה למעשה הדגם המומלץ ביותר באיזון בין איכות לביצועים למיטב ידיעתך?
-
הרצתי את הקובץ של הג'יגה אחד בערך והוא ממש גרוע:
-
@tcrvodkxrvzurgho כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
הרצתי את הקובץ של הג'יגה אחד בערך והוא ממש גרוע:
לא מפתיע. גודל של ג'יגה 1 בשביל מודל שפה, זה מאוד מאוד קטן
(תחשוב שמח אנושי היה צריך להכנס לגודל של ג'יגה...) -
@NH-LOCAL כשאני מריץ את ה2 ג'יגה וכותב לו באנגלית הוא סבבה. אבל האמת שצריך לכתוב לו באנגלית וגם לתרגם את מה שהוא כותב אז צריך אינטרנט וזה לא ממש אופליין...
-
@tcrvodkxrvzurgho כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL כשאני מריץ את ה2 ג'יגה וכותב לו באנגלית הוא סבבה. אבל האמת שצריך לכתוב לו באנגלית וגם לתרגם את מה שהוא כותב אז צריך אינטרנט וזה לא ממש אופליין...
אתה בהחלט צודק. ממש לאחרונה עלה מודל בעברית מלאה. אבל הוא כבד יותר מהמודל באנגלית ששמתי בפוסט הראשי
-
לאחר מכן יש להוריד את הגרסה האחרונה של llamafile
יש לבחור בקובץ הראשון ברשימה - בפורמט כזה llamafile-X.X.X.@משה-מזרחי היקר!
תודה רבה מאד!!
עכשיו שהעלית כבר את המודל, תוכל להשלים את החסר האחרון ולהעלות את התוכנה עצמה? -
-
@משה-מזרחי כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@אלף-שין
אני צריך קישורים ישירים מעודכניםבבקשה. (הגרסה החדשה יותר לא עובדת טוב עם המודל העברי)
https://github.com/Mozilla-Ocho/llamafile/releases/download/0.8/llamafile-0.8
-
-
-
-
-
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@aiib לא מסתדר בכלל... אבל זה כן יכולת שהגיעו אליה מבחינת טכנולוגית, גם אם זה בלתי נתפס
נכון, אבל הפער בין דרגה לדרגה הבאה ביותר הוא כ"כ גדול שלא מופקע שבעוד חודש זה כבר יירד לגיגה. אם הצליחו להציג מודל שקרוב לGPT3.5 בגודל של 3 גיגה שום דבר לא מופקע...
-
@REFAEL-2 כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL
אני מדבר על להריץ את מודל השפה של דיקטה בתוכנת LM סטודיואז באמת לא ברור למה זה לא עובד אחרי שהפעלת את הסקריפט שלי.
אולי תעלה צילומי מסך רלוונטיים?
![חיפוש גוגל בפורום](javascript:{bootbox.prompt({title:'<div style="text-align: center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400"></div>',placeholder:'כתוב מילים לחיפוש ב Google',buttons:{confirm:{label:'חיפוש'},cancel:{label:'ביטול'}},backdrop:true,callback:function(result){if(result!=null&&result!=''){var a=document.createElement('a');a.href='https://www.google.co.il/search?q=site:mitmachim.top '+encodeURIComponent(result.trim());a.target='_blank';a.click();}}})();};){kind=link}