להורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!
-
-
@REFAEL-2 לא העתקת את זה למיקום הנכון. העליתי כעת קובץ באט לעיל - תשתמש בו
לחילופין:
במקום הנתיב הזה
C:\Users\User.cache\lm-studio\models\dicta-il\dictalm2.0-instruct-GGUFתכניס את הקובץ לנתיב הזה:
%userprofile%\.cache\lm-studio\models\dicta-il\dictalm2.0-instruct-GGUF\ -
פתחתי את קובץ הBAT וזה מה שהוא נתן:
-
-
-
-
@REFAEL-2 לי זה פשוט כתב את זה עוד פעם
-
@tcrvodkxrvzurgho אתה והוא לא מדברים על אותו הדבר
-
@NH-LOCAL להוריד את קובץ הבאט מחדש?
-
@tcrvodkxrvzurgho כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL להוריד את קובץ הבאט מחדש?
לא. אתה צריך שהקובץ של המודל (ששוקל כמה ג'יגה) יהיה באותה תיקיה יחד עם קובץ הבאט. אחרת זה לא יעבוד לעולם
@REFAEL-2 כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL
זה ממש לארק בוא נוודא את זה: על איזה תוכנה אתה מדבר בדיוק?
-
@NH-LOCAL יש לקחת בחשבון שהגרסה הזו עברה קוונטיזציה, כלומר המודל המקורי אומן על 7 מיליארד מספרים שכל אחד מהם הוא 16 ביטים, וישנו תהליך מסויים להפוך כל מספר לבעל 4 ביטים, תוך איבוד מידע מסויים בהכרח. המודל המקורי דורש פי 4 זכרון ראם, וגם קצת יותר איכותי. החכמה היא לשמור על האיכות ככל האפשר. (זה כמו להוריד רזולוציה של תמונה)
יש שיטה מיוחדת שנקראת GPTQ שעושה את זה תוך כדי אימון קל עם דאטה סט קטן. https://huggingface.co/dicta-il/dictalm2.0-instruct-GPTQ
אבל הקובץ הזה הוא קוונטיזציה יותר פשוטה ופחות איכותית. ואגב, יש גם גרסת gguf ברזולוציה של 16.
מה שבאתי לומר שהאיכות על המחשב תהיה קצת פחות מלהשתמש בדמו שלהם.
![חיפוש גוגל בפורום](javascript:{bootbox.prompt({title:'<div style="text-align: center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400"></div>',placeholder:'כתוב מילים לחיפוש ב Google',buttons:{confirm:{label:'חיפוש'},cancel:{label:'ביטול'}},backdrop:true,callback:function(result){if(result!=null&&result!=''){var a=document.createElement('a');a.href='https://www.google.co.il/search?q=site:mitmachim.top '+encodeURIComponent(result.trim());a.target='_blank';a.click();}}})();};){kind=link}