להורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!
-
@aiib אתה צודק שאפשר בעיקרון להריץ את המודל על מחשב רגיל. אבל הוא דורש לפחות 16 ג'יגה של זיכרון.
מצאתי מודל אחר שאותו אחד העלה שמותאם לעבוד כצ'אט ולא כהשלמת טקסט:
https://huggingface.co/yam-peleg/Hebrew-Gemma-11B-Instruct
@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL מה הכוונה השלמת טקסט?
במקור כל מה שמודל שפה יודע לעשות זה להשלים טקסט. כלומר, אם אתה כותב לו "איש אחד הלך" הוא ידע להמשיך את המשפט ולכתוב "...ברחוב וראה פתאום כלב קטן שהולך על המדרכה".
היכולת של מודל שפה ל"התכתב" ולתפקד כמו צ'אט היא חידוש לא קטן
עדכון:
@aiib מצאתי גרסה של מודל מכוונן לעברית שמותאם גם למחשבים חלשים יותר.
אפשר להוריד אותה מכאן ולהפעיל באותה צורה כמו בפוסט הראשי:אזהרה: בדקתי אותה על המחשב שלי והיא איטית להחריד, הניסוח שלה ברמה נמוכה ורמת ידיעת העובדות שלה אפסית.
(הרב שטיינמן הוא בשבילה הרב של יהדות הונגריה והולנד בשנות השלושים וה-21...) -
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@aiib יתכן שהאנטי וירוס חסם את זה
אויש... אז צריך להוריד מההתחלה?!....
האמת היא שלקראת הסוף קיבלתי שגיאה של IDM והיה כתוב משהו לגבי חומת אש וההורדה הפסיקה וחידשתי אותה והיא הושלמה.
אין ברירה? לחכות כמה שעות להורדה נוספת?
-
@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
אויש... אז צריך להוריד מההתחלה?!....
לא אין צורך. לפי הצילום מסך שהבאת, לא הורדת את הקובץ הנכון. זה לא כל כך נורא, אבל זה אומר שלא תוכל להשתמש בזה עם הוספת EXE, אלא פשוט תשתמש בזה באותה צורה כמו מה שהבאתי למעלה. אתה יכול להפעיל את זה עם קובץ הבאט שהעלתי
-
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
אויש... אז צריך להוריד מההתחלה?!....
לא אין צורך. לפי הצילום מסך שהבאת, לא הורדת את הקובץ הנכון. זה לא כל כך נורא, אבל זה אומר שלא תוכל להשתמש בזה עם הוספת EXE, אלא פשוט תשתמש בזה באותה צורה כמו מה שהבאתי למעלה. אתה יכול להפעיל את זה עם קובץ הבאט שהעלתי
הורדתי את הקובץ שאתה הבאת לי עם קיצור ישיר להורדה...
אני ביקשתי ממך מודל שמתעסק בעיקר בתמונות והבאת לי את הקישור הזה.כשאני משתמש בקובץ BAT אני מקבל את התוצאה הבאה:
-
@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
הורדתי את הקובץ שאתה הבאת לי עם קיצור ישיר להורדה...
כנראה שטעיתי. זה הקישור הנכון אם אתה רוצה:
https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llava-v1.5-7b-q4.llamafile?download=true@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
כשאני משתמש בקובץ BAT אני מקבל את התוצאה הבאה:
אתה צריך שבאותה תיקיה יהיה את קובץ המודל שהורדת (ששוקל כ-4 ג'יגה) + קובץ הבאט + קובץ llamafile (ששוקל כמה עשרות מ"ב). כמובן שעליך להסיר את סיומת ה-exe משם הקובץ ולהחזיר אותו לשם המקורי
-
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
- קובץ llamafile
זה מה שהיה חסר...
חשבתי שזה קשור רק למודל הראשון שהבאת.איך אני בטוח באמת שהוא מפעיל את המודל של התמונות ולא רק את המודל הראשון?
נ.ב זה תוקע לי את המחשב... [מעבד דור 12 סיומת P ו16 גיגה ראם...] שים לב שהוא מביא לי את הדיסק [!!] ל100 אחוז:
-
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
איך אני בטוח באמת שהוא מפעיל את המודל של התמונות ולא רק את המודל הראשון?
פשוט מאוד: תוודא שרק המודל החדש נמצא בתיקיה עם קובץ הבאט
יש לי שם רק מודל אחד. אני התכוונתי לשאול האם זה בכלל יכול להפעיל את המודל שלי [כי במקור הבאת אותו כהפעלה למודל אחר]
-
@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
יש לי שם רק מודל אחד. אני התכוונתי לשאול האם זה בכלל יכול להפעיל את המודל שלי [כי במקור הבאת אותו כהפעלה למודל אחר]
באופן עקרוני הקובץ הזה מתאים להפעלה עבור כל מודל שהוא בפורמט gguf.
בכל מקרה - אם זה עובד לך - מסתבר שזה עובד... -
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
בכל מקרה - אם זה עובד לך - מסתבר שזה עובד...
אני לא יודע אם זה עובד או לא... המחשב נתקע...
חשבתי שזה אמור לתפוס רק את הראם אבל זה מביא לי את הדיסק ל100 אחוז ועושה מסך שחור. זה תקין? -
@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
חשבתי שזה אמור לתפוס רק את הראם אבל זה מביא לי את הדיסק ל100 אחוז ועושה מסך שחור. זה תקין?
העובדה שהוא מכביד על הדיסק והזיכרון - תקינה. אבל העובדה שהמסך שחור - לא.
זה די מוזר. אצלי המודל הספציפי הזה עובד עם 8 ג'יגה ראם בלבד.לפי הצילומי מסך, אני רואה שחלון הצ'אט נפתח לך. בדרך כלל, אם הוא לא קורס קודם - זה אומר שהמודל עובד
-
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
העובדה שהוא מכביד על הדיסק והזיכרון - תקינה. אבל העובדה שהמסך שחור - לא.
זה די מוזר. אצלי המודל הספציפי הזה עובד עם 8 ג'יגה ראם בלבדמילא הראם [שאמנם הגיע ל97 אחוז ועדיין לא התמלא] מלא כבר קודם לכן מהדפדפן [75 אחוז מלא גם בלי המודל] אבל הדיסק שמגיע מכמעט 0 למאה בגלל המודל קצת מפחיד אותי...
-
יש את זה בדריב
-
@שמואל-רבינוביץ כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
יש את זה בדריב
כבר שאלו את זה, והתשובה כרגע היא לא. אלא אם כן מישהו יתנדב לעשות את זה