להורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!

[NH.LOCAL]

@ענוה-גדולה-מכולם אין צורך למחוק שום דבר, רק את הקובץ שהורדת. הוא אמור להיות בהורדות.
אם אתה לא מוצא אותו, תבצע חיפוש שלו בתוכנת Everything

[הרן]

זה מאט את המחשב גם כשהוא סגור?

[אלף שין]

@הרן
ממש לא,
זה כמו תוכנה בגירסא ניידת.

[YOLEVI]

@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:

@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:

@NH-LOCAL יש מודל שמתמודד עם תמונות בצורה טובה [לא יצירת תמונות, אלא פיענוח] וניתן להתקין אותו על המחשב האישי ולאמן אותו בצורה עצמאית ללא ידע?

אימון זה דבר שדורש משאבים עצומים וגדולים בהרבה מסתם שימוש במודל, שיכול להתאים למחשב רגיל.

לשאלתך, יש מודל כזה - שמזהה גם תמונות וגם יוצר טקסט: להורדה מכאן:
https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llava-v1.5-7b-Q4_K.gguf?download=true

@י-פל כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:

כמה ראם המודל של מיקרוסופט לוקח? ושל לאמה?

הראם בדרך כלל הוא בהתאם לגודל הקובץ. כלומר: קובץ של 2 ג'יגה יתפוס 2 ג'יגה ראם

זה תופס כל הזמן או רק בעת שימוש במודול?

[דוד משה 1]

@YOLEVI כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:

רק בעת שימוש במודול!!!!

[ivrפון]

@NH-LOCAL כתב ב[להורדה | Phi-3 מודל שפה להרצה אופליין - מתאים לכל מחשב!]

• הפעל את קובץ הבאט המצורף - המודל יפתח בדפדפן בתצוגה גרפית.
  אמנם לא מוצלחת במיוחד. אבל זה עובד מהר וללא צורך בחיבור לרשת כלל!

אני מפעיל את הקובץ באט הוא בכלל לא נפתח בדפדפן

[א.מ.ד.]

@NH-LOCAL @sivan22 שתי שאלות:

1. יש אפשרות לאמן את המודל של דיקטה שהועלה כאן באמצעות תוכנת LMStudio בחומרים שאני רוצה?
2. יש אפשרות להעלות מסמכים למודל ולשאול אותו שאלות עליהם ("צ'אט עם מסמכים") בדומה ל-ChatGPT?
   תודה רבה!!!

[NH.LOCAL]

@א-מ-ד לגבי אימון עם נתונים שלך - כלל אצבע חשוב: אימון הוא הרבה הרבה יותר כבד וצורך משאבים מהרצה פשוטה של מודל שפה.

לגבי העלאת מסמכים - לא נראה שקיימת אפשרות כזו ב-LMSTUDIO

[א.מ.ד.]

@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:

@א-מ-ד לגבי אימון עם נתונים שלך - כלל אצבע חשוב: אימון הוא הרבה הרבה יותר כבד וצורך משאבים מהרצה פשוטה של מודל שפה.

אני לא מתכוון לאימון כזה שהוא "ישב" על האינטרנט ו"ילמד" אותו אלא פשוט להכניס לו חומרים מותאמים אישית שהוא יענה על פיהם גם בצ'אטים אחרים איתו.
(כמובן שאלתי את המודל עצמו והוא טען שהוא לא יזכור "במיוחד" את השיחה הנוכחית, מה שאולי אומר שאם אני ישגע אותו שוב ושוב עם החומר שאני רוצה להכניס לו אז הוא יקלוט אותו לתמיד? מקוה שאני לא נשמע בור בנושא...)

[NH.LOCAL]

@א-מ-ד מה שאתה מבקש נקרא RAG, והיישום שלו די מורכב, ולא נראה לי אפשרי באמצעות LMSTUDIO.

יש מאגר בגיטאהב שעושה את זה, אבל הוא לא מתאים לכל מודל:
https://github.com/run-llama/llama_index

[NH.LOCAL]

@א-מ-ד כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:

(כמובן שאלתי את המודל עצמו והוא טען שהוא לא יזכור "במיוחד" את השיחה הנוכחית, מה שאולי אומר שאם אני ישגע אותו שוב ושוב עם החומר שאני רוצה להכניס לו אז הוא יקלוט אותו לתמיד? מקוה שאני לא נשמע בור בנושא...)

כמובן שלא. אל תאמין לשום דבר שהמודל אומר על "עצמו". הוא עלול גם לשכנע אותך שהוא יכול לשלוח לך מייל (קרה לי בעבר, ודי האמנתי לו עד שהבנתי מה זה בעצם מודל שפה)