להורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!
-
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
יש להוריד את הקובץ שבקישור הזה (כ-2 ג'יגה), זה הקובץ שמכיל את המודל עצמו:
אפשר את הקישור בצורה שפתוחה בקהילות נטפרי? הוא סגור בקהילה שלי.
נראה לי אם מוסיפים כמה תווים לא מוכרים זה יעבוד. -
-
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@aiib בבקשה:
https://huggingface.co/jartine/llava-v1.5-7B-GGUFהאתר הרשמי שלהם:
תוכל להדריך אותי בבקשה איך להריץ אותו?
-
@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@aiib בבקשה:
https://huggingface.co/jartine/llava-v1.5-7B-GGUFהאתר הרשמי שלהם:
תוכל להדריך אותי בבקשה איך להריץ אותו?
כתוב בפוסט הראשון
-
@יוסי-מחשבים כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@aiib בבקשה:
https://huggingface.co/jartine/llava-v1.5-7B-GGUFהאתר הרשמי שלהם:
תוכל להדריך אותי בבקשה איך להריץ אותו?
כתוב בפוסט הראשון
הוא המליץ לי על מודל שפה שמתמחה בעיקר בזיהוי תמונה, ההרצה דומה?!
-
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
כך תריצו מודל שפה על המחשב שלכם - שלב אחרי שלב
בעבר הלא רחוק, פרסמתי כאן את מודל השפה הראשון שהודלף לאינטרנט כקוד פתוח - מודל Llama של מטא.
מאז עברו הרבה מים בירדן, והתחום עבר שדרוגים עצומים. מטא עצמה הספיק לשחרר את המודל Llama 2 וממש לאחרונה גם את המודל Llama 3 שמציג ביצועים ששווים ל-gpt 3.5 במודל קטן בהרבה.
מלבד מטא, חברות וגופים רבים שחרור מודלים שונים ומשונים, כמו gemma של גוגל, mixtral של mistral, ועוד ועוד.השבוע מיקרוסופט הטילה פצצה בשחרורו של מודל חדש בשם Phi-3. מדובר במודל קטן במיוחד - בגודל של 3.8 מליארד פרמטרים בלבד (לשם השוואה -gpt 3.5 יש מאות מליארדי פרמטרים!), אך הוא מציג יכולות דומות ל-gpt 3.5!
יש לציין שמודל זה ודומיו עובדים ללא אינטרנט באופן מלא, והוא גם לא דורש אינטרנט בעת ההתקנה. למעשה, הוא לא דורש התקנה כלל... הוא נהדר גם למשימות כתיבת קוד, אך הוא מבין ומתבטא באנגלית בלבד.
הורדת הקבצים
הפעם המשימה ממש פשוטה - כל מה שאתם צריכים זה 3 קבצים בלבד, השוקלים בסך הכל כ-2 ג'יגה בלבד:
-
יש להוריד את הקובץ שבקישור הזה (כ-2 ג'יגה), זה הקובץ שמכיל את המודל עצמו:
-
לאחר מכן יש להוריד את הגרסה האחרונה של llamafile
יש לבחור בקובץ הראשון ברשימה - בפורמט כזה llamafile-X.X.X. -
לאחר מכן יש להוריד את קובץ ההפעלה הבא:
Start Language model.batאם יש לכם מחשב עם מעבד גרפי חזק - מומלץ להשתמש בקובץ הזה:
Start Language model on gpu.bat
לנוחות השימוש גם בעתיד מומלץ להכניס את שלושת הקבצים לתיקיה חדשה!
הרצת המודל בפועל
- הפעל את קובץ הבאט המצורף - המודל יפתח בדפדפן בתצוגה גרפית.
אמנם לא מוצלחת במיוחד. אבל זה עובד מהר וללא צורך בחיבור לרשת כלל!
כל שעליך לעשות זה להקליד תוכן כרצונך בחלונית שבתחתית החלון ולהקיש אנטר!
מכיון שהמודל רץ מהדפדפן, ניתן לתרגם את התוכן בקלות (עם רשת כמובן...)
הערות חשובות:
חשוב לשים לב:
הגדרתי שקובץ הבאט יריץ באופן אוטומטי את המודל הראשון שהוא מוצא, במקרה וישנם מספר דגמים בתיקיה אחת - קובץ הבאט יריץ את המודל הראשון שמופיע בתיקיה ויתעלם מהמודלים האחרים!מודלים אחרים:
ניתן לחפש מודלים נוספים בקישור זה. המודלים צריכים להיות בסיומת gguf בכדי שיתאימו להרצה עם llama.cpp. ככלל, ככל שהמודל מתקדם וגדול יותר, (במשקל - גודל הג'יגה של הקובץ, ובפרמטרים - מסומן עם האות B, למשל "70B" [באנגלית מליארד = ביליון. כלומר 70 מליארד פרמטרים], כך הוא יכביד יותר על המחשב ויעבוד לאט יותר, התאימו את המודל לעוצמת המחשב שלכם)
לרשימת התפתחויות מרכזיות בתחום הבינה המלאכותית:
https://nhlocal.github.io/AiTimeline
איזה יתרון יש לזה שהמודל נמצא בתוך המחשב, על פני זה שהמודל (gpt3 ו4) נגיש דרך האינטרנט?
-
-
-
@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
תוכל להדריך אותי בבקשה איך להריץ אותו?
זה עובד קצת אחרת מהמודל למעלה - אבל אפילו יותר בקלות.
כל מה שאתה צריך זה לפתוח שורת הפקודה ולהפעיל דרכה את הקובץ שהורדת. לא צריך שום קובץ נוסף! -
@יוסף3 כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
איזה יתרון יש לזה שהמודל נמצא בתוך המחשב, על פני זה שהמודל (gpt3 ו4) נגיש דרך האינטרנט?
היתרונות המרכזיים:
- עובד אופליין - בדיוק מה שאתה אומר: שזה נגיש בלי אינטרנט וזה מחייב אינטנרט.
- פרטיות - המידע שלך לא נשמר על ידי אף גורם חיצוני
-
-
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
לאחר מכן יש להוריד את הגרסה האחרונה של llamafile
יש לבחור בקובץ הראשון ברשימה - בפורמט כזה llamafile-X.X.X.מאיפה אני מוריד בתוך האתר?
-
@tcrvodkxrvzurgho מסמן לך מאיפה
-
-
@איינשטיין כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
Intel i5 טוב?
איזה דור (המספר אחרי הדגם של המעבד)
וכמה רם -
-
@איינשטיין כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL איזה רמה של מעבד צריך בשביל זה?
Intel i5 טוב?כן, מצוין. גם I3 טוב. ו-8 ג'יגה ראם זה מספיק
-
@3157686 מסובך מאוד. בעיקרון, אין מספיק תוכן בעברית באינטרנט בשביל לאמן את המודל בצורה טובה. בפועל, עם ההתפתחות בתחום - זה כן קרה, כמו למשל במודל gpt4 וקלאוד שמתבטאים מצויין גם בעברית.
לגבי המודל הספציפי PHI-3, מכיוון שהם הקפידו להקטין אותו כמה שיותר, הם לא יכלו להתאים אותו להרבה שפות - כי אז זה היה מגדיל את הקובץ מאוד ואת המשאבים שהוא צורך
![חיפוש גוגל בפורום](javascript:{bootbox.prompt({title:'<div style="text-align: center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400"></div>',placeholder:'כתוב מילים לחיפוש ב Google',buttons:{confirm:{label:'חיפוש'},cancel:{label:'ביטול'}},backdrop:true,callback:function(result){if(result!=null&&result!=''){var a=document.createElement('a');a.href='https://www.google.co.il/search?q=site:mitmachim.top '+encodeURIComponent(result.trim());a.target='_blank';a.click();}}})();};){kind=link}