להורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!
-
כך תריצו מודל שפה על המחשב שלכם - ב-2 שלבים
בעבר הלא רחוק, פרסמתי כאן את מודל השפה הראשון שהודלף לאינטרנט כקוד פתוח - מודל Llama של מטא.
מאז עברו הרבה מים בירדן, והתחום עבר שדרוגים עצומים. מטא עצמה הספיק לשחרר את המודל Llama 2 וממש לאחרונה גם את המודל Llama 3 שמציג ביצועים ששווים ל-gpt 3.5 במודל קטן בהרבה.
מלבד מטא, חברות וגופים רבים שחרור מודלים שונים ומשונים, כמו gemma של גוגל, mixtral של mistral, ועוד ועוד.השבוע מיקרוסופט הטילה פצצה בשחרורו של מודל חדש בשם Phi-3. מדובר במודל קטן במיוחד - בגודל של 3.8 מליארד פרמטרים בלבד (לשם השוואה -gpt 3.5 יש מאות מליארדי פרמטרים!), אך הוא מציג יכולות דומות ל-gpt 3.5!
יש לציין שמודל זה ודומיו עובדים ללא אינטרנט באופן מלא, והוא גם לא דורש אינטרנט בעת ההתקנה. למעשה, הוא לא דורש התקנה כלל... הוא נהדר גם למשימות כתיבת קוד, אך הוא מבין ומתבטא באנגלית בלבד.
הורדת הקבצים
הפעם המשימה ממש פשוטה - כל מה שאתם צריכים זה 3 קבצים בלבד, השוקלים בסך הכל כ-2 ג'יגה בלבד:
-
יש להוריד את הקובץ שבקישור הזה (כ-2 ג'יגה), זה הקובץ שמכיל את המודל עצמו:
-
לאחר מכן יש להוריד את הגרסה האחרונה של llamafile
יש לבחור בקובץ הראשון ברשימה - בפורמט כזה llamafile-X.X.X. -
לאחר מכן יש להוריד את קובץ ההפעלה הבא:
Start Language model.batאם יש לכם מחשב עם מעבד גרפי חזק - מומלץ להשתמש בקובץ הזה:
Start Language model on gpu.bat
לנוחות השימוש גם בעתיד מומלץ להכניס את שלושת הקבצים לתיקיה חדשה!
הרצת המודל בפועל
- הפעל את קובץ הבאט המצורף - המודל יפתח בדפדפן בתצוגה גרפית.
אמנם לא מוצלחת במיוחד. אבל זה עובד מהר וללא צורך בחיבור לרשת כלל!
כל שעליך לעשות זה להקליד תוכן כרצונך בחלונית שבתחתית החלון ולהקיש אנטר!
מכיון שהמודל רץ מהדפדפן, ניתן לתרגם את התוכן בקלות (עם רשת כמובן...)
הערות חשובות:
חשוב לשים לב:
הגדרתי שקובץ הבאט יריץ באופן אוטומטי את המודל הראשון שהוא מוצא, במקרה וישנם מספר דגמים בתיקיה אחת - קובץ הבאט יריץ את המודל הראשון שמופיע בתיקיה ויתעלם מהמודלים האחרים!מודלים אחרים:
ניתן לחפש מודלים נוספים בקישור זה. המודלים צריכים להיות בסיומת gguf בכדי שיתאימו להרצה עם llama.cpp. ככלל, ככל שהמודל מתקדם וגדול יותר, (במשקל - גודל הג'יגה של הקובץ, ובפרמטרים - מסומן עם האות B, למשל "70B" [באנגלית מליארד = ביליון. כלומר 70 מליארד פרמטרים], כך הוא יכביד יותר על המחשב ויעבוד לאט יותר, התאימו את המודל לעוצמת המחשב שלכם)
לרשימת התפתחויות מרכזיות בתחום הבינה המלאכותית:
https://nhlocal.github.io/AiTimeline
-
-
@NH-LOCAL כתב בלהורדה | Phi-3 מודל שפה להרצה אופליין - מתאים לכל מחשב!:
כך תריצו מודל שפה על המחשב שלכם - שלב אחרי שלב
בעבר הלא רחוק, פרסמתי כאן את מודל השפה הראשון שהודלף לאינטרנט כקוד פתוח - מודל Llama של מטא.
מאז עברו הרבה מים בירדן, והתחום עבר שדרוגים עצומים. מטא עצמה הספיק לשחרר את המודל Llama 2 וממש לאחרונה גם את המודל Llama 3 שמציג ביצועים ששווים ל-gpt 3.5 במודל קטן בהרבה.
מלבד מטא, חברות וגופים רבים שחרור מודלים שונים ומשונים, כמו gemma של גוגל, mixtral של mistral, ועוד ועוד.השבוע מיקרוסופט הטילה פצצה בשחרורו של מודל חדש בשם Phi-3. מדובר במודל קטן במיוחד - בגודל של 3.8 מליארד פרמטרים בלבד (לשם השוואה -gpt 3.5 יש מאות מליארדי פרמטרים!), אך הוא מציג יכולות דומות ל-gpt 3.5!
יש לציין שמודל זה ודומיו עובדים ללא אינטרנט באופן מלא, והוא גם לא דורש אינטרנט בעת ההתקנה. למעשה, הוא לא דורש התקנה כלל... הוא נהדר גם למשימות כתיבת קוד, אך הוא מבין ומתבטא באנגלית בלבד.
הורדת הקבצים
הפעם המשימה ממש פשוטה - כל מה שאתם צריכים זה 3 קבצים בלבד, השוקלים בסך הכל כ-2 ג'יגה בלבד:
-
יש להוריד את הקובץ שבקישור הזה (כ-2 ג'יגה), זה הקובץ שמכיל את המודל עצמו:
-
לאחר מכן יש להוריד את הגרסה האחרונה של llamafile
יש לבחור בקובץ הראשון ברשימה - בפורמט כזה llamafile-0.7.3. -
לאחר מכן יש להוריד את קובץ ההפעלה הבא:
Start Language model.batאם יש לכם מחשב עם מעבד גרפי חזק - מומלץ להשתמש בקובץ הזה:
Start Language model on gpu.bat
לנוחות השימוש גם בעתיד מומלץ להכניס את שלושת הקבצים לתיקיה חדשה!
הרצת המודל בפועל
- הפעל את קובץ הבאט המצורף - המודל יפתח בדפדפן בתצוגה גרפית.
אמנם לא מוצלחת במיוחד. אבל זה עובד מהר וללא צורך בחיבור לרשת כלל!
כל שעליך לעשות זה להקליד תוכן כרצונך בחלונית שבתחתית החלון ולהקיש אנטר!
מכיון שהמודל רץ מהדפדפן, ניתן לתרגם את התוכן בקלות (עם רשת כמובן...)
הערות חשובות:
חשוב לשים לב:
הגדרתי שקובץ הבאט יריץ באופן אוטומטי את המודל הראשון שהוא מוצא, במקרה וישנם מספר דגמים בתיקיה אחת - קובץ הבאט יריץ את המודל הראשון שמופיע בתיקיה ויתעלם מהמודלים האחרים!מודלים אחרים:
ניתן לחפש מודלים נוספים בקישור זה. המודלים צריכים להיות בסיומת gguf בכדי שיתאימו להרצה עם llama.cpp. ככלל, ככל שהמודל מתקדם וגדול יותר, (במשקל - גודל הג'יגה של הקובץ, ובפרמטרים - מסומן עם האות B, למשל "70B" [באנגלית מליארד = ביליון. כלומר 70 מליארד פרמטרים], כך הוא יכביד יותר על המחשב ויעבוד לאט יותר, התאימו את המודל לעוצמת המחשב שלכם)
לרשימת התפתחויות מרכזיות בתחום הבינה המלאכותית:
https://nhlocal.github.io/AiTimeline
מה עם mac, לינוקס וכו?
והאם אפשר להריץ את זה דרך שורת הפקודה ולא מהדפדפן? -
-
@MGM-IVR זה מתאים גם למאק וללינוקס גם לפלטפורמות נוספות.
האם ניתן להריץ אותו משורת הפקודה? כמובן. התיעוד המלא נמצא במאגר של llamafile:
https://github.com/Mozilla-Ocho/llamafileהשתדלתי להתאים את המדריך למשתמש הפשוט. שמעדיף ממשק גרפי על שורת הפקודה, ומשתמש לרוב בווינדוס -
-
@3157686 דוקא ממש לפני שבוע שוחרר מודל למה 3 של מטא שמבין עברית לא רע. מודל ה-70B שלהם גם מדבר עברית ממש טוב. הבעיה הקטנה היא שצריך מחשב מטורף בשביל להריץ אותו...
כרגע הייתי ממליץ לך על מודל ה-8B שמציג יכולות יפות. אבל הוא רץ הרבה יותר לאט:
תוכל לבחור אחד מהרשימה ולהוריד אותו. ההבדלים בין הדגמים מתבטאים בכמה הם יהיו איטיים / יכבידו על המחשב. כמובן שככל שהמודל שוקל יותר הוא טוב יותר אבל גם איטי יותר, וכן להיפך.
אם יש לך 16 ג'יגה ראם על המחשב תוכל לבחור את אחד הקבצים הגדולים יותר.https://huggingface.co/QuantFactory/Meta-Llama-3-8B-Instruct-GGUF/tree/main
-
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@3157686 דוקא ממש לפני שבוע שוחרר מודל למה 3 של מטא שמבין עברית לא רע. מודל ה-70B שלהם גם מדבר עברית ממש טוב. הבעיה הקטנה היא שצריך מחשב מטורף בשביל להריץ אותו...
טוב חבל אנחנו נמתין בסבלנות 🤌🤌🤌🤌🤌
אבל שאפו ענק על זה@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
כרגע הייתי ממליץ לך על מודל ה-8B שמציג יכולות יפות. אבל הוא רץ הרבה יותר לאט:
תוכל לבחור אחד מהרשימה ולהוריד אותו. ההבדלים בין הדגמים מתבטאים בכמה הם יהיו איטיים / יכבידו על המחשב. כמובן שככל שהמודל שוקל יותר הוא טוב יותר אבל גם איטי יותר, וכן להיפך.אני לא אולך לתקוע לי את המחשב בשביל זה
נמתין שיהיה דברים יותר טובים -
@עם-ישראל-חיי במילים פשוטות: כמו צ'אט GPT, שאתה יכול להפעיל כמו תוכנה על המחשב בלי אינטרנט
-
-
@עם-ישראל-חיי כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
כאילו זה אוף ליין ומה אני יכול לשאול אותו שאלות? זה באנגלית נכון?
סליחה שאני גונב ל @NH-LOCAL את התשובה
אבל ממש כך -
@3157686 כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL
מתי יהיה אפליקציה???
זה אפשרי בכלל??
אולי זה יותר מסובךמצטרף גם לשאלה
-
@3157686 כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL
מתי יהיה אפליקציה???אין לי מושג. לא אני יוצר את הדברים האלו.
זה אפשרי בכלל??
בודאי.
אולי זה יותר מסובך
לא בדיוק. הנקודה היא שאין שום מצב בעולם שנגנים וכדו' שנפוצים בציבור שלנו יצליחו להריץ מודל שפה.
הרצה של מודלים על אפליקציה יתאפשרו בכל מקרה רק על סמארטפונים וטלפונים עם מעבדים חזקים יחסית -
-
-
@אלף-שין כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL
אם כבר יש כזה מדריך,
אולי מישהוא יוכל להעלות לדרייב את הקבצים?בשביל מה? קובץ של 2 ג'יגה זה לא קובץ שלוקח דקה להעלות ולהוריד מהקישור שהבאתי - לא כזה מסובך
ככלל, זה לא רעיון טוב, מכיוון שהתחום מתחדש ומשתדרג כל הזמן - ככה שאין טעם להעלות קובץ ענק שעוד חודש לא יהיה רלוונטי
-
@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL יש מודל שמתמודד עם תמונות בצורה טובה [לא יצירת תמונות, אלא פיענוח] וניתן להתקין אותו על המחשב האישי ולאמן אותו בצורה עצמאית ללא ידע?
אימון זה דבר שדורש משאבים עצומים וגדולים בהרבה מסתם שימוש במודל, שיכול להתאים למחשב רגיל.
לשאלתך, יש מודל כזה - שמזהה גם תמונות וגם יוצר טקסט: להורדה מכאן:
https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llava-v1.5-7b-Q4_K.gguf?download=true@י-פל כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
כמה ראם המודל של מיקרוסופט לוקח? ושל לאמה?
הראם בדרך כלל הוא בהתאם לגודל הקובץ. כלומר: קובץ של 2 ג'יגה יתפוס 2 ג'יגה ראם
![חיפוש גוגל בפורום](javascript:{bootbox.prompt({title:'<div style="text-align: center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400"></div>',placeholder:'כתוב מילים לחיפוש ב Google',buttons:{confirm:{label:'חיפוש'},cancel:{label:'ביטול'}},backdrop:true,callback:function(result){if(result!=null&&result!=''){var a=document.createElement('a');a.href='https://www.google.co.il/search?q=site:mitmachim.top '+encodeURIComponent(result.trim());a.target='_blank';a.click();}}})();};){kind=link}