המלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם
-
לפני תקופה הודלף מודל השפה Llama, מבית מטא כקוד פתוח והועלה לגיטהאב. מהרגע שהודלף פורסמו גרסאות רבות והפופולריות שלו בקרב מפתחים הלכה וגברה.
לפני מספר שבועות פורסם המודל החדש Llama2 של מטא בשיתוף מיקרוסופט, כקוד פתוח רשמי. בין השאר פורסם מודל עוצמתי עם 70 מיליארד פרמטרים (לעומת 170 ב-GPT), מה שמשנה את כללי המשחק בעולם מודלי השפה הגדולים (Large Language Model)
מדובר במודל ענק עם פונטציאל אדיר, אבל בפוסט הזה אביא דוקא מודל קטן יותר שמבוסס על המודל המקורי, שמתאים להרצה על כל מחשב (מעבד i3 עם 8 ג'יגה ראם ומעלה).
יש לציין שהמודל עובד ללא אינטרנט באופן מלא, והוא גם לא דורש אינטרנט בעת ההתקנה. הוא נהדר גם למשימות כתיבת קוד, אבל זמין באנגלית בלבד.
כל מה שצריך לעשות זה להוריד את הקבצים הבאים:
- יש להוריד את הקובץ שבקישור הזה (כ-4 ג'יגה), זה הקובץ שמכיל את המודל עצמו:
קישור ישיר למודל הספציפי בו השתמשתי - https://huggingface.co/localmodels/Llama-2-7B-Chat-ggml/blob/main/llama-2-7b-chat.ggmlv3.q4_0.bin
ניתן להוריד מתוך הרשימה של דגמים נוספים דומים, יש שם גם הסבר על ההבדלים בין המודלים - https://huggingface.co/localmodels/Llama-2-7B-Chat-ggml.-
לאחר מכן יש להוריד את קבצי "llama.cpp", שמריצים את מודל השפה. זהו קובץ קטן למדי.
המאגר מתעדכן כל כמה שעות, כך שכדאי פשוט להוריד את הקובץ החדש ביותר מתוך הרשימה הבאה. אני אישית בוחר בסוג הזה משום מה "llama-master-ee1b497-bin-win-avx-x64.zip", אך אודה ולא אבוש שאין לי מושג מה ההבדל בין הדגמים.כפי הנראה כולם אמורים לעבוד על ווינדוס.יש להדגיש שחלק מהקבצים לא יעבדו לכם - עדיף לבחור בקובץ שהמלצתי! -
לאחר מכן הורד את קובץ ההפעלה הבא:
Start Llama2.bat -
חלץ את קובץ הזיפ לתיקיה והעתק לתוכו את שאר הקבצים שהורדת.
-
כעת, הפעל את קובץ הבאט המצורף - המודל יתחיל לפעול, כל שעליך לעשות זה להקליד תוכן כרצונך ולהקיש אנטר. (הוא עובד בעיקר באנגלית, בעברית הוא יותר גרוע מגרוע)
חשוב לשים לב: התאמתי את קובץ הבאט לכל דגם שהמשתמש יוריד, אך חשוב שבתוך התיקיה יהיה רק קובץ "bin" אחד!
ניתן לחפש מודלים נוספים באתר "huggingface", חלקם דורשים שליחת בקשת צפייה למטא. ככלל, ככל שהמודל מתקדם וגדול יותר, (במשקל - גודל הג'יגה של הקובץ, ובפרמטרים - מסומן עם האות B, למשל "70B" [באנגלית מליארד = ביליון. כלומר 70 מליארד פרמטרים], כך הוא יכביד יותר על המחשב ויעבוד לאט יותר, התאימו את המודל לעוצמת המחשב שלכם)
- יש להוריד את הקובץ שבקישור הזה (כ-4 ג'יגה), זה הקובץ שמכיל את המודל עצמו:
-
-
@aiib קוד פתוח! ועובד אופליין! אתה גם לא צריך לשלם ל-OPENAI על כל שימוש ב-API...
אגב, אף אחד לא מתיימר לומר שהוא טוב יותר מ-GPT 4 ביכולות שלו, בדיוק כמו שסטאבל דיפוזיין, פחות טוב ממידג'רני, אבל למרות זאת הוא פופולרי בהרבה בשל היותו חינמי וקוד פתוח
-
-
@aiib רק מודל שפה, כמובן. לא ידוע לי על מודל כלשהו ברחבי העולם כולו שמשלב בין הדברים הללו, למעט GPT4 שרק יכול לזהות תמונות ולא ליצור, ומודל עתידי של מטא שלא שוחרר עדיין
למשתמש הפשוט זה עשוי לעזור, בתור מודל שלא מצריך אינטרנט וגם לא מחשב של 7000 ש"ח
-
-
@aiib לאו דוקא. מה שפרסמתי כאן מאפשר בסך הכל צ'אט פשוט, ולא אימון וכו'. בשביל זה יש מודלים כמו זה:
https://github.com/abetlen/llama-cpp-pythonבאופן כללי, קוד פתוח מאפשר שכלול ושיפור של קוד או תוכנה, בלי השקעה גדולה מידי של משאבים ועבודה של חברה וכדומה, על ידי ניצול כוחם של היחידים
-
@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:
לאו דוקא. מה שפרסמתי כאן מאפשר בסך הכל צ'אט פשוט, ולא אימון וכו'
אני לא מדבר על אימון אלא על שינוי והתאמה לפי הצורך. כמו שיש פרוקיטים רבים שמוכוונים לצרכים שונים וכולם מבוססים על אותו AI כמו AI מיועד ללימוד אנגלית AI לתשובות בהלכה וכן הלאה
-
@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:
אולי אני טועה. תקן אותי אם כן
אני לא מבין בזה אז יכול להיות מאד שאתה צודק...
אני הבנתי את המושג אימון לשיפור המודל כמו שGPT ואחרים משתפרים ע"י אימון.
אבל ייתכן שאתה צודק ושהדרך להכוונה של מודל הוא ע"י אימון מחדש למטרה המסוימת -
@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:
קישור ישיר למודל הספציפי בו השתמשתי - https://huggingface.co/localmodels/Llama-2-7B-Chat-ggml/blob/main/llama-2-7b-chat.ggmlv3.q4_0.bin
אשמח אם מישהו יוכל להעלות את זה [ועוד קבצי מודלים] לשרת של הפורום, מכיון שהאתר huggingface נחסם בחדרי מחשבים.
-
-
-
@NH-LOCAL
אני לי מושג אם כאן זה המקום אבל בכל אופן אשאל
יש לי אתר שמוכר מוצרים מסוימים ברצוני לשלב בו בוט AI שידע לענות על שאלות לקוחות ולא יפזול לנושאים אחרים
מה הדרך לעשות זאת -
@הדובדבן-שבקצפת באמת לא כל כך המקום. אבל זה בהחלט אפשרי, אם כי לא ממש התנסתי בזה בעצמי.
כדאי שתפתח נושא חדש ותשאל את הציבור הרחב -
@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:
@aiib ובאותה מידה אפשר לשלב אותו גם עם סטאבל דיפוזיין ועם דאלי2 ועם עוד אלף מודלים אחרים. נגיד. ומה הרבותא בזה?
שילוב כוחות הוא תמיד טוב! אני אתן דוגמא, אתה מנסה להסביר לו על שגיאה שאתה מקבל מקובץ אקסל במקום לתאר אחד לאחד מה יש בקובץ [דבר שכמעט ולא אפשרי] אפשר להעלות תמונה [ובתקווה...] הוא יבין מה קורה ואיפה הבעיה נמצאת.
-
@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:
@הדובדבן-שבקצפת באמת לא כל כך המקום. אבל זה בהחלט אפשרי, אם כי לא ממש התנסתי בזה בעצמי.
כדאי שתפתח נושא חדש ותשאל את הציבור הרחבזה מה שקראת לו כיונון עדין לא?
