להורדה כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!
-
@NH-LOCAL
מדהים!!!!!
אפילו אני לא הלכתי כל כך רחוק
אבל שמה כן כתוב שהיה צריך תיקונים ודברים שכן צריך התערבות אבל בגדול נשמע משם שכן אפשר ליצור דברים טובים גם בלי ידע בכלל אבל לא באופן קבוע להתבסס רק על זה אבל עדיין זה כן אפשרי
מדיהם!!!!!!!
מי היה מאמין לפני כמה שנים שנהיה איפה שאנחנו נמצאים עכשיו -
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
יש להוריד את הקובץ שבקישור הזה (כ-2 ג'יגה), זה הקובץ שמכיל את המודל עצמו:
אפשר את הקישור בצורה שפתוחה בקהילות נטפרי? הוא סגור בקהילה שלי.
נראה לי אם מוסיפים כמה תווים לא מוכרים זה יעבוד. -
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
יש לבחור בקובץ הראשון ברשימה - בפורמט כזה llamafile-0.7.3.
-
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@aiib בבקשה:
https://huggingface.co/jartine/llava-v1.5-7B-GGUFהאתר הרשמי שלהם:
תוכל להדריך אותי בבקשה איך להריץ אותו?
-
@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@aiib בבקשה:
https://huggingface.co/jartine/llava-v1.5-7B-GGUFהאתר הרשמי שלהם:
תוכל להדריך אותי בבקשה איך להריץ אותו?
כתוב בפוסט הראשון
-
@יוסי-מחשבים כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@aiib בבקשה:
https://huggingface.co/jartine/llava-v1.5-7B-GGUFהאתר הרשמי שלהם:
תוכל להדריך אותי בבקשה איך להריץ אותו?
כתוב בפוסט הראשון
הוא המליץ לי על מודל שפה שמתמחה בעיקר בזיהוי תמונה, ההרצה דומה?!
-
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
כך תריצו מודל שפה על המחשב שלכם - שלב אחרי שלב
בעבר הלא רחוק, פרסמתי כאן את מודל השפה הראשון שהודלף לאינטרנט כקוד פתוח - מודל Llama של מטא.
מאז עברו הרבה מים בירדן, והתחום עבר שדרוגים עצומים. מטא עצמה הספיק לשחרר את המודל Llama 2 וממש לאחרונה גם את המודל Llama 3 שמציג ביצועים ששווים ל-gpt 3.5 במודל קטן בהרבה.
מלבד מטא, חברות וגופים רבים שחרור מודלים שונים ומשונים, כמו gemma של גוגל, mixtral של mistral, ועוד ועוד.השבוע מיקרוסופט הטילה פצצה בשחרורו של מודל חדש בשם Phi-3. מדובר במודל קטן במיוחד - בגודל של 3.8 מליארד פרמטרים בלבד (לשם השוואה -gpt 3.5 יש מאות מליארדי פרמטרים!), אך הוא מציג יכולות דומות ל-gpt 3.5!
יש לציין שמודל זה ודומיו עובדים ללא אינטרנט באופן מלא, והוא גם לא דורש אינטרנט בעת ההתקנה. למעשה, הוא לא דורש התקנה כלל... הוא נהדר גם למשימות כתיבת קוד, אך הוא מבין ומתבטא באנגלית בלבד.
הורדת הקבצים
הפעם המשימה ממש פשוטה - כל מה שאתם צריכים זה 3 קבצים בלבד, השוקלים בסך הכל כ-2 ג'יגה בלבד:
-
יש להוריד את הקובץ שבקישור הזה (כ-2 ג'יגה), זה הקובץ שמכיל את המודל עצמו:
-
לאחר מכן יש להוריד את הגרסה האחרונה של llamafile
יש לבחור בקובץ הראשון ברשימה - בפורמט כזה llamafile-X.X.X. -
לאחר מכן יש להוריד את קובץ ההפעלה הבא:
Start Language model.batאם יש לכם מחשב עם מעבד גרפי חזק - מומלץ להשתמש בקובץ הזה:
Start Language model on gpu.bat
לנוחות השימוש גם בעתיד מומלץ להכניס את שלושת הקבצים לתיקיה חדשה!
הרצת המודל בפועל
- הפעל את קובץ הבאט המצורף - המודל יפתח בדפדפן בתצוגה גרפית.
אמנם לא מוצלחת במיוחד. אבל זה עובד מהר וללא צורך בחיבור לרשת כלל!
כל שעליך לעשות זה להקליד תוכן כרצונך בחלונית שבתחתית החלון ולהקיש אנטר!
מכיון שהמודל רץ מהדפדפן, ניתן לתרגם את התוכן בקלות (עם רשת כמובן...)
הערות חשובות:
חשוב לשים לב:
הגדרתי שקובץ הבאט יריץ באופן אוטומטי את המודל הראשון שהוא מוצא, במקרה וישנם מספר דגמים בתיקיה אחת - קובץ הבאט יריץ את המודל הראשון שמופיע בתיקיה ויתעלם מהמודלים האחרים!מודלים אחרים:
ניתן לחפש מודלים נוספים בקישור זה. המודלים צריכים להיות בסיומת gguf בכדי שיתאימו להרצה עם llama.cpp. ככלל, ככל שהמודל מתקדם וגדול יותר, (במשקל - גודל הג'יגה של הקובץ, ובפרמטרים - מסומן עם האות B, למשל "70B" [באנגלית מליארד = ביליון. כלומר 70 מליארד פרמטרים], כך הוא יכביד יותר על המחשב ויעבוד לאט יותר, התאימו את המודל לעוצמת המחשב שלכם)
לרשימת התפתחויות מרכזיות בתחום הבינה המלאכותית:
https://nhlocal.github.io/AiTimeline
איזה יתרון יש לזה שהמודל נמצא בתוך המחשב, על פני זה שהמודל (gpt3 ו4) נגיש דרך האינטרנט?
-
-
@יוסף3 כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
איזה יתרון יש לזה שהמודל נמצא בתוך המחשב, על פני זה שהמודל (gpt3 ו4) נגיש דרך האינטרנט?
אני לא חושב שיש יתרון פשוט יש כאלה שלא תמיד יש להם אינטרנט לי לא ידוע על יתרון
-
@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
תוכל להדריך אותי בבקשה איך להריץ אותו?
זה עובד קצת אחרת מהמודל למעלה - אבל אפילו יותר בקלות.
כל מה שאתה צריך זה לפתוח שורת הפקודה ולהפעיל דרכה את הקובץ שהורדת. לא צריך שום קובץ נוסף! -
@יוסף3 כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
איזה יתרון יש לזה שהמודל נמצא בתוך המחשב, על פני זה שהמודל (gpt3 ו4) נגיש דרך האינטרנט?
היתרונות המרכזיים:
- עובד אופליין - בדיוק מה שאתה אומר: שזה נגיש בלי אינטרנט וזה מחייב אינטנרט.
- פרטיות - המידע שלך לא נשמר על ידי אף גורם חיצוני
-
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
כל מה שאתה צריך זה לפתוח שורת הפקודה ולהפעיל דרכה את הקובץ שהורדת. לא צריך שום קובץ נוסף!
עם איזו פקודה?
-
@aiib בלי שום פקודה. פשוט תעתיק את נתיב הקובץ שהורדת וזהו זה
או דרך עוד יותר פשוטה:
תוסיף סיומת EXE לשם הקובץ ופשוט תפעיל אותו!
אם זה לא נפתח - תבטל את חסימת הקובץ במאפיייני הקובץ. (זו בעיה נפוצה בתוכנות שמורידים מהרשת) -
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
לאחר מכן יש להוריד את הגרסה האחרונה של llamafile
יש לבחור בקובץ הראשון ברשימה - בפורמט כזה llamafile-X.X.X. -
@tcrvodkxrvzurgho מסמן לך מאיפה
-
@איינשטיין כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
Intel i5 טוב?
איזה דור (המספר אחרי הדגם של המעבד)
וכמה רם -
@דוד-משה-1 דור 11, 8 GB ראם
-
@3157686 כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
אך הוא מבין ומתבטא באנגלית בלבד.
אין משהו שעובד בעברית???
@NH-LOCAL
למה זה כ"כ מסובך לעשות בעברית לפי הבנתי הקטנה לא אמור להיות הבדל ??? -
@איינשטיין כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL איזה רמה של מעבד צריך בשביל זה?
Intel i5 טוב?כן, מצוין. גם I3 טוב. ו-8 ג'יגה ראם זה מספיק
56/284