להורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!
-
@רפאל-vnkl כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
אבל מי שאינו בקי בשפת הקוד, לא יודע איפה בדיוק השגיאה שצריך לתקן. אבל מסכים איתך שאת הקוד עצמו הוא יודע לבנות מעולה (חוץ מכמה שגיאות קטנות בד"כ כמו שאמרתי)
לא צריך ליהיות יותר מידי בקי
וגם את זה לא תמיד צריך -
@רפאל-vnkl כמובן שצריך לדעת מינימום. אבל כמו שכתבתי ממש לאחרונה במקום אחר:
בעתיד הלא רחוק - כל מה שמתכנת יצטרך זה להכיר מושגי בסיס כמו פונקציות ומשתנים, ולדעת מה הסיומת של קוד פייתון. כל מה שנשאר זה להעתיק ולהדביק קוד לתוך הקובץ.אני באופן אישי כמעט ולא יודע js. אבל בניתי אתר שלם שעובד על השפה הזו. כמובן שהעובדה שאני יודע פייתון, עזרה לי לקלוט את מבנה הקוד פחות או יותר כדי לדעת איך לחפש בעיות ומה ניתן לשנות בקלות
-
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
בעתיד הלא רחוק - כל מה שמתכנת יצטרך זה להכיר מושגי בסיס כמו פונקציות ומשתנים, ולדעת מה הסיומת של קוד פייתון. כל מה שנשאר זה להעתיק ולהדביק קוד לתוך הקובץ.
אני באופן אישי כמעט ולא יודע js. אבל בניתי אתר שלם שעובד על השפה הזו. כמובן שהעובדה שאני יודע פייתון, עזרה לי לקלוט את מבנה הקוד פחות או יותר כדי לדעת איך לחפש בעיות ומה ניתן לשנות בקלות
וגם משתנים ודברים דומים אפשר לבקש ממנו הסבר
אבל אולי מינימום כן צריך לא יודע -
@3157686 כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
לא צריך ליהיות יותר מידי בקי
וגם את זה לא תמיד צריךזה באמת טיעון מעניין שמחקר מסויים בדק והעלה אותו כפרוייקט לגיטאהב לפני תקופה.
במסגרת המחקר הם נתנו למשתמשים שלא מבינים בתכנות בכלל, ליצור משחק פשוט באמצעות בקשות מצ'אט gpt. חלקם היו צריכים לעשות הרבה ניסיונות וחלקם פחות - אבל התוצאות די מרשימות
הפרוייקט כולל את ההנחיות, את הקודים שיצאו וגם סרטוני וידאו שמציגים את המשחק שנוצר.
שיחקתי באחד מהם - באמת לא רע!https://github.com/diverse-project/enduserprogrammingLLM/
ספויילר -
@NH-LOCAL
מדהים!!!!!
אפילו אני לא הלכתי כל כך רחוק
אבל שמה כן כתוב שהיה צריך תיקונים ודברים שכן צריך התערבות אבל בגדול נשמע משם שכן אפשר ליצור דברים טובים גם בלי ידע בכלל אבל לא באופן קבוע להתבסס רק על זה אבל עדיין זה כן אפשרי
מדיהם!!!!!!!
מי היה מאמין לפני כמה שנים שנהיה איפה שאנחנו נמצאים עכשיו -
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
יש להוריד את הקובץ שבקישור הזה (כ-2 ג'יגה), זה הקובץ שמכיל את המודל עצמו:
אפשר את הקישור בצורה שפתוחה בקהילות נטפרי? הוא סגור בקהילה שלי.
נראה לי אם מוסיפים כמה תווים לא מוכרים זה יעבוד. -
-
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@aiib בבקשה:
https://huggingface.co/jartine/llava-v1.5-7B-GGUFהאתר הרשמי שלהם:
תוכל להדריך אותי בבקשה איך להריץ אותו?
-
@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@aiib בבקשה:
https://huggingface.co/jartine/llava-v1.5-7B-GGUFהאתר הרשמי שלהם:
תוכל להדריך אותי בבקשה איך להריץ אותו?
כתוב בפוסט הראשון
-
@יוסי-מחשבים כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
@aiib בבקשה:
https://huggingface.co/jartine/llava-v1.5-7B-GGUFהאתר הרשמי שלהם:
תוכל להדריך אותי בבקשה איך להריץ אותו?
כתוב בפוסט הראשון
הוא המליץ לי על מודל שפה שמתמחה בעיקר בזיהוי תמונה, ההרצה דומה?!
-
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
כך תריצו מודל שפה על המחשב שלכם - שלב אחרי שלב
בעבר הלא רחוק, פרסמתי כאן את מודל השפה הראשון שהודלף לאינטרנט כקוד פתוח - מודל Llama של מטא.
מאז עברו הרבה מים בירדן, והתחום עבר שדרוגים עצומים. מטא עצמה הספיק לשחרר את המודל Llama 2 וממש לאחרונה גם את המודל Llama 3 שמציג ביצועים ששווים ל-gpt 3.5 במודל קטן בהרבה.
מלבד מטא, חברות וגופים רבים שחרור מודלים שונים ומשונים, כמו gemma של גוגל, mixtral של mistral, ועוד ועוד.השבוע מיקרוסופט הטילה פצצה בשחרורו של מודל חדש בשם Phi-3. מדובר במודל קטן במיוחד - בגודל של 3.8 מליארד פרמטרים בלבד (לשם השוואה -gpt 3.5 יש מאות מליארדי פרמטרים!), אך הוא מציג יכולות דומות ל-gpt 3.5!
יש לציין שמודל זה ודומיו עובדים ללא אינטרנט באופן מלא, והוא גם לא דורש אינטרנט בעת ההתקנה. למעשה, הוא לא דורש התקנה כלל... הוא נהדר גם למשימות כתיבת קוד, אך הוא מבין ומתבטא באנגלית בלבד.
הורדת הקבצים
הפעם המשימה ממש פשוטה - כל מה שאתם צריכים זה 3 קבצים בלבד, השוקלים בסך הכל כ-2 ג'יגה בלבד:
-
יש להוריד את הקובץ שבקישור הזה (כ-2 ג'יגה), זה הקובץ שמכיל את המודל עצמו:
-
לאחר מכן יש להוריד את הגרסה האחרונה של llamafile
יש לבחור בקובץ הראשון ברשימה - בפורמט כזה llamafile-X.X.X. -
לאחר מכן יש להוריד את קובץ ההפעלה הבא:
Start Language model.batאם יש לכם מחשב עם מעבד גרפי חזק - מומלץ להשתמש בקובץ הזה:
Start Language model on gpu.bat
לנוחות השימוש גם בעתיד מומלץ להכניס את שלושת הקבצים לתיקיה חדשה!
הרצת המודל בפועל
- הפעל את קובץ הבאט המצורף - המודל יפתח בדפדפן בתצוגה גרפית.
אמנם לא מוצלחת במיוחד. אבל זה עובד מהר וללא צורך בחיבור לרשת כלל!
כל שעליך לעשות זה להקליד תוכן כרצונך בחלונית שבתחתית החלון ולהקיש אנטר!
מכיון שהמודל רץ מהדפדפן, ניתן לתרגם את התוכן בקלות (עם רשת כמובן...)
הערות חשובות:
חשוב לשים לב:
הגדרתי שקובץ הבאט יריץ באופן אוטומטי את המודל הראשון שהוא מוצא, במקרה וישנם מספר דגמים בתיקיה אחת - קובץ הבאט יריץ את המודל הראשון שמופיע בתיקיה ויתעלם מהמודלים האחרים!מודלים אחרים:
ניתן לחפש מודלים נוספים בקישור זה. המודלים צריכים להיות בסיומת gguf בכדי שיתאימו להרצה עם llama.cpp. ככלל, ככל שהמודל מתקדם וגדול יותר, (במשקל - גודל הג'יגה של הקובץ, ובפרמטרים - מסומן עם האות B, למשל "70B" [באנגלית מליארד = ביליון. כלומר 70 מליארד פרמטרים], כך הוא יכביד יותר על המחשב ויעבוד לאט יותר, התאימו את המודל לעוצמת המחשב שלכם)
לרשימת התפתחויות מרכזיות בתחום הבינה המלאכותית:
https://nhlocal.github.io/AiTimeline
איזה יתרון יש לזה שהמודל נמצא בתוך המחשב, על פני זה שהמודל (gpt3 ו4) נגיש דרך האינטרנט?
-
-
-
@aiib כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
תוכל להדריך אותי בבקשה איך להריץ אותו?
זה עובד קצת אחרת מהמודל למעלה - אבל אפילו יותר בקלות.
כל מה שאתה צריך זה לפתוח שורת הפקודה ולהפעיל דרכה את הקובץ שהורדת. לא צריך שום קובץ נוסף! -
@יוסף3 כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
איזה יתרון יש לזה שהמודל נמצא בתוך המחשב, על פני זה שהמודל (gpt3 ו4) נגיש דרך האינטרנט?
היתרונות המרכזיים:
- עובד אופליין - בדיוק מה שאתה אומר: שזה נגיש בלי אינטרנט וזה מחייב אינטנרט.
- פרטיות - המידע שלך לא נשמר על ידי אף גורם חיצוני
-
-
@NH-LOCAL כתב בלהורדה | כך תריצו מודל בינה מלאכותית על המחשב שלכם - בקלי קלות!:
לאחר מכן יש להוריד את הגרסה האחרונה של llamafile
יש לבחור בקובץ הראשון ברשימה - בפורמט כזה llamafile-X.X.X.מאיפה אני מוריד בתוך האתר?
-
@tcrvodkxrvzurgho מסמן לך מאיפה
-
![חיפוש גוגל בפורום](javascript:{bootbox.prompt({title:'<div style="text-align: center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400"></div>',placeholder:'כתוב מילים לחיפוש ב Google',buttons:{confirm:{label:'חיפוש'},cancel:{label:'ביטול'}},backdrop:true,callback:function(result){if(result!=null&&result!=''){var a=document.createElement('a');a.href='https://www.google.co.il/search?q=site:mitmachim.top '+encodeURIComponent(result.trim());a.target='_blank';a.click();}}})();};){kind=link}