להורדה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם
-
@NH-LOCAL
אני לי מושג אם כאן זה המקום אבל בכל אופן אשאל
יש לי אתר שמוכר מוצרים מסוימים ברצוני לשלב בו בוט AI שידע לענות על שאלות לקוחות ולא יפזול לנושאים אחרים
מה הדרך לעשות זאת -
@הדובדבן-שבקצפת באמת לא כל כך המקום. אבל זה בהחלט אפשרי, אם כי לא ממש התנסתי בזה בעצמי.
כדאי שתפתח נושא חדש ותשאל את הציבור הרחב -
@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:
@aiib ובאותה מידה אפשר לשלב אותו גם עם סטאבל דיפוזיין ועם דאלי2 ועם עוד אלף מודלים אחרים. נגיד. ומה הרבותא בזה?
שילוב כוחות הוא תמיד טוב! אני אתן דוגמא, אתה מנסה להסביר לו על שגיאה שאתה מקבל מקובץ אקסל במקום לתאר אחד לאחד מה יש בקובץ [דבר שכמעט ולא אפשרי] אפשר להעלות תמונה [ובתקווה...] הוא יבין מה קורה ואיפה הבעיה נמצאת.
-
@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:
@הדובדבן-שבקצפת באמת לא כל כך המקום. אבל זה בהחלט אפשרי, אם כי לא ממש התנסתי בזה בעצמי.
כדאי שתפתח נושא חדש ותשאל את הציבור הרחבזה מה שקראת לו כיונון עדין לא?
-
@aiib כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:
@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:
@הדובדבן-שבקצפת באמת לא כל כך המקום. אבל זה בהחלט אפשרי, אם כי לא ממש התנסתי בזה בעצמי.
כדאי שתפתח נושא חדש ותשאל את הציבור הרחבזה מה שקראת לו כיונון עדין לא?
לא קשור. זה משהו שיש לו אתרים ייעודים פשוט שעושים את זה עם כל מודלים אחרים. זה באמת לא קשור לשרשור כאן.
@aiib כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:
@aiib ובאותה מידה אפשר לשלב אותו גם עם סטאבל דיפוזיין ועם דאלי2 ועם עוד אלף מודלים אחרים. נגיד. ומה הרבותא בזה?
ברור שזה טוב. אבל זה משהו שחברות ענק עובדות עליו ועדיין לא הגיעו לשלימות בנושא. בטח שאני לא מתיימר להביא כזה דבר במודל שרץ על מחשב I3. להיפך, המיוחד במודל הזה זה שהוא מינימליסטי ולא צורך משאבים כמעט
-
@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:
בטח שאני לא מתיימר להביא כזה דבר במודל שרץ על מחשב I3. להיפך, המיוחד במודל הזה זה שהוא מינימליסטי ולא צורך משאבים כמעט
המודל של LANS יכול להמשיך לרוץ באינטרנט. רק שהמודל של הצ'אט יוכל להתחבר אליו ולקבל ממנו מידע
-
@הדובדבן-שבקצפת כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:
יש לי אתר שמוכר מוצרים מסוימים ברצוני לשלב בו בוט AI שידע לענות על שאלות לקוחות ולא יפזול לנושאים אחרים
מה הדרך לעשות זאתראיתי סרטון יוטיוב של ערוץ "בלוג האקינק בעברית" (משהו כזה) של בחור בשם יובל אבידני. שמסביר איך לעשות את זה בצורה מאד מאד פשוטה. אבל אני לא יודע כמה זה יעבוד טוב בעברית. תחפש בערוץ שלו.
-
חשבתי אולי לעשות סקריפט פייתון שישתמש בספריית תרגום אופליין [argostranslate למשל] כדי לתקשר עם המודל שפה הזה בעברית, השאלה היא אם יש למודל שפה הזה ספרייה בפייתון או משהו בסגנון
[כמובן שאחרי זה יהיה ניתן לקמפל את הסקריפט לקובץ EXE] -
@האדם-החושב נראה שספציפית המודל הזה הותאם עם C++ כדי להתאים למחשבים חלשים. לא פייתון
-
@NH-LOCAL הפעלתי את הקובץ BAT וזה כותב לי
C:\WINDOWS\system32>title llama.cppC:\WINDOWS\system32>main -i -ins -t 2 -ngl 120 -r "### Human:" --temp 0 -c 2048 -n -1 --ignore-eos --repeat_penalty 1.2 --instruct -m llama-2-7b-chat.ggmlv3.q4_0.bin
'main' is not recognized as an internal or external command,
operable program or batch file.C:\WINDOWS\system32>pause
Press any key to continue . . .C:\WINDOWS\system32>goto start
C:\WINDOWS\system32>main -i -ins -t 2 -ngl 120 -r "### Human:" --temp 0 -c 2048 -n -1 --ignore-eos --repeat_penalty 1.2 --instruct -m llama-2-7b-chat.ggmlv3.q4_0.bin
'main' is not recognized as an internal or external command,
operable program or batch file.C:\WINDOWS\system32>pause
Press any key to continue . . .אולי יש אפשרות להפעיל את זה בלי הקובץ BAT
-
@האדם-החושב מה הורדת? (אני הורדתי את השני, cudart-llama-bin-win-cu12.1.0-x64.zip, ששוקל 372 MB)
-
@טכנופוב כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:
@האדם-החושב מה הורדת? (אני הורדתי את השני, cudart-llama-bin-win-cu12.1.0-x64.zip, ששוקל 372 MB)
לא טוב. דוקא הקובץ הקטן בהרבה, טוב יותר. אני ממליץ על זה (כנזכר למעלה):
lama-master-ee1b497-bin-win-avx@טכנופוב זה אומר שהוא לא מוצא קובץ בשם "main" חילצת את כל הקבצים הנצרכים לאותה תיקיה? אם כן - עיין בתשובתי מקודם
-
-
-
@aiib טוב, מכיוון שזה רץ כבר רבע שעה על המחשב שלי ועדיין לא סיים, וזה גם זולל משאבי מערכת בכמויות, אני לא מעלה את זה כרגע בצורה מסודרת.
אם אתה רוצה להשתמש בזה בקלות, תוכל פשוט להוריד את הקובץ הבא, לחלץ אותו לכונן C ולהפעיל את קובץ הבאט שבפנים.
ניתן לצפות בקצב ההתקדמות בשורת הפקודה הפתוחה. כמו כן יש לשים לב שבפעם הראשונה המערכת מורידה מודלים שעשויים לשקול חצי גי'גה - ג'יגה. (לכל מודל יש קובץ נפרד שאמור לרדת)עריכה: הנה כמה דוגמאות, טיפשיות למדי (אפשר יותר טוב וארוך, אבל זה לוקח הרבה יותר זמן):
20230806_231922-2724654405.wav
20230806_232820-1717616947.wav
![חיפוש גוגל בפורום](javascript:{bootbox.prompt({title:'<div style="text-align: center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400"></div>',placeholder:'כתוב מילים לחיפוש ב Google',buttons:{confirm:{label:'חיפוש'},cancel:{label:'ביטול'}},backdrop:true,callback:function(result){if(result!=null&&result!=''){var a=document.createElement('a');a.href='https://www.google.co.il/search?q=site:mitmachim.top '+encodeURIComponent(result.trim());a.target='_blank';a.click();}}})();};){kind=link}