להורדה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם

[NH.LOCAL]

@aiib רק מודל שפה, כמובן. לא ידוע לי על מודל כלשהו ברחבי העולם כולו שמשלב בין הדברים הללו, למעט GPT4 שרק יכול לזהות תמונות ולא ליצור, ומודל עתידי של מטא שלא שוחרר עדיין

למשתמש הפשוט זה עשוי לעזור, בתור מודל שלא מצריך אינטרנט וגם לא מחשב של 7000 ש"ח

[aiib]

@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:

למשתמש הפשוט זה עשוי לעזור

בעצם זה מיועד לשינוי והכוונה לצרכים?
מה נדרש עבור זה? יידע מעמיק בAI?

[NH.LOCAL]

@aiib לאו דוקא. מה שפרסמתי כאן מאפשר בסך הכל צ'אט פשוט, ולא אימון וכו'. בשביל זה יש מודלים כמו זה:
https://github.com/abetlen/llama-cpp-python

באופן כללי, קוד פתוח מאפשר שכלול ושיפור של קוד או תוכנה, בלי השקעה גדולה מידי של משאבים ועבודה של חברה וכדומה, על ידי ניצול כוחם של היחידים

[aiib]

@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:

לאו דוקא. מה שפרסמתי כאן מאפשר בסך הכל צ'אט פשוט, ולא אימון וכו'

אני לא מדבר על אימון אלא על שינוי והתאמה לפי הצורך. כמו שיש פרוקיטים רבים שמוכוונים לצרכים שונים וכולם מבוססים על אותו AI כמו AI מיועד ללימוד אנגלית AI לתשובות בהלכה וכן הלאה

[NH.LOCAL]

@aiib כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:

אני לא מדבר על אימון אלא על שינוי והתאמה לפי הצורך

אימון == שינוי והתאמה לפי הצורך. או יותר נכון כוונון עדין. זה היינו הך, בקיצור.
אולי אני טועה. תקן אותי אם כן

[aiib]

@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:

אולי אני טועה. תקן אותי אם כן

אני לא מבין בזה אז יכול להיות מאד שאתה צודק...
אני הבנתי את המושג אימון לשיפור המודל כמו שGPT ואחרים משתפרים ע"י אימון.
אבל ייתכן שאתה צודק ושהדרך להכוונה של מודל הוא ע"י אימון מחדש למטרה המסוימת

[NH.LOCAL]

@aiib אתה צודק חלקית. טעיתי עם המילה "אימון", הכינוי המקובל יותר למשימה הזו הוא "כוונון עדין"

[צללית]

@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:

קישור ישיר למודל הספציפי בו השתמשתי - https://huggingface.co/localmodels/Llama-2-7B-Chat-ggml/blob/main/llama-2-7b-chat.ggmlv3.q4_0.bin

אשמח אם מישהו יוכל להעלות את זה [ועוד קבצי מודלים] לשרת של הפורום, מכיון שהאתר huggingface נחסם בחדרי מחשבים.

[aiib]

@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:

למעט GPT4 שרק יכול לזהות תמונות ולא ליצור

גם בראד בגירסת האנגלית אמור לזהות תמונות [בשיתוף פעולה עם LANS...]

[NH.LOCAL]

@aiib ענית את התשובה בעצמך. זה לא מודל אחד אלא שתי מודלים נפרדים שחוברו באופן מלאכותי

[aiib]

@NH-LOCAL אז תאורטית אפשר לחבר את המודל שהעלית כאן עם LANS...

[NH.LOCAL]

@aiib ובאותה מידה אפשר לשלב אותו גם עם סטאבל דיפוזיין ועם דאלי2 ועם עוד אלף מודלים אחרים. נגיד. ומה הרבותא בזה?

[הדובדבן שבקצפת]

@NH-LOCAL
אני לי מושג אם כאן זה המקום אבל בכל אופן אשאל
יש לי אתר שמוכר מוצרים מסוימים ברצוני לשלב בו בוט AI שידע לענות על שאלות לקוחות ולא יפזול לנושאים אחרים
מה הדרך לעשות זאת

[NH.LOCAL]

@הדובדבן-שבקצפת באמת לא כל כך המקום. אבל זה בהחלט אפשרי, אם כי לא ממש התנסתי בזה בעצמי.
כדאי שתפתח נושא חדש ותשאל את הציבור הרחב

[aiib]

@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:

@aiib ובאותה מידה אפשר לשלב אותו גם עם סטאבל דיפוזיין ועם דאלי2 ועם עוד אלף מודלים אחרים. נגיד. ומה הרבותא בזה?

שילוב כוחות הוא תמיד טוב! אני אתן דוגמא, אתה מנסה להסביר לו על שגיאה שאתה מקבל מקובץ אקסל במקום לתאר אחד לאחד מה יש בקובץ [דבר שכמעט ולא אפשרי] אפשר להעלות תמונה [ובתקווה...] הוא יבין מה קורה ואיפה הבעיה נמצאת.

[aiib]

@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:

@הדובדבן-שבקצפת באמת לא כל כך המקום. אבל זה בהחלט אפשרי, אם כי לא ממש התנסתי בזה בעצמי.
כדאי שתפתח נושא חדש ותשאל את הציבור הרחב

זה מה שקראת לו כיונון עדין לא?

[NH.LOCAL]

@aiib כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:

@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:

@הדובדבן-שבקצפת באמת לא כל כך המקום. אבל זה בהחלט אפשרי, אם כי לא ממש התנסתי בזה בעצמי.
כדאי שתפתח נושא חדש ותשאל את הציבור הרחב

זה מה שקראת לו כיונון עדין לא?

לא קשור. זה משהו שיש לו אתרים ייעודים פשוט שעושים את זה עם כל מודלים אחרים. זה באמת לא קשור לשרשור כאן.

@aiib כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:

@aiib ובאותה מידה אפשר לשלב אותו גם עם סטאבל דיפוזיין ועם דאלי2 ועם עוד אלף מודלים אחרים. נגיד. ומה הרבותא בזה?

ברור שזה טוב. אבל זה משהו שחברות ענק עובדות עליו ועדיין לא הגיעו לשלימות בנושא. בטח שאני לא מתיימר להביא כזה דבר במודל שרץ על מחשב I3. להיפך, המיוחד במודל הזה זה שהוא מינימליסטי ולא צורך משאבים כמעט

[aiib]

@NH-LOCAL כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:

בטח שאני לא מתיימר להביא כזה דבר במודל שרץ על מחשב I3. להיפך, המיוחד במודל הזה זה שהוא מינימליסטי ולא צורך משאבים כמעט

המודל של LANS יכול להמשיך לרוץ באינטרנט. רק שהמודל של הצ'אט יוכל להתחבר אליו ולקבל ממנו מידע

[NH.LOCAL]

@aiib אין בכלל גישה פתוחה למודל הספציפי שלהם. יש להם אמנם API לזיהוי תמונות, אבל הוא ממש לא יהיה טוב לזיהוי של צילומסך של אקסל...

ובכל מקרה. אין כל קשר למודל שהעליתי. אפשר גם להשתמש ב-API של OPENAI, שהוא טוב בהרבה

[IGO]

@הדובדבן-שבקצפת כתב בהמלצה | כך תריצו מודל שפה חזק על המחשב הביתי שלכם:

יש לי אתר שמוכר מוצרים מסוימים ברצוני לשלב בו בוט AI שידע לענות על שאלות לקוחות ולא יפזול לנושאים אחרים
מה הדרך לעשות זאת

ראיתי סרטון יוטיוב של ערוץ "בלוג האקינק בעברית" (משהו כזה) של בחור בשם יובל אבידני. שמסביר איך לעשות את זה בצורה מאד מאד פשוטה. אבל אני לא יודע כמה זה יעבוד טוב בעברית. תחפש בערוץ שלו.