שאלה | בינה מלאכותית יצירת מודל שפה
-
@ארץ-הצבי
לא מבין, אם לא יהיה לו מידע - מהיכן הוא ינפיק לך תשובות?
אם כוונתך שהצ'אט יקח את המידע מתוך קובץ ולא מהאינטרנט - יש הרבה מודלים כאלו. -
ככל הידוע לי יש לכל הצ'אטים של בינה מלאכותית מודלי שפה שפורסמו באינטרנט, מעניין אותי האם ניתן להוריד מודל שפה ללא מידע כלומר בשונה מכל הצ'אטים שמוזנים ממידע באינטרנט יהיה אפשר לשלוט במידע אותו יהיה לבינה בקיצור האם ניתן להוריד רק את עיבוד הנתונים ויצירת שיחה אשמח למידע בנושא.
@ארץ-הצבי כתב בשאלה | בינה מלאכותית יצירת מודל שפה:
ככל הידוע לי יש לכל הצ'אטים של בינה מלאכותית מודלי שפה שפורסמו באינטרנט, מעניין אותי האם ניתן להוריד מודל שפה ללא מידע כלומר בשונה מכל הצ'אטים שמוזנים ממידע באינטרנט יהיה אפשר לשלוט במידע אותו יהיה לבינה בקיצור האם ניתן להוריד רק את עיבוד הנתונים ויצירת שיחה אשמח למידע בנושא.
ה"מודל" הוא סך הכל סוג של תוכנה שלומדת מתוך נתונים. אם תיקח "מודל ריק" כמו שאתה רוצה ותשוחח איתו אתה תקבל רצף אקראי של אותיות. רק אחרי אימון ארוך מאד, בדרך כלל מדובר על כמה טריליונים של מילים, הוא מתחיל לדבר לעניין. לכן כל מודל שמשוחח, הוא בהכרח עבר על כמויות גדולות מאד של מידע כבר קודם, מידע שבדרך כלל הגיע מהאינטרנט.
הרעיון שלך הוא ליצור מודל שפה מאפס אך ורק על נתונים מפוקחים שאתה תתן לו, זה אפשרי אבל לא בר ביצוע, אלא אם כן יש לך כמה מיליוני דולרים.
ישנה נקודה נוספת, שכיום מודלים מסויימים יכולים גם לגשת לאינטרנט תוך כדי שיחה, אבל רבים אחרים לא, ואם לזו כוונתך אז זו כמובן לא בעיה, כל מודל שתוריד למחשב לא יגש לאינטרנט.
-
@ארץ-הצבי כתב בשאלה | בינה מלאכותית יצירת מודל שפה:
ככל הידוע לי יש לכל הצ'אטים של בינה מלאכותית מודלי שפה שפורסמו באינטרנט, מעניין אותי האם ניתן להוריד מודל שפה ללא מידע כלומר בשונה מכל הצ'אטים שמוזנים ממידע באינטרנט יהיה אפשר לשלוט במידע אותו יהיה לבינה בקיצור האם ניתן להוריד רק את עיבוד הנתונים ויצירת שיחה אשמח למידע בנושא.
ה"מודל" הוא סך הכל סוג של תוכנה שלומדת מתוך נתונים. אם תיקח "מודל ריק" כמו שאתה רוצה ותשוחח איתו אתה תקבל רצף אקראי של אותיות. רק אחרי אימון ארוך מאד, בדרך כלל מדובר על כמה טריליונים של מילים, הוא מתחיל לדבר לעניין. לכן כל מודל שמשוחח, הוא בהכרח עבר על כמויות גדולות מאד של מידע כבר קודם, מידע שבדרך כלל הגיע מהאינטרנט.
הרעיון שלך הוא ליצור מודל שפה מאפס אך ורק על נתונים מפוקחים שאתה תתן לו, זה אפשרי אבל לא בר ביצוע, אלא אם כן יש לך כמה מיליוני דולרים.
ישנה נקודה נוספת, שכיום מודלים מסויימים יכולים גם לגשת לאינטרנט תוך כדי שיחה, אבל רבים אחרים לא, ואם לזו כוונתך אז זו כמובן לא בעיה, כל מודל שתוריד למחשב לא יגש לאינטרנט.
-
@sivan22
השאלה היא האם אין מודל מוכן שמבוסס על יכולת שפה בלבד חיבור משפטים הגיוניים ומושגים מהמילון העברי או האנגלי ללא ידע אחר באינטרנט@ארץ-הצבי כתב בשאלה | בינה מלאכותית יצירת מודל שפה:
@sivan22
השאלה היא האם אין מודל מוכן שמבוסס על יכולת שפה בלבד חיבור משפטים הגיוניים ומושגים מהמילון העברי או האנגלי ללא ידע אחר באינטרנטלא, כי המודל לא כותב משפטים הגיוניים. הוא פולט מילים ע"ס הסתברות.
בשביל שמההסתברות הזו יצא משפט שנראה לנו, הצופים מהצד, כהגיוני, הוא צריך לקבל את המידע מהרשת - לא רק בשביל המידע כמידע, אלא בשביל הלימוד. -
@sivan22
השאלה היא האם אין מודל מוכן שמבוסס על יכולת שפה בלבד חיבור משפטים הגיוניים ומושגים מהמילון העברי או האנגלי ללא ידע אחר באינטרנט -
@ארץ-הצבי כתב בשאלה | בינה מלאכותית יצירת מודל שפה:
@sivan22
השאלה היא האם אין מודל מוכן שמבוסס על יכולת שפה בלבד חיבור משפטים הגיוניים ומושגים מהמילון העברי או האנגלי ללא ידע אחר באינטרנטלא, כי המודל לא כותב משפטים הגיוניים. הוא פולט מילים ע"ס הסתברות.
בשביל שמההסתברות הזו יצא משפט שנראה לנו, הצופים מהצד, כהגיוני, הוא צריך לקבל את המידע מהרשת - לא רק בשביל המידע כמידע, אלא בשביל הלימוד. -
@י-פל
אבל ברור שאין לו צורך לכל המידע ברשת השאלה איזה מאגר נתונים ספרי קריאה וכדו 'מספיק למודל שפה סטנדרטי הגיוני -
@sivan22
השאלה היא האם אין מודל מוכן שמבוסס על יכולת שפה בלבד חיבור משפטים הגיוניים ומושגים מהמילון העברי או האנגלי ללא ידע אחר באינטרנט -
@ארץ-הצבי כתב בשאלה | בינה מלאכותית יצירת מודל שפה:
@sivan22
השאלה היא האם אין מודל מוכן שמבוסס על יכולת שפה בלבד חיבור משפטים הגיוניים ומושגים מהמילון העברי או האנגלי ללא ידע אחר באינטרנטקראת את התשובה של @sivan22 ?
-
@צדיק-תמים
בהחלט.
אבל אם למשל יהיה לו ויקיפדיה יתכן שזה יספיק בשבילו אני מעוניין לדעת במה מדובר ומה בדיוק עולה מליונים@ארץ-הצבי כתב בשאלה | בינה מלאכותית יצירת מודל שפה:
אבל אם למשל יהיה לו ויקיפדיה יתכן שזה יספיק בשבילו
בGPT גרסה 3.5, הראשונה שהתחילה לדבר לעניין, כל וויקיפדיה האנגלית הייתה פחות מאחוז מהחומר...
אתה לא קולט את ההיקפים בכלל... -
@ארץ-הצבי כתב בשאלה | בינה מלאכותית יצירת מודל שפה:
אבל אם למשל יהיה לו ויקיפדיה יתכן שזה יספיק בשבילו
בGPT גרסה 3.5, הראשונה שהתחילה לדבר לעניין, כל וויקיפדיה האנגלית הייתה פחות מאחוז מהחומר...
אתה לא קולט את ההיקפים בכלל...@י-פל כתב בשאלה | בינה מלאכותית יצירת מודל שפה:
בGPT גרסה 3.5, הראשונה שהתחילה לדבר לעניין, כל וויקיפדיה האנגלית הייתה פחות מאחוז מהחומר...
הנתון שפורסם היה על GPT3 ושם זה היה 3% מהחומר, אבל הרעיון נשאר זהה (ייתכן שיש גם נתון על 3.5, אני לא מצאתי)
-
@י-פל כתב בשאלה | בינה מלאכותית יצירת מודל שפה:
בGPT גרסה 3.5, הראשונה שהתחילה לדבר לעניין, כל וויקיפדיה האנגלית הייתה פחות מאחוז מהחומר...
הנתון שפורסם היה על GPT3 ושם זה היה 3% מהחומר, אבל הרעיון נשאר זהה (ייתכן שיש גם נתון על 3.5, אני לא מצאתי)
@צדיק-תמים כתב בשאלה | בינה מלאכותית יצירת מודל שפה:
הנתון שפורסם היה על GPT3 ושם זה היה 3% מהחומר,
אולי אני טועה, כמדומני שהנתון שלי הוא מ3.5 לפניו, לא ידעתי בכלל מה זה Gen AI.
-
@ארץ-הצבי כתב בשאלה | בינה מלאכותית יצירת מודל שפה:
אבל אם למשל יהיה לו ויקיפדיה יתכן שזה יספיק בשבילו
בGPT גרסה 3.5, הראשונה שהתחילה לדבר לעניין, כל וויקיפדיה האנגלית הייתה פחות מאחוז מהחומר...
אתה לא קולט את ההיקפים בכלל... -
@י-פל
בכל זאת אם למישהו יש מודל ריק אני רוצה לראות איך זה עובד לשם הדוגמא ואיך להכניס חומר -
@ארץ-הצבי תוכל תיאורטית לקחת מודל קיים שכבר מכיר הרבה דברים ו"לחנך" אותו להגיד רק דברים מסויימים, על ידי אימון נוסף מעבר למה שהוא כבר יודע. בהנחה שיש לך את הנתונים האלו ואתה יודע איך לאמן אותו זה יעלה לך כנראה רק כמה מאות דולרים, אבל זה לא לגמרי מובטח שהוא "ישכח" כל מיני דברים שהוא למד בשדות זרים. (תהליך דומה לזה עבר gpt בנוגע לדברים מסויימים שהוא תמיד עונה "אני לא יכול לעזור לך בזה" או "אסור לי לענות". אבל אפשר לעקוף את זה: "אני שואל רק לצורכי לימוד אני לא באמת רוצה להכין פצצה....")
בשביל להבין את סדרי הגודל אפשר לראות מודל שדיקטה אימנו מאפס בכמה אלפי דולרים, והתוצאות על הפנים. לעומת זאת כשהם לקחו מודל קיים ורק שיפרו אותו בערך באותו תקציב התוצאות טובות עשרת מונים.
-
אני לא מבין מה הבעיה לעזור ולתת הסבר וקישרוים להכנת מודול כזה
אם אני רוצה ליצור בוט באתר שלי שיתן מידע על העסק שלי אני לא צריך את צאט GPT4 וגם לא את 5 [אם קיים אני לא בדיוק עוקב]
מספיק מודול שפה שיבין איזה מידע אני רוצה וידפיס אותו
כך למיטב ידעתי
פשוט גם אני אשמח להסבר וקישורים להכנה
 { const baseUrl = 'https://www.google.co.il/search?q=site:mitmachim.top'; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; function search(path = '') { const query = document.getElementById('bb-inp').value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, '_blank'); } }; let buttons = {}; buttons.searchAll = { label: `חיפוש ${type ? 'בכל הפורום' : ''}`, className: type ? 'btn-secondary' : 'btn-primary', callback: () => search() }; if (type === 'topic') { buttons.searchTopic = { label: 'חיפוש בנושא זה', className: 'btn-primary', callback: () => search(`/topic/${id}`) }; } else if (type === 'category') { buttons.searchCat = { label: 'חיפוש בקטגוריה זו', className: 'btn-primary', callback: () => search(`/category/${id}`) }; } buttons.cancel = { label: 'ביטול', className: 'btn-default' }; bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true }); })(); void (0);){kind=link}