בירור | מה דעתכם - איזה בינה הכי מועילה כיום לקוד?

[י. פל.]

@המלאך כתב בבירור | מה דעתכם - איזה בינה הכי מועילה כיום לקוד?:

תן תשובות, ואל תזרוק מילים לאוויר.

טוב, נעשה זאת מהר:
טענה 1:
יש מחקר של קלוד (קראתי אותו, אין לי את הקישור), שכשמבקשים ממודל חשיבה לכתוב שיר בחרוזים, הוא מתכנן את המילה האחרונה של השורה השנייה (המחורזת) מיד לאחר (או לפני: לא זוכר במדויק) כתיבת המילה הראשונה של השורה הראשונה.

טענה 2:
זו תקרת הזכוכית שדברו עליה עוד בזמן 4O (אומני), שהגיעו לתקרת הזכוכית של הטקסט עליו מאמנים את המודלים, משום שהמודל אומן על פי 100 ויותר (כמדומני, זה המון זמן...) מ3.5.
זו הייתה בשעתו הדעה הרווחת! (מקווה שהיית אז בעולמות הAI..)
ואז הגיעו המודלים החושבים.
ואז הגיעה ארכיטטורת המומחים המעורבים, ועוד המון טכנולוגיות שנועדו לעודד את ה'חשיבה' בצורה שונה מאשר עוד עוד טקסטים.

למעשה, לפני כחצי שנה לערך פורסם מחקר (כמדו' ע"י meta) שאימון ביותר מדי טקסט מזהם את המודל...

הארכתי מאוד, ואי רוצה להדגיש: אני לא מומחה AI, אבל אני קורא המון בנושא.
יתכן (וסביר) שאני טועה. לא בטוח שאתה הוא הצודק...

[המלאך]

פוסט זה נמחק!

[המלאך]

@י.-פל. לא נראה לי הבנת איך עובדים מודלי ai.
זה יותר מבוסס על חיזוי מתמטי מאשר חשיבה אמיתית.
אני אסביר, חשיבה אמיתי זה אומר שאם תיהיה [לדוגמא] בעיה לוגית חדשה בקוד, בני האדם יחשבו וימצאו פיתרון.
הבינה לעולם לא תוכל למצוא לזה פיתרון.
ולו בגלל שזה לא דומה לשום דבר שהיא אומנה עליו.
כי אם אני טועה, אשמח שתסביר לי איך כן עובדת בינה מלאכותית...

[י. פל.]

@המלאך כתב בבירור | מה דעתכם - איזה בינה הכי מועילה כיום לקוד?:

זה יותר מבוסס על חיזוי מתמטי מאשר חשיבה אמיתית.

צדקת בעבר.
כיום, זה עוד יותר לא ברור...
יש משהו שניתן לכנות כ'חשיבה', (אני לא מתכוון למה שהמודל טוען שהוא חושב, זה סתם פלט ביניים להבנתי).
אני לא יודע לענות על השאלה שלך.
אני לא יודע אם מישהו כן יודע לענות.
במחקר הנ"ל של אנטרופיק, הם ציינו שהם הצליחו לפענח רק אחוזים מצומצמים מהמחשבות האמיתיות של המודל, וגם זה לקח להם שבועות...

[תותחוביץ']

זה נראה לי קצת מטופש לזלזל ביכולות הAI בגלל שהוא רק מודל חיזוי סטטיסטי
כי התשובות שלו הם לא נכתבות בצורה של חיזוי סטטיסטית אלא ההבנה שלו היא בצורה כזאת
וגם אתה מתחת למכסה המנוע של המוח מבין בצורת מודל חיזוי סטטיסטי

Spoiler

לדוגמא כשהיית תינוק אמא שלך לקחה אותך וראיתם חתול. אמא שלך אמרה לך, הנה חתול.
אתה לא הבנת מה בתוך כל הסיטואציה הוא חתול
למחרת בסיטואציה שונה, ראיתם עוד חתול. ואמא שלך שוב אמרה לך, הנה חתול. ואז הבנת שבעל החיים שבסיטואציה הוא החתול- חתול זה בעל חיים
למחרת לא ראיתם חתול אלא ראיתם כלב ואמא שלך אמרה לך הנה כלב ואז הבנת שלא כל בעל חיים הוא חתול
וכך הרבה פעמים עד שנכנס לך ההבנה מה זה חתול לפי המכנה המשותף של כל הפעמים שהיה חתול

אותו דבר AI נניח ביקשת תמונה של ביבי הוא יודע מי זה ביבי כי הוא סרק את כל התמונות. בתמונה הראשונה, הוא לא הבין, הוא ראה רק רצף צבעים. בתמונה הבאה (או אחרי אלף תמונות, או מיליון, או מיליארד. זה לא משנה), הוא הבין שזה האיש שבתמונה. אח"כ, הוא הבין שזה איש עם חליפה. ובתמונה הבאה, הוא הבין שזה איש עם התווי פנים האלה....
עד שבסוף המכנה המשותף של כל (או רוב) התמונות של ביבי זה הפרצוף ביבי

אבל כשאתה שואל/מבקש משהו הוא לא מפעיל מודל חיזוי על הטקסט שלך כי הוא כבר מכיר בו כל מילה הוא עושה את הפעולות שהוא הבין שצריך לבצע

Spoiler

אם הוא היה צריך חיזוי סטטיסטי על הטקסט שלך כשהיית שואל שאלה הוא היה ממשיך את השאלה כי מצד הסטטיסטיקה זה ההמשך של מה שאמרת.....

[י. פל.]

@תותחוביץ כתב בבירור | מה דעתכם - איזה בינה הכי מועילה כיום לקוד?:

ביקשת תמונה של ביבי

Spoiler

זה מה שיש לך בראש? את הכלב הזה?
סליחה על ההתפרצות, אני מתעב את הדבר-אחר הזה.

[המלאך]

@תותחוביץ זה הבנה פשוטה.
ההבנה המעמיקה גורסת שההבדל בין בנ"א למודל מכונה היא בהבנה אמיתית.
לא רציתי להיכנס לזה, אבל הכרחת אותי.
מודלי מכונה ההבנה שלהם מסתמכת על זה שמלך ומחכה דומים ואש וחום דומים.
אצל בנ"א זה הרבה יותר מזה,
המח טוב יותר מהבינה בשני דברים עיקריים:
1 - בהבנה מעמיקה, למודל אין 5 חושים,
וגם אם היה לו הוא לא היה יכול להבין מתוכם מה זה באמת, לבנ"א [זה חוש שנתן לו הבורא] כן יש יכולת כזו.
2 - לבנ"א יש למידה דינמית, המודל לא יכול להוסיף על מה שהוא התאמן עליו הדאטה שלו, הוא יכול אמנם בצורה של שוטר ושופט, אבל זה לא קרוב לאיך שמח של בנ"א עובד.
שוב אני לא רוצה להיגרר לזה, כי זה עלול להביא לכפירה.
המח שלנו הוא לא משהו שאפשר להבין, זה יצירה אלוקית.
ובזה אין מדען שלא מודה.

[aiib]

@המלאך כתב בבירור | מה דעתכם - איזה בינה הכי מועילה כיום לקוד?:

@י.-פל. לא נראה לי הבנת איך עובדים מודלי ai.
זה יותר מבוסס על חיזוי מתמטי מאשר חשיבה אמיתית.
אני אסביר, חשיבה אמיתי זה אומר שאם תיהיה [לדוגמא] בעיה לוגית חדשה בקוד, בני האדם יחשבו וימצאו פיתרון.
הבינה לעולם לא תוכל למצוא לזה פיתרון.
ולו בגלל שזה לא דומה לשום דבר שהיא אומנה עליו.
כי אם אני טועה, אשמח שתסביר לי איך כן עובדת בינה מלאכותית...

לא באמת יודעים איך החשיבה האנושית עובדת ולא בדיוק יודעים איך עובד הAI כן, גם המפתחים יודעים לחזות מה יהיה כשיעשו שינוי כזה ואחר אבל חיזוי מתמטי לא יכול להסביר את התוצאות שהAI מגיע אליהם.
וכן, הAI יכול לפתור בעיות לוגיות חדשות בקוד כמו שבנאדם יכול לפתור. לא יודע באותה רמה, פחות או יותר אבל יכול. זה כבר קורה ועובד. (אגב, 2 מפתחים גדולים של AI קיבלו פרס נובל לפיזיקה כי מודל שלהם הגיע להישג חדש ולא קיים)

ואדרבה, אם יש לך הסבר להסביר לנו פשוטי העם איך בינה מלאכותית עובדת חוץ מלומר חיזוי מתמטי נשמח לשמוע...

[aiib]

@המלאך כתב בבירור | מה דעתכם - איזה בינה הכי מועילה כיום לקוד?:

2 - לבנ"א יש למידה דינמית, המודל לא יכול להוסיף על מה שהוא התאמן עליו הדאטה שלו, הוא יכול אמנם בצורה של שוטר ושופט, אבל זה לא קרוב לאיך שמח של בנ"א עובד.

לא יודע מה אתה מתכוון לשוטר ושופט אבל זה שהמודל לא יכול ללמד את עצמו אחרי אימון זה עניין טכני. החברות רוצות לשלוט באימון. יש חברה שבאמת מפתחת מודל שממשיך להתפתח גם אחרי האימון.

[cfopuser]

@המלאך זה אכן אחד המדדים החשובים בai,
unseen question כמה טוב הai מצליח בשאלות שהוא מעולם לא נתקל בהם,
וההצלחה של המודלים השונים היא די מרשימה.

כול החשיבה, זה שאלה פילוסופית שלא כול כך מעניינת אם הוא עושה את העבודה בכמעט כול דבר שמתכנת עושה כיום כן גם בדברים שהוא לא אומן עליהם, אז למי אכפת אם הוא "חושב" או לא כול עוד הוא עושה תעבודה.

[תותחוביץ']

@י.-פל.

Spoiler

הייתי אומר ביקשתי תמונה של ר חיים קנייבסקי אבל בכל מקרה הוא יגיד אופסס נטפרי וכו....
סתםם אתה צודק בעיקרון אבל הייתי צריך דוגמא פשוטה

@המלאך

1. אתה צודק שלבינה יש הבנה רק איך דברים מוגדרים ולא איך דברים מרגישים ולכן היא שונה מהותית מבן אדם
   אבל כשאתה מבקש קוד זה לא משנה לך כי היכולת שלך לכתוב קוד היא נובעת רק מהבנה של הגדרת הדברים ולא הרגשת הדברים ולכן היכולות שלה שלה בזה היא לגמרי כמו בן אדם
2. זה לא שאתה יכול ללמוד יותר ממנה אלא שלך לא חסמו את ה"דאטה" ואתה מקבל תוספת הבנה ולמידה מכל מה שקורה איתך ול-AI רק מה שמכניסים לו
   אבל ברמה התיאורטית יכלו לאפשר לו לקחת את כל האינטרקציות שלו כחומר לדאטה

[המלאך]

@aiib אם אתה ממש רוצה.

המודל מקבל קלט.
הופך אותו לטוקנים.
מעביר ליצוגיים מספריים [ווקטורים].
הייצוג הוקטורי מקבל אינפורמציה נוספת על ההקשר שלו לדברים אחרים.
מתחיל תהליך שנקרא טרנספורמר, שבו המודל כל טוקן חוזה את הטוקן הבא.
[דרך אגב עיקר החידוש בשנה האחרונה היה שהמודלים יכולים להשתמש בטכנולוגיה שנקראת attention mechanism, שמאפשרת למודל לא לבצע טרנספורמר רגיל אלא חיזוי על סמך הבנה של כלל המשפט].
יצירת פלט.
אני די בטוח שמי שלא מונח ממש בתחום לא יבין חצי ממה שאמרתי.
אבל בגלל שביקשת.
ובכל מקרה לגופו של עניין.
אנחנו לא יודעים איך שניהם עובדים.
אבל אנחנו יודעים בוודאות שלמח יש איזשהו הבנה עליונה.
[לא רוצה להיכנס לתחום בגלל הסיבות שלעיל אבל זה מחלוקת ראשונים גדולה, האם זה הנשמה או שזה עוד חלק במח].

ובשבילכם -
@תותחוביץ ו @cfopuser זה כן משנה.
כי א' מחסור בהבנה גורם שהם מסתמכים נטו על דאטה שהונח עליהם.
וככל שהעולם מתקדם עם הבינה הדרישות גדלות יותר.
לדוגמא, אם נניח פעם היו מבקשים מערכת קבלת נתונים פשוטה, כיום יבקשו הרבה יותר מורכבת כי את הפשוטה הבינה יוצרת בקלות.
והבעיה היא שמורכבת הבינה לא יכולה לעשות.
כי אין לי דאטה של מורכבות כזו.
ודבר אחרון - @י.-פל. שופט ושוטר זה הליך אימון שבו על תשובה נכונה מתגמלים ועל לא נכונה מענישים [כביכול] וזה כמעט הדרך היחידה לאמן מודל אחרי גמר האימון המקורי.

[cfopuser]

@המלאך כתב בבירור | מה דעתכם - איזה בינה הכי מועילה כיום לקוד?:

שופט ושוטר זה הליך אימון שבו על תשובה נכונה מתגמלים ועל לא נכונה מענישים [כביכול] וזה כמעט הדרך היחידה לאמן מודל אחרי גמר האימון המקורי.

זה נקרא llm as a judge וזה ממש לאו דווקא דרך לאימון אלא דרך לזהות ה אם התוצאות של הllm הינם מדויקות ועומדות בקריטריונים שהצבנו.
זה משמש בלא מעט אם לא כול פיתוחים מבוססי ai כדי למנוע שגיאות כולשהן.

אני בכול אופן קלטתי שאיש פה לא בא עם צד לשנות את דעתו,
אלא לשנות את דעת הצד השני ככה שכול הויכוח לא כזה משנה כבר.

@המלאך כתב בבירור | מה דעתכם - איזה בינה הכי מועילה כיום לקוד?:

sli זה מונח תאורטי כמו שאמרתי לעיל אז להגיד שנחכה שזה יקרה זה לא תשובה.

אמרתי שנחכה לasi במה שאנחנו בני האדם קוראים לו ציניות

[המלאך]

@cfopuser רק להבאיר את המציאות.
הבינה לא תחליף בני אנוש נקודה.
ואני משתמש בבינה כמו כולכם.
רק להבאיר מציאות.

Spoiler

sli זה מונח תאורטי כמו שאמרתי לעיל אז להגיד שנחכה שזה יקרה זה לא תשובה.
כי זה לא יקרה.

Spoiler

אה סליחה.. אם כי ציניות זה דבר שקיים גם היום. עיין ערך CynicBot [gpt]

[aiib]

@המלאך כתב בבירור | מה דעתכם - איזה בינה הכי מועילה כיום לקוד?:

המודל מקבל קלט.
הופך אותו לטוקנים.
מעביר ליצוגיים מספריים [ווקטורים].
הייצוג הוקטורי מקבל אינפורמציה נוספת על ההקשר שלו לדברים אחרים.
מתחיל תהליך שנקרא טרנספורמר, שבו המודל כל טוקן חוזה את הטוקן הבא.
[דרך אגב עיקר החידוש בשנה האחרונה היה שהמודלים יכולים להשתמש בטכנולוגיה שנקראת attention mechanism, שמאפשרת למודל לא לבצע טרנספורמר רגיל אלא חיזוי על סמך הבנה של כלל המשפט].
יצירת פלט.
אני די בטוח שמי שלא מונח ממש בתחום לא יבין חצי ממה שאמרתי.
אבל בגלל שביקשת.
ובכל מקרה לגופו של עניין.
אנחנו לא יודעים איך שניהם עובדים.
אבל אנחנו יודעים בוודאות שלמח יש איזשהו הבנה עליונה.
[לא רוצה להיכנס לתחום בגלל הסיבות שלעיל אבל זה מחלוקת ראשונים גדולה, האם זה הנשמה או שזה עוד חלק במח].

אתה מתאר תהליך, שאת רובו גם אתה לא מבין גם אם אתה יודע לצטט את המושגים. וכמו שכתבת בעצמך 'אנחנו לא יודעים איך שניהם עובדים' התחלת בלומר שזה חיזוי מתמטי ואז עכשיו הוספת מושגים כמו הבנה והקשר וכו'...
ברור שלמח ישנה הבנה עליונה, השאלות הן- כמה ולמה בדיוק הפער משמעותי, האם תוספת כח העיבוד והידע שקיים בAI לא מפצה אותו במקומות אחרים.
אתה להבנתי באת ואמרת שבגלל שלמח יש הבנה מסויימת שלAI אין אז זה אומר פחות או יותר שהעתיד של הAI נורא מוגבל ותמיד יצטרכו בני אדם, אני הקטן ורבים וטובים ממני אומרים ששתי הנקודות שטענתי יחד עם פיתוח עתידי ייגברו על ההבנה העמוקה של המוח האנושי לכל הפחות לשימושים הנצרכים. (אין צורך שהAI יהיה אנושי, הוא פשוט צריך לעשות את העבודה...)