שיתוף | מרוץ ה-AI מתקדם במהירות האור - OpenAI הציגה את מודל o3

[NH.LOCAL]

@י-פל כתב בשיתוף | מרוץ ה-AI מתקדם במהירות האור - OpenAI הציגה את מודל o3:

שאתה תשבח את זה?
הם הרסו את O1, והעבירו אותו ל200$. גם כן שדרוג... זמני המקוואות בק"ס קיבלו שדרוג יותר גדול....

נכון ולא נכון. אני גם מרגיש ככה בחלק מהשימושים, אבל מדד livebench שהוא כנראה אחד האמינים בתחום חושב אחרת.

[י. פל.]

@NH-LOCAL כתב בשיתוף | מרוץ ה-AI מתקדם במהירות האור - OpenAI הציגה את מודל o3:

נכון ולא נכון

עובדתית, הוא לא חושב יותר מ4 שניות.
נכון או לא?
אם ענית כן, אז המודל טיפש יותר, ולא מעניינת אותי המציאות [או יותר נכון: המדדים]...

[NH.LOCAL]

@י-פל א. הוא בהחלט חושב יותר מ-4 שניות. במקרים מסויימים הוא חשב גם דקה. ב. זה שהוא חושב פחות זמן לא בהכרח הופך אותו לטיפש יותר, אלא ליעיל יותר.

אבל אתה צודק שזה מרגיש פחות טוב בהרבה דברים

[יום_שמח]

אני לא יודע איזה אינטרנט יש לכם אבל ניסיתי התכתבות שני סינונים (על המודל שפתוח לכולם), בסינון רימון תוך שנייה ענה ובנטפרי היה צריך לחשוב קצת

[NH.LOCAL]

@יום_שמח הוא לא באמת חושב, נטפרי בסך הכל מעכבים לך את הצגת התשובה כדי לאפשר לבוט שלהם לסנן אותה. נראה לך שנטפרי יכולים לגרום לאתר להשתנות?

[י. פל.]

@יום_שמח כתב בשיתוף | מרוץ ה-AI מתקדם במהירות האור - OpenAI הציגה את מודל o3:

ובנטפרי היה צריך לחשוב קצת

כשהוא חושב, הוא מספר את זה [וגם כמה זמן לקח לו].

[אלף שין]

@NH-LOCAL
מה למשל הוא יכול לעשות שהקודם לא יכל?

[sivan22]

@NH-LOCAL לכל המתלהבים אני ממליץ לקרוא את זה: https://pub.towardsai.net/why-openais-o1-model-is-a-scam-eb3356c3d70e

הוא טוען שהטכנולוגיה קיימת כבר שנים ואין כאן חידוש, פשוט קצת עבודה בעיניים. אתה יכול לגרום לכל מודל לחשוב. אז בוודאי שזה לא מודל חדש, זה סה''כ מנגנון מעל המודל. והרעיון ה"מהפכני" הוא לאמן אותו על הבנצ'מארקים עצמם, כדי להטות את התוצאות.

[י. פל.]

@sivan22 כתב בשיתוף | מרוץ ה-AI מתקדם במהירות האור - OpenAI הציגה את מודל o3:

@NH-LOCAL לכל המתלהבים אני ממליץ לקרוא את זה: https://pub.towardsai.net/why-openais-o1-model-is-a-scam-eb3356c3d70e

הוא טוען שהטכנולוגיה קיימת כבר שנים ואין כאן חידוש, פשוט קצת עבודה בעיניים. אתה יכול לגרום לכל מודל לחשוב. אז בוודאי שזה לא מודל חדש, זה סה''כ מנגנון מעל המודל. והרעיון ה"מהפכני" הוא לאמן אותו על הבנצ'מארקים עצמם, כדי להטות את התוצאות.

והוא https://arcprize.org/blog/oai-o3-pub-breakthrough טוען שבאמת אין הוספה של נתונים לאימון, אלא שימוש בטכנולוגיות כאלו ואחרות.
כמעט כל רעיון חדש אינו טכנולוגיה חדשה, אלא מימוש שלה, לא?

[NH.LOCAL]

@sivan22 אתה יודע מה מצחיק בכל מפקפקי ה-AI למיניהם? שתוך כמה חודשים הם נאלצים לבלוע את הלשון או לאכול את הכובע, פשוט בגלל שמודל חדש שיוצא שובר את התאוריות הקודמות שלהם.

זה התחיל במחקר מעמיק שבוצע על GPT 3.5 וקבע שנתונים סינטטיים יזיקו בהכרח לאיכות של מודל. הבעיה היא, שעד שהמחקר פורסם, שוחררו מודלים חדשים בעולם האמיתי (כמו PHI3 של מיקרוסופט) שהוכיחו את ההפך הגמור.

ולגבי המאמר שהבאת, לא עברתי על כולו, והציטוט הבא צץ לנגד עיני מיד (מתורגם לשם הנוחות):

FrontierMath, אמת מידה חדשה לחלוטין במתמטיקה, שימשה לבדיקת ה-LLMs הטובים ביותר. היוצרים של מערך הנתונים הזה מזכירים:

כל הבעיות הן חדשות ולא פורסמו, מה שמבטל חששות לזיהום נתונים שפוגעים במדדים קיימים.

ואם מסתכלים על התוצאות - הפתעה, הפתעה - o1-preview לא הגיעה למקום הראשון (או אפילו השני). ואני אפילו לא מזכיר שזה פתר פחות מ-1% מהבעיות המפורטות במערך הנתונים הזה.

אתה יכול גם לראות ש-o1-preview לא הציג ביצועים טובים בהרבה בהשוואה ל-GPT-4o, דגם הבסיס של o1.

זה עשוי לרמוז למסקנה ש-CoT כוונן עדין לביצועים טובים יותר במדדים, אבל בפועל הוא לא עשה שום התקדמות משמעותית.

והנה, הפתעה הפתעה(!!!) שלושה חודשים בלבד אחרי פרסום המאמר המלומד, יוצא מודל חדש שמקבל 25.2% במדד ה"בלתי פתיר" הזה

אגב, הוא לא היחיד המופתע. הנה ציטוט של טרנס טאו, אחד המתמטיקאים המפורסמים והגאונים ביותר בעולם על מדד FrontierMath המדובר:

[י. פל.]

@NH-LOCAL כתב בשיתוף | מרוץ ה-AI מתקדם במהירות האור - OpenAI הציגה את מודל o3:

אתה יכול גם לראות ש-o1-preview לא הציג ביצועים טובים בהרבה בהשוואה ל-GPT-4o, דגם הבסיס של o1.

זה משפט לא הגיוני בעליל!!!

[NH.LOCAL]

@י-פל אני כבר עייפתי. כל הטיעונים שם מוכרים טחונים ולעוסים. כמו בקורונה, גם כאן יש כמה מכחישי AI כמו כותב המאמר הנ"ל וגארי מרקוס למי שמכיר

הטיעונים לעוסים ולא באמת משנים משהו. הוא טוען ש:

"אתה יכול לגרום לכל מודל לחשוב. אז בוודאי שזה לא מודל חדש, זה סה''כ מנגנון מעל המודל. והרעיון ה"מהפכני" הוא לאמן אותו על הבנצ'מארקים עצמם, כדי להטות את התוצאות."

הבעיה היא שאם זה היה כל כך קל, כל החברות הגדולות היו עושות את זה מזמן כדי לנצח במירוץ, וגם OpenAI היו משחררים את זה כבר מזמן במקום לעבוד על המוצר שנה ויותר. (השמועות על השיטה הזו נפוצו כבר בדצמבר 2023 תחת השם Q*)