הסבר | הי, עצור! עידן AI חדש לפניך!
-
@NH-LOCAL כתב בהסבר | הי, עצור! עידן AI חדש לפניך!:
והרי התוצאות....
https://chatgpt.com/share/66e3d9bf-dc3c-800d-b047-97491038291f
@NH-LOCAL כתב בהסבר | הי, עצור! עידן AI חדש לפניך!:
לא ניתן לגשת לקובץ בנטפרי. {בקהילות שונות}
-
חברת OPENAI שחררו מודל חדש ניסיוני בשם O1!
נכון לעכשיו הוא זמין למנויים בתשלום דרך צ'אט GPT, בעתיד הוא צפוי להיות משוחרר לכלל המשתמשים.
שימו לב למדדים שלו בהשוואה לדגם האחרון שלהם - GPT4O
מדובר בקפיצה בלתי נתפסת ביכולות כמו קידוד, מתמטיקה, מדעים, פיזיקה ועוד!
הסבר מפורט על הגרפים
(הסיכום נכתב באמצעות צ'אט GPT, השתדלתי לתקן את הסיכום, אך יתכן וישנם עדיין טעויות קלות במספרים):
1. מבחני תחרויות חשיבה:
תחרות מתמטיקה (AIME 2024):
דגם GPT-4o הצליח רק ב-13.4% מהמבחן.
דגם o1 לעומתו הצליח ב-83.3%, שזה שיפור עצום. זו דוגמה לתחרות מתמטיקה מתקדמת מאוד, ודגם o1 מצליח בצורה מרשימה לעומת היכולות הקודמות של GPT-4o.
גרסת "preview" של o1 הצליחה במבחן עם ציון של 56.7%, מה שמעיד שגם בשלבי הפיתוח הוא היה טוב יותר מ-GPT-4o.תחרות קוד (CodeForces):
גם כאן, הביצועים של GPT-4o היו נמוכים – הוא השיג רק 11%.
דגם o1 קיבל ציון גבוה מאוד של 89%, שזה שיפור ענק בתחרות שמצריכה פתרון בעיות קוד מורכבות בזמן אמת.שאלות ברמת דוקטורט (PhD) במדעים (GPQA Diamond):
GPT-4o השיג 56.1% בשאלות מדעיות מסובכות ברמה אקדמית מתקדמת.
דגם o1 הצליח להגיע ל-78%, מה שמראה שהוא טוב יותר אפילו מאדם מומחה (שהצליח רק ב-69.7%).2. מבחנים במערכות למידת מכונה (ML Benchmarks):
יש כאן סדרה של מבחנים שמודדים את יכולות הבינה המלאכותית במתמטיקה, בפתרון בעיות מבוססות טקסט, ובהבנה של מערכות מורכבות.
ב-MATH-500, למשל, GPT-4o השיג 60.3%, אבל דגם o1 קיבל ציון מדהים של 94.8%.
ב-MMLU, מבחן רחב נוסף, GPT-4o קיבל 88%, בעוד ש-dgmo o1 שיפר והגיע ל-92.3%.3. שאלות מדעיות ברמת PhD (GPQA Diamond):
מדובר בבחינות בתחומים כמו כימיה, פיזיקה, וביולוגיה, שנשאלות ברמה אקדמית גבוהה (ברמת דוקטורט).
בכימיה, לדוגמה, GPT-4o קיבל 40.2%, בעוד ש-dgmo o1 השיג שיפור משמעותי והגיע ל-64.7%.
בפיזיקה הביצועים של o1 היו גם טובים יותר, כאשר הוא קיבל 92.8% בהשוואה ל-GPT-4o עם 59.5%.
בביולוגיה, דגם o1 קיבל ציון של 69.2%, הרבה יותר טוב מ-GPT-4o שקיבל 61.6%.
4. מבחני השכלה כללית (Exams):
כאן נמדדו היכולות של שני הדגמים במבחנים אקדמיים כמו מבחן AP, SAT ו-LSAT.
לדוגמה, במבחן AP English Literature, דגם GPT-4o קיבל 68.7%, בעוד ש-dgmo o1 שיפר מעט וקיבל 69%.
במבחנים אחרים, כמו AP Physics 2, דגם o1 הגיע ל-89%, הרבה מעל 69% של GPT-4o.
במבחן SAT במתמטיקה, o1 היה מדויק לגמרי עם ציון של 100%, בעוד ש-GPT-4o קיבל ציון דומה של 100%, אבל מדובר בבחינה יחסית פשוטה.
5. קטגוריות של מבחן MMLU:
מדובר במבחנים שבוחנים ידע בתחומים שונים כמו לוגיקה פורמלית, יחסי ציבור, כלכלה, מוסר, ועוד. כאן רואים ש-dgmo o1 משפר את התוצאות ברוב הקטגוריות.
לדוגמה, בתחום של מוסר, o1 קיבל 85.8%, בעוד ש-GPT-4o קיבל 80%.
בקטגוריות אחרות, כמו יחסי ציבור, o1 קיבל 75%, שוב הרבה יותר טוב מ-GPT-4o.
סיכום:
דגם o1 מציג שיפורים משמעותיים כמעט בכל תחום שנבדק בהשוואה ל-GPT-4o, במיוחד בתחומים שדורשים חשיבה עמוקה, פתרון בעיות מתמטיות מורכבות, ותשובות לשאלות מדעיות ברמה אקדמית גבוהה. הביצועים של o1 קרובים מאוד, ולעיתים עוקפים, את הביצועים של מומחים אנושיים בתחומים מסוימים.
בנוסף, השיפור שנראה בתמונה מתמקד בכך ש-o1 מצליח להיות יותר מדויק, להבין תהליכים מורכבים בצורה טובה יותר, ולספק תשובות ברורות ומהירות יותר, מה שיכול להפוך אותו לכלי יותר שימושי בתחומים כמו תחרויות מתמטיקה, פיזיקה, קידוד, והבנה מדעית רחבה.
מידע נוסף:
- https://azure.microsoft.com/en-us/blog/introducing-o1-openais-new-reasoning-model-series-for-developers-and-enterprises-on-azure/
- https://techcrunch.com/2024/09/12/openai-unveils-a-model-that-can-fact-check-itself/
- https://platform.openai.com/docs/guides/reasoning
הכנסו לבלוג שלי למאמרים ותגליות נוספות
@NH-LOCAL
יובל אבידני פרסם את הפוסט הבא
"כולם מתלהבים ממודל חדש של openai שנקרא o-1 ואמור להיות חכם יותר כי הוא יחשוב יותר.בינתיים אף אחד לא טורח לציין שמדובר בגימיק מגוחך של אלטמן עם מודל דבילי שלא מצליח כלום.
ככה נראית חברה שמדרדרת לתהום אחרי שכל הקברניטים נטשו את הספינה ונשאר מישהו עם שיגעון גדלות בסיפון.
חושבים שאני מגזים?
הנה, גם המודל ״הגאון״ הזה נכשל במבחן ה״כמה פעמים מופיעה האות R במילה Strawberry״
♂️לא להתלהב מגימיקים והודעות לתקשורת לפני שמוכיחים בידיים! גם אם זו OpenAI שהופכת יותר דומה לכישלון של גוגל"
-
@NH-LOCAL
יובל אבידני פרסם את הפוסט הבא
"כולם מתלהבים ממודל חדש של openai שנקרא o-1 ואמור להיות חכם יותר כי הוא יחשוב יותר.בינתיים אף אחד לא טורח לציין שמדובר בגימיק מגוחך של אלטמן עם מודל דבילי שלא מצליח כלום.
ככה נראית חברה שמדרדרת לתהום אחרי שכל הקברניטים נטשו את הספינה ונשאר מישהו עם שיגעון גדלות בסיפון.
חושבים שאני מגזים?
הנה, גם המודל ״הגאון״ הזה נכשל במבחן ה״כמה פעמים מופיעה האות R במילה Strawberry״♂️לא להתלהב מגימיקים והודעות לתקשורת לפני שמוכיחים בידיים! גם אם זו OpenAI שהופכת יותר דומה לכישלון של גוגל"
@זונדל חוששני שהאיש עם שיגעון הגדלות כאן הוא דוקא יובל אבידני.
מדובר במודל מטורף שנמצא ממש ממש בתחילת הדרך, ועם כל הכבוד לשאלה ספציפית, הוא עולה בעשרות נקודות על כל מודל אחר בשוק במדדי חשיבה והיגיון רבים.
OPENAI עובדת על המודל הזה כשנה ואפילו יותר, לא מדובר כאן באיזה "זריקה" של מודל שהוכן מהיום להיום.
הוא כבר הספיק להיבדק בכמה מדדים חיצוניים (לא של OPENAI עצמם) והוא אכן מציג ביצועים טובים יותר במידה זו או אחרת. (לדוגמה).
שוב: המודל רחוק מלהיות מושלם. הוא עוד יצטרך לעבור ליטוש ובמקרי שימוש מסויימים GPT4o טוב יותר, ו-OPENAI לא מנסים להסתיר זאת.
השבועיים הקרובים יוכיחו מי צודק.
הוא לא עם יובל אבידני
הרשת מלאה בדיונים נגד ובעד. עם כאלה שרואים את המודל ככישלון מוחלט מול כאלה שמציגים אותו כפנטסטי. בתוך כשבוע הדברים יהיו ברורים יותר. אבל מה שברור כבר עכשיו: לזלזל ביכולות של OPENAI זה ממש לא חכם!
לקט פוסטים שפורסמו על ידי משתמשים ברדיט:
ומאידך:
-
@זונדל חוששני שהאיש עם שיגעון הגדלות כאן הוא דוקא יובל אבידני.
מדובר במודל מטורף שנמצא ממש ממש בתחילת הדרך, ועם כל הכבוד לשאלה ספציפית, הוא עולה בעשרות נקודות על כל מודל אחר בשוק במדדי חשיבה והיגיון רבים.
OPENAI עובדת על המודל הזה כשנה ואפילו יותר, לא מדובר כאן באיזה "זריקה" של מודל שהוכן מהיום להיום.
הוא כבר הספיק להיבדק בכמה מדדים חיצוניים (לא של OPENAI עצמם) והוא אכן מציג ביצועים טובים יותר במידה זו או אחרת. (לדוגמה).
שוב: המודל רחוק מלהיות מושלם. הוא עוד יצטרך לעבור ליטוש ובמקרי שימוש מסויימים GPT4o טוב יותר, ו-OPENAI לא מנסים להסתיר זאת.
השבועיים הקרובים יוכיחו מי צודק.
הוא לא עם יובל אבידני
הרשת מלאה בדיונים נגד ובעד. עם כאלה שרואים את המודל ככישלון מוחלט מול כאלה שמציגים אותו כפנטסטי. בתוך כשבוע הדברים יהיו ברורים יותר. אבל מה שברור כבר עכשיו: לזלזל ביכולות של OPENAI זה ממש לא חכם!
לקט פוסטים שפורסמו על ידי משתמשים ברדיט:
ומאידך:
-
@יעקב11 הוא יצר לו הטעיה מכווונת כשהוא הוסיף נקודה אחרי כל מילה (כמה. פעמים. מופיעה. וכו'...)
המודל היה אמור להתגבר גם על זה, אבל בכל מקרה - מדובר על מקרה שימוש מאוד ספציפי. לא ככה בודקים ביצועים של מודל וחורצים גורלות -
@יעקב11 למה?
הטעות העיקרית שלו זה כמובן 'תות' בעברית אל מול המילה באנגלית (שם יש 3 R)
בגלל שהתעקשת איתו על טעות, הוא שיער שכוונת לאות שנשמעת בדיבור ולא בכתיבה, כך ששתי הR האחרונים - אחד המה. -
@יעקב11 למה?
הטעות העיקרית שלו זה כמובן 'תות' בעברית אל מול המילה באנגלית (שם יש 3 R)
בגלל שהתעקשת איתו על טעות, הוא שיער שכוונת לאות שנשמעת בדיבור ולא בכתיבה, כך ששתי הR האחרונים - אחד המה.@צדיק-וטוב-לו-0 כי הוא בטוח שהפרשנות שלו נכונה והוא לא בודק את ההבנה הראשונית שלו.
-
@NH-LOCAL
יובל אבידני פרסם את הפוסט הבא
"כולם מתלהבים ממודל חדש של openai שנקרא o-1 ואמור להיות חכם יותר כי הוא יחשוב יותר.בינתיים אף אחד לא טורח לציין שמדובר בגימיק מגוחך של אלטמן עם מודל דבילי שלא מצליח כלום.
ככה נראית חברה שמדרדרת לתהום אחרי שכל הקברניטים נטשו את הספינה ונשאר מישהו עם שיגעון גדלות בסיפון.
חושבים שאני מגזים?
הנה, גם המודל ״הגאון״ הזה נכשל במבחן ה״כמה פעמים מופיעה האות R במילה Strawberry״♂️לא להתלהב מגימיקים והודעות לתקשורת לפני שמוכיחים בידיים! גם אם זו OpenAI שהופכת יותר דומה לכישלון של גוגל"
@זונדל כתב בהסבר | הי, עצור! עידן AI חדש לפניך!:
יובל אבידני פרסם את הפוסט הבא
"כולם מתלהבים ממודל חדש של openai שנקרא o-1 ואמור להיות חכם יותר כי הוא יחשוב יותר.בינתיים אף אחד לא טורח לציין שמדובר בגימיק מגוחך של אלטמן עם מודל דבילי שלא מצליח כלום.
ככה נראית חברה שמדרדרת לתהום אחרי שכל הקברניטים נטשו את הספינה ונשאר מישהו עם שיגעון גדלות בסיפון.
חושבים שאני מגזים?
הנה, גם המודל ״הגאון״ הזה נכשל במבחן ה״כמה פעמים מופיעה האות R במילה Strawberry״ ♂️איני יודע מיהו, אך מעצם זה שהוא מערב דעות [חברה ננטשת] עם עובדות [מודל טוב/גרוע], זה אומר עליו משהו...
-
ניסיתי את המודל, מאוד מרשים.
נראה גם שהעברית שלו מאוד טובה- ביקשתי שיר בחרוזים וזאת התוצאה:אתה מבקש שיר בחרוזים, בעברית צחה עם צלילים נעימים. אז אנסה ליצור למענך שורות, שימלאו את לבך בשמחה ואורות.
בדרכך אתה מחפש לדעת, מילים וחכמה תמיד לגלות. בשאלותיך יש נופך מיוחד, שמוסיף לעולם ניגון נחמד.
שתמשיך לשאול, להעמיק לחקור, לגלות עולמות, אופקים לבחור. במילים אלו אסיים בשמחה, מאחל לך יום מלא ברכה.
-
ניסיתי את המודל, מאוד מרשים.
נראה גם שהעברית שלו מאוד טובה- ביקשתי שיר בחרוזים וזאת התוצאה:אתה מבקש שיר בחרוזים, בעברית צחה עם צלילים נעימים. אז אנסה ליצור למענך שורות, שימלאו את לבך בשמחה ואורות.
בדרכך אתה מחפש לדעת, מילים וחכמה תמיד לגלות. בשאלותיך יש נופך מיוחד, שמוסיף לעולם ניגון נחמד.
שתמשיך לשאול, להעמיק לחקור, לגלות עולמות, אופקים לבחור. במילים אלו אסיים בשמחה, מאחל לך יום מלא ברכה.
@g0527 כתב בהסבר | הי, עצור! עידן AI חדש לפניך!:
ניסיתי את המודל, מאוד מרשים.
נראה גם שהעברית שלו מאוד טובה- ביקשתי שיר בחרוזים וזאת התוצאה:אתה מבקש שיר בחרוזים, בעברית צחה עם צלילים נעימים. אז אנסה ליצור למענך שורות, שימלאו את לבך בשמחה ואורות.
בדרכך אתה מחפש לדעת, מילים וחכמה תמיד לגלות. בשאלותיך יש נופך מיוחד, שמוסיף לעולם ניגון נחמד.
שתמשיך לשאול, להעמיק לחקור, לגלות עולמות, אופקים לבחור. במילים אלו אסיים בשמחה, מאחל לך יום מלא ברכה.
זה באמת נחמד. במדדים הוא לא מציג שיפור בכתיבה יצירתית, אבל בפועל הוא מציג שיפור עצום בכתיבה מבוססת כללים. תנסה לבקש ממנו שיר שכל המילים בבית א' מתחילים באות א', בבית ב' באות ב' וכו'.
או נסה לבקש ממנו ליצור אקרוסטיכון שהוא ראשי תיבות של משפט ארוך ומסובך. 4o יבלבל מן הסתם את האקרוסטיכון, קלוד אולי יצליח אבל יהרוס את החרוזים, ו-o1 היחיד שיצליח בזה באופן מלא
-
G g0527 התייחס לנושא זה
-
@יעקב11 דרך צ'אט GPT. אך כרגע זה זמין רק למנויים בתשלום, עם מגבלה של עד 30-50 הודעות בשבוע
-
@NH-LOCAL כתב בהסבר | הי, עצור! עידן AI חדש לפניך!:
עם מגבלה של עד 30-50 הודעות בשבוע
זה עדיין קיים?
@נחמן-פלח כתב בהסבר | הי, עצור! עידן AI חדש לפניך!:
@NH-LOCAL כתב בהסבר | הי, עצור! עידן AI חדש לפניך!:
עם מגבלה של עד 30-50 הודעות בשבוע
זה עדיין קיים?
בהחלט. 50 הודעות יומיות למודל o1 mini ו-50 הודעות שבועיות למודל o1 preview
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}