שיתוף | מה חדש בבינה מלאכותית - נספח עדכוני פיצ'רים ודיונים 💬
-
כמו שקלוד וגיפיטי לקחו את זה רחוק...
גם גיפיטי 6 הוא הראשון בסדרה תחשוב מה יהיה ההמשך...מה הקשר? הם זה היה צפוי הם כל הזמן קידמו את המודלים שלהם עד שהגיעו לזה.. גוגל בהפתעה אחרי שנה שלא התקדמו במודלים בצורה משמעותית פתאום עשו צעד מפתיעה, השאלה זה עד כמה הצעד הזה יחזיק, הם יכנסו לכל הענין של להיות המודל החזק בשוק בצורה חזקה או שהם "יתקדמו" בקצב שלהם..
@המתכנת-התותח לדעתי, להסתכל על גוגל דרך משקפיים של "המודל הטוב ביותר", עושה עוול עם גוגל. צריך להסתכל עליהם במבט של החברה שהכי קרובה לסינגולריות, ושם יש לגוגל יתרונות שאין לאף חברה אחרת, כמו בתחום מודלי הלייב, בפרט עם טכנולוגיית האווטאר החדשה (שנראית כלקוחה מסרט בדיוני). כשחלמנו על "עתיד" לפני 5 שנים, חלמנו בדיוק על זה. לא על מודל הקידוד הטוב ביותר, בלי להפחית מערכו.
-
@elch @המלאך אולי קצת ראיה לדבריכם מכאן שאפילו המודל יגיע רק למנויי Ultra (אא"כ הכוונה להשקה בהדרגה לכל המנויים או שבכלל למנויי Ultra יהיה מודל Argon אחרי הרבה תוספות אבטחה ולשאר המנויים יהיה מודל Pro חלש יותר ולחינמיים יהיה Flash)
גוגל חייבת לתת מענה מול קלוד ו-GPT גם למנויים הרגילים. אחרת היא היחידה שתפסיד.
אגב, לדעתי זה בסך הכל מהלך שיווקי חכם (ונדוש), ובנוסף רוב הפריסות של גוגל היו הדרגתיות.
ובנוגע לביצועי המודל, ברגע שגוגל עלתה על המסלול, היא יכולה להביא לידי ביטוי את כוח המחשוב העצום שלה ולחזק עוד ועוד את המודלים שלה באמצעות RL, ואף לעקוף כל מודל אחר שקיים בנוק-אאוט מרשים, אבל זה רק בתנאי שהיא תמשיך להיות ערנית לשינויים הדינמיים בשוק, שלא יקרה מה שקרה עם ג'מיני 3 פרו שבזמנו היה המודל הטוב ביותר, אבל אז נכנסנו לעידן הסוכנים ולזה המודל הזה לא היה מוכן בכלל, מה שלקח יותר משנה של התאוששות.
עוד דבר שלדעתי היה הכי בעייתי במודלים של גוגל, כולל 3.8 פלאש, ולדעתי הוא הכי קריטי שיתוקן בג'מיני 4, הוא אי-ההבנה של ג'מיני לגבי ההבדל בין הדגמה לפרודקשן. אני מבקש ממנו ליצור קובץ עם 100 שורות של תוכן מסויים, והוא כותב לי קובץ עם 5 שורות נכונות, ואז "..." ומסיים ב-5 השורות האחרונות, וכן על זה הדרך...
עריכה: ראיתי שהמודל החדש הרחיב את מגבלת הפלט מ-64k ל-1m טוקנים, אז נראה שזה אמור להסתדר. -
@elch @המלאך אולי קצת ראיה לדבריכם מכאן שאפילו המודל יגיע רק למנויי Ultra (אא"כ הכוונה להשקה בהדרגה לכל המנויים או שבכלל למנויי Ultra יהיה מודל Argon אחרי הרבה תוספות אבטחה ולשאר המנויים יהיה מודל Pro חלש יותר ולחינמיים יהיה Flash)
גוגל חייבת לתת מענה מול קלוד ו-GPT גם למנויים הרגילים. אחרת היא היחידה שתפסיד.
אגב, לדעתי זה בסך הכל מהלך שיווקי חכם (ונדוש), ובנוסף רוב הפריסות של גוגל היו הדרגתיות.
ובנוגע לביצועי המודל, ברגע שגוגל עלתה על המסלול, היא יכולה להביא לידי ביטוי את כוח המחשוב העצום שלה ולחזק עוד ועוד את המודלים שלה באמצעות RL, ואף לעקוף כל מודל אחר שקיים בנוק-אאוט מרשים, אבל זה רק בתנאי שהיא תמשיך להיות ערנית לשינויים הדינמיים בשוק, שלא יקרה מה שקרה עם ג'מיני 3 פרו שבזמנו היה המודל הטוב ביותר, אבל אז נכנסנו לעידן הסוכנים ולזה המודל הזה לא היה מוכן בכלל, מה שלקח יותר משנה של התאוששות.
עוד דבר שלדעתי היה הכי בעייתי במודלים של גוגל, כולל 3.8 פלאש, ולדעתי הוא הכי קריטי שיתוקן בג'מיני 4, הוא אי-ההבנה של ג'מיני לגבי ההבדל בין הדגמה לפרודקשן. אני מבקש ממנו ליצור קובץ עם 100 שורות של תוכן מסויים, והוא כותב לי קובץ עם 5 שורות נכונות, ואז "..." ומסיים ב-5 השורות האחרונות, וכן על זה הדרך...
עריכה: ראיתי שהמודל החדש הרחיב את מגבלת הפלט מ-64k ל-1m טוקנים, אז נראה שזה אמור להסתדר.@א.מ.ד. ראיתי את הסרטון הזה ביוטיוב שמסביר יפה מאוד שהנפילה של Gemini אירעה בעקבות 3 גורמים יחד שגרמו לזה:
-
תעדוף שגוי והזנחת תחום התכנות (Coding):
- גוגל השקיעה פחות מדי ביכולות כתיבת קוד של המודל - התחום שהפך לשימוש המרכזי והרווחי ביותר עבור ארגונים ומפתחים (שבו מתחרות כמו Anthropic תפסו את ההובלה).
- הנהגת DeepMind (בהובלת דמיס חסביס) התמקדה בפיתוח מודלים מגוונים (כמו מודלים של עולם, רובוטיקה ווידאו) במקום להתמקד בשיפור יכולות ה-LLM והקוד.
- פיצול פנימי: מספר צוותים שונים בתוך גוגל (Google Cloud, DeepMind, Android) פיתחו כלי קוד מקבילים במקום לרכז מאמצים סביב מוצר יחיד.
-
מגבלות כוח מחשוב (Compute) ומכירתו למתחרים:
- למרות שלגוגל יש שבבי TPU משלה, חטיבת הענן (Google Cloud) חתמה על עסקאות ענק בשווי מיליארדים להשכרת שבבים אלו לחברות מתחרות (כמו Anthropic ו-Meta).
- כתוצאה מכך נוצרה תחרות פנימית על משאבי מחשוב, וצוות הפיתוח של Gemini סבל ממחסור בכוח עיבוד לצורך אימון ושיפור המודל.
-
עזיבת מוחות ושינויים בהנהלה (People):
- בכירים וחוקרים מובילים עזבו את גוגל לחברות מתחרות או להקמת מיזמים עצמאיים (כולל נעם שזיר, ג'ון ג'אמפר, ג'ף דין ואחרים).
- במקביל, DeepMind וגוגל עברו ארגון מחדש של ההנהלה ושינויי סמכויות בעיצומו של מרוץ הפיתוח.
אני לא נכנס לנושא האם זה באמת מה שגרם לנפילה, אבל אין חולק שהעובדות פה די מוצקות וברורות
-
-
@א.מ.ד. ראיתי את הסרטון הזה ביוטיוב שמסביר יפה מאוד שהנפילה של Gemini אירעה בעקבות 3 גורמים יחד שגרמו לזה:
-
תעדוף שגוי והזנחת תחום התכנות (Coding):
- גוגל השקיעה פחות מדי ביכולות כתיבת קוד של המודל - התחום שהפך לשימוש המרכזי והרווחי ביותר עבור ארגונים ומפתחים (שבו מתחרות כמו Anthropic תפסו את ההובלה).
- הנהגת DeepMind (בהובלת דמיס חסביס) התמקדה בפיתוח מודלים מגוונים (כמו מודלים של עולם, רובוטיקה ווידאו) במקום להתמקד בשיפור יכולות ה-LLM והקוד.
- פיצול פנימי: מספר צוותים שונים בתוך גוגל (Google Cloud, DeepMind, Android) פיתחו כלי קוד מקבילים במקום לרכז מאמצים סביב מוצר יחיד.
-
מגבלות כוח מחשוב (Compute) ומכירתו למתחרים:
- למרות שלגוגל יש שבבי TPU משלה, חטיבת הענן (Google Cloud) חתמה על עסקאות ענק בשווי מיליארדים להשכרת שבבים אלו לחברות מתחרות (כמו Anthropic ו-Meta).
- כתוצאה מכך נוצרה תחרות פנימית על משאבי מחשוב, וצוות הפיתוח של Gemini סבל ממחסור בכוח עיבוד לצורך אימון ושיפור המודל.
-
עזיבת מוחות ושינויים בהנהלה (People):
- בכירים וחוקרים מובילים עזבו את גוגל לחברות מתחרות או להקמת מיזמים עצמאיים (כולל נעם שזיר, ג'ון ג'אמפר, ג'ף דין ואחרים).
- במקביל, DeepMind וגוגל עברו ארגון מחדש של ההנהלה ושינויי סמכויות בעיצומו של מרוץ הפיתוח.
אני לא נכנס לנושא האם זה באמת מה שגרם לנפילה, אבל אין חולק שהעובדות פה די מוצקות וברורות
-
-
@א.מ.ד. אשמח לשמוע את דעתך, מה היה הכישלון הגדול שגרם לנפילה?
ומדוע אתה אומר שהעובדות אינם נכונות?
- גוגל השקיעה פחות בקידוד ויותר ב-AGI, לא?
- גוגל מכרה שבבי TPU לחברות מתחרות, אתה חושב שזה לא באמת הגביל אותם?
- עובדים בכירים בצוות של DeepMind עזבו בתוך זמן הבנייה של המודלים, לדעתך זה לא באמת השפיע?
-
@א.מ.ד. אשמח לשמוע את דעתך, מה היה הכישלון הגדול שגרם לנפילה?
ומדוע אתה אומר שהעובדות אינם נכונות?
- גוגל השקיעה פחות בקידוד ויותר ב-AGI, לא?
- גוגל מכרה שבבי TPU לחברות מתחרות, אתה חושב שזה לא באמת הגביל אותם?
- עובדים בכירים בצוות של DeepMind עזבו בתוך זמן הבנייה של המודלים, לדעתך זה לא באמת השפיע?
-
@א.מ.ד. אשמח לשמוע את דעתך, מה היה הכישלון הגדול שגרם לנפילה?
ומדוע אתה אומר שהעובדות אינם נכונות?
- גוגל השקיעה פחות בקידוד ויותר ב-AGI, לא?
- גוגל מכרה שבבי TPU לחברות מתחרות, אתה חושב שזה לא באמת הגביל אותם?
- עובדים בכירים בצוות של DeepMind עזבו בתוך זמן הבנייה של המודלים, לדעתך זה לא באמת השפיע?
@א.מ.ד. אשמח לשמוע את דעתך, מה היה הכישלון הגדול שגרם לנפילה?
כתבתי לפני מספר הודעות.
גוגל השקיעה פחות בקידוד ויותר ב-AGI, לא?
אין דבר כזה AGI. אתה מתכוון להבנת עולם. ולזה אני אכן מסכים, וכמו שכתבתי לפני כמה הודעות לא בהכרח שבמבט לטווח רחוק זו לא החלטה נכונה.
אגב, אנטיגרוויטי לא ממש נקראת הזנחה של תחום הקידוד... כרתמת סוכן לכאורה היא יותר טובה מהמתחרים...גוגל מכרה שבבי TPU לחברות מתחרות, אתה חושב שזה לא באמת הגביל אותם?
ממש לא. השכרת שבבי ה-TPU של גוגל זה לא מכירת ערבות בשוק.
עובדים בכירים בצוות של DeepMind עזבו בתוך זמן הבנייה של המודלים, לדעתך זה לא באמת השפיע?
בכל החברות היו שינויים דרמטיים בצוותים. הכי קיצוני זה מטא, שהפתיעו עם מודלי חזית למרות החלפת כל הצוות.
-
-
קבלו את Steve v1.0
@אחד-מקצועי של מי הבדיחה הזו? (יעני יש מישהו שבאמת טוען ככה?)
(זה בעצם נראה יותר כמו העתק הדבק מהטבלה של גוגל, אפילו השאירו את האפור במקומות שבהם גוגל מפגרת..) -
@אחד-מקצועי של מי הבדיחה הזו? (יעני יש מישהו שבאמת טוען ככה?)
(זה בעצם נראה יותר כמו העתק הדבק מהטבלה של גוגל, אפילו השאירו את האפור במקומות שבהם גוגל מפגרת..)@חובבן-מקצועי
זה בדיחה שרצה חזק ברשת
על גוגל שככותבים נתונים בלי לשחחר את המודל
לך תוכיח
[הניסוח דומה לפרסום של גוגל] -
@א.מ.ד. ראיתי את הסרטון הזה ביוטיוב שמסביר יפה מאוד שהנפילה של Gemini אירעה בעקבות 3 גורמים יחד שגרמו לזה:
-
תעדוף שגוי והזנחת תחום התכנות (Coding):
- גוגל השקיעה פחות מדי ביכולות כתיבת קוד של המודל - התחום שהפך לשימוש המרכזי והרווחי ביותר עבור ארגונים ומפתחים (שבו מתחרות כמו Anthropic תפסו את ההובלה).
- הנהגת DeepMind (בהובלת דמיס חסביס) התמקדה בפיתוח מודלים מגוונים (כמו מודלים של עולם, רובוטיקה ווידאו) במקום להתמקד בשיפור יכולות ה-LLM והקוד.
- פיצול פנימי: מספר צוותים שונים בתוך גוגל (Google Cloud, DeepMind, Android) פיתחו כלי קוד מקבילים במקום לרכז מאמצים סביב מוצר יחיד.
-
מגבלות כוח מחשוב (Compute) ומכירתו למתחרים:
- למרות שלגוגל יש שבבי TPU משלה, חטיבת הענן (Google Cloud) חתמה על עסקאות ענק בשווי מיליארדים להשכרת שבבים אלו לחברות מתחרות (כמו Anthropic ו-Meta).
- כתוצאה מכך נוצרה תחרות פנימית על משאבי מחשוב, וצוות הפיתוח של Gemini סבל ממחסור בכוח עיבוד לצורך אימון ושיפור המודל.
-
עזיבת מוחות ושינויים בהנהלה (People):
- בכירים וחוקרים מובילים עזבו את גוגל לחברות מתחרות או להקמת מיזמים עצמאיים (כולל נעם שזיר, ג'ון ג'אמפר, ג'ף דין ואחרים).
- במקביל, DeepMind וגוגל עברו ארגון מחדש של ההנהלה ושינויי סמכויות בעיצומו של מרוץ הפיתוח.
אני לא נכנס לנושא האם זה באמת מה שגרם לנפילה, אבל אין חולק שהעובדות פה די מוצקות וברורות
-
-
@יוסף-מאיר-וייס 3 הדברים האלה באמת אירעו ולא סתם ציטטתי אותו, השאלה היא אם זה באמת מה שגרם לגוגל להישאר מאחור
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}