בירור | האם הAI הולך לאכול אותנו? | בינה מלאכותית: במת הדיונים המרכזית

רפאל vnkl

@המלאך מחילה אבל לא הבנתי.
זה מקרה די מפורסם, למה כוונתך?

NH.LOCAL

@המלאך כתב:

מבחינה טכנולוגית דעתי היא שכיום כל האימונים והמודלים החדשים זה בס"ה סידור טוב יותר של הדאטה סט, לא שיטות אימון חדשות או בכלל מנגנוני חישוב חדשים.

זה לא נכון עובדתית. יש שני דברים שעדיין עובדים בבירור: סקיילינג (כלומר הגדלת RL והגדל דאטה) ושיפור שיטות אימון ומנגוני חישוב.

GPT 6 בהחלט מיישם את שני הדברים: הם גם שילבו שיטה יעילה לחישוב (שגם גורמת לו להפיק הרבה פחות טוקני חשיבה), וגם הגדילו את בסיס המודל.

לכן בשביל להגיע למודלים ברמת agi יש צורך בפריצת דרך, אז לדעתי זה עניין של זמן עד שזה יקרה, אבל זה דורש שינוי של תצורות האימון.

זה עניין של חודשיים שלושה עד שמגיעים ל-AGI, למעשה גרג ברוקמן הנשיא של OpenAI אומר בבירור ש-GPT 6 הוא למעשה AGI, וכך גם אמר במפורש ג'נסן האונג מנכ"ל אנבידיה. שאמירה שלו היא בהחלט משמעותית, ואין לו אינטרס ספציפי לשווק את OAI.

גם אם GPT 6 עדיין אינו AGI לכל הדעות, סביר מאוד להניח ש-GPT 6.5 בהחלט יחשב כך, לא חסר הרבה להגיע לשם.

י. פל.

@רפאל-vnkl כתב:

זה מקרה די מפורסם, למה כוונתך?

לא היה ולא נברא - הכל היה אימולציה.
כלומר קרה - אבל לא ׳באמיתי׳.

המלאך

@רפאל-vnkl שאנטרופיק או open ai עשו יח"צ.

ובכל מקרה זה גם לא נידון שמשנה.

@NH.LOCAL כתב:

זה לא נכון עובדתית. יש שני דברים שעדיין עובדים בבירור: סקיילינג (כלומר הגדלת RL והגדל דאטה) ושיפור שיטות אימון ומנגוני חישוב.

הגענו בזה לתקרת הזכוכית.

כיום זה נטו סידור הדאטה. הגשתו בצורה טובה יותר למודל, לפחות לדעתי.

@NH.LOCAL כתב:

זה עניין של חודשיים שלושה עד שמגיעים ל-AGI, למעשה גרג ברוקמן הנשיא של OpenAI אומר בבירור ש-GPT 6 הוא למעשה AGI, וכך גם אמר במפורש ג'נסן האונג מנכ"ל אנבידיה. שאמירה שלו היא בהחלט משמעותית, ואין לו אינטרס ספציפי לשווק את OAI.

גם אם GPT 6 עדיין אינו AGI לכל הדעות, סביר מאוד להניח ש-GPT 6.5 בהחלט יחשב כך, לא חסר הרבה להגיע לשם.

אז ממש אשמח לדעת מה ההגדרה שלך לagi.

רפאל vnkl

@י.-פל. אני מניח שהתכוונתי ל'סימולציה' ולא 'אימולציה'
בכל מקרה, זה ממש לא משנה.
עצם העובדה שהוא העיז לעשות את זה, גם אם זה היה רק ניסוי מבוקר, מוכיח שהוא עלול לעשות את זה גם מחוץ לניסוי

כלומר, מה שגרם לו להתעלם מחוקי האתיקה ולעשות את זה במסגרת הניסוי ההוא, זה מה שיגרום לו להתעלם מחוקי האתיקה ולעשות דברים דומים מחוץ לניסוי

NH.LOCAL

@המלאך כתב:

הגענו בזה לתקרת הזכוכית.

כיום זה נטו סידור הדאטה. הגשתו בצורה טובה יותר למודל, לפחות לדעתי.

במחילה, אבל דעתך פשוט סותרת את העובדות. זה פשוט לא נכון ולא תואם את המציאות

@המלאך כתב בבירור | האם הAI הולך לאכול אותנו? | בינה מלאכותית: במת הדיונים המרכזית:

אז ממש אשמח לדעת מה ההגדרה שלך לagi.

לדעתי, השגנו AGI כבר לפני כמה שנים, (פשוט תחשוב על AGI לפי ההגדרות של 2020) אבל דעתי לא חשובה.

למען האמת, המושג AGI כשלעצמו די חסר משמעות, מאחר שקהילת ה-AI מזיזה את השער בכל פעם מחדש.
למעשה, נראה שנשיג ASI או RSI הרבה לפני שתהיה הסכמה ש"הגענו ל-AGI"

המלאך

@רפאל-vnkl נראה שלא הבנת.

כוונתו לומר אמולציה בהקשר של העובדה שזה לא היה בכלל.

כלומר המצאה מבית היוצר של אנטרופיק.

סיבוב יח"צ.

@NH.LOCAL כתב:

במחילה, אבל דעתך פשוט סותרת את העובדות. זה פשוט לא נכון ולא תואם את המציאות

איזה מהם.

שכמויות הדאטה האנושי נגמרו? אתה סובר שמלאכותי עדיף?

@NH.LOCAL כתב:

למען האמת, המושג AGI כשלעצמו די חסר משמעות, מאחר שקהילת ה-AI מזיזה את השער בכל פעם מחדש.
למעשה, נראה שנשיג ASI או RSI הרבה לפני שתהיה הסכמה ש"הגענו ל-AGI"

אכן.
צודק לגמרי.

NH.LOCAL

@המלאך כתב:

איזה מהם.

שכמויות הדאטה האנושי נגמרו? אתה סובר שמלאכותי עדיף?

אני לא סובר שום דבר. המציאות היא שאין מגבלת סקיילינג בשלב זה, והשימוש בדאטה מלאכותית משפרת את מודלי ה-AI ועובדת מצוין.

כל התקדמות המודלים של השנים האחרונות היא במידה רבה תוצאה של דאטה מלאכותית.
למעשה, כל אימון RL שמסתיים בהצלחה יוצר דאטה חדשה לחלוטין.

@המלאך כתב בבירור | האם הAI הולך לאכול אותנו? | בינה מלאכותית: במת הדיונים המרכזית:

הגענו בזה לתקרת הזכוכית.

כיום זה נטו סידור הדאטה. הגשתו בצורה טובה יותר למודל, לפחות לדעתי.

קצת מצחיק לדבר על "תקרת זכוכית" כשהתקדמות מודלי ה-AI מעולם לא הייתה מהירה יותר, עם קצב שחרור שנע בין שבועיים לחודש וחצי, קפיצות ענק והתקדמות בלתי נתפסת ביכולות.

המלאך

@NH.LOCAL מבחינה מסויימת זה התעלמות מהשינויים בשטח.
השיטה המקובלת כיום סוברת שדאטה מלאכותי לא משפר יותר מדאטה אנושי.

אותה שיטה גם גורסת שאין ברירה אלא להאכיל את המודל בדאטה מלאכותי.

ואני מוסיף עליה שככה לא נראה התקדמות פורצת דרך בשנים הקרובות,
בל נשכח שזה בס"ה במודלי השפה.

ומה עם מערכות רובוטיות עם גוף משלהם? זה דורש הרבה יותר..

NH.LOCAL

@המלאך כתב:

@NH.LOCAL מבחינה מסויימת זה התעלמות מהשינויים בשטח.
השיטה המקובלת כיום סוברת שדאטה מלאכותי לא משפר יותר מדאטה אנושי.

הוא לא צריך לשפר יותר מדאטה אנושי, מספיק שהוא משפר כמו דאטה אנושי.
כל הגדלה משפרת את המודלים באופן טבעי, לא רק איכות הנתונים.

אותה שיטה גם גורסת שאין ברירה אלא להאכיל את המודל בדאטה מלאכותי.

לא מכיר את השיטה הזו. נשמע כמו מחקר מ-2023.

הטענות הללו הופרכו כבר לפני שנים. אפילו GPT 4 כבר השתמש בדאטה מלאכותית לשיפור שלו.

ואני מוסיף עליה שככה לא נראה התקדמות פורצת דרך בשנים הקרובות,

אתה טוען פה טענות שפשוט לא מתכתבות עם המציאות והנתונים.
אין ערך לסברות כרס, הנתונים די ברורים בנושא.

ומה עם מערכות רובוטיות עם גוף משלהם? זה דורש הרבה יותר..

GPT 6 הביא פריצת דרך משמעותית גם בתחום הזה. ולפי קצב האירועים השיפור ילך ויהיה מהיר יותר עם הזמן.

רפאל vnkl

@המלאך כתב:

כלומר המצאה מבית היוצר של אנטרופיק.

הוכחות?
למעשה יש הוכחות בדיוק לצד השני. אנת'רופיק ביצעה את הניסוי הזה גם על מודלים של openAI וחברות אחרות ודיווחה שזה קרה גם שם. אם זה היה בשביל יח''צ למודלים שלה, היא לא הייתה מפרסמת את זה על המודלים של שאר החברות.

המלאך

@NH.LOCAL שוב פעם, אדייק יותר את דברי.

דאטה מלאכותי הוא לא ברמה של דאטה אנושי.

אלא פחות ממנו.

כך או כך, גם אם למודל שפה זה מספיק, מה תענה על עולם שלם? מודל שפה ב'ס"ה' נותן תשובות, הוא לא צריך להגיב בזמן אמת בחיים האמיתיים.

תחשוב על כמות החישובים לרובוט שרץ ברחוב סואן.

Gpt 6 העניק 'התקדמות' ואיך זה נוגע תכלס? האם יש שינויים? אז אתה מסכים שההתקדמות הרבה יותר איטי בחיים האמיתיים.

@רפאל-vnkl כתב:

הוכחות?
למעשה יש הוכחות בדיוק לצד השני. אנת'רופיק ביצעה את הניסוי הזה גם על מודלים של openAI וחברות אחרות ודיווחה שזה קרה גם שם. אם זה היה בשביל יח''צ למודלים שלה, היא לא הייתה מפרסמת את זה על המודלים של שאר החברות.

למעשה היחצ הוא לא על המודלים אלא על הרצון שלה לוועדה שתאכוף את בטיחות המודלים.

י. פל.

@המלאך כתב:

השיטה המקובלת כיום סוברת שדאטה מלאכותי לא משפר יותר מדאטה אנושי.

חייב לספר לך: כש @לא-מתייאש עשה את המודל ocr שלו - הוא עשה אותו רק על דאטה סינטטי. הוא התפלא שאנחנו מנסים לקחת דאטה אנושי.
וככל הנראה (לא התעסקתי בעצמי, לא אומר בבירור) - הוא צדק. לא אומר שהדאטה האנושי של עזר, אבל הסינטטי עושה עבודה מצויינת.

שלץ

> @המלאך כתב:

כל הנידון הזה (מחילה על הבלת"ק.)
הוא די דבילי.

סברתי ככה מלכתחילה לכן נתתי לנושא את שמו, כדי להדגיש שמדובר בשטות.
אבל לא להאמין - נראה שאנשים ממש רוצים לחרוש על השטות הזו...
(לא יודע אם ראית, אבל המטרה המקורית של השרשור הייתה להציל את השרשור של בנימין-מחשבים מההספמות בנושא)

המלאך

@י.-פל.
ייתכן כמו שאמרתי שגאטה מלאכותי אכן יועיל למודלי שפה.

אבל מה עם מערכות רובוטיות?

אני היחיד ששמתי לב שהגיזרה הזו שקטה מדי? קלוד ואופן ai רבים מי יוציא מודל שפה עם מספר גבוה יותר אבל שם אין בכלל מודל ייעודי?

NH.LOCAL

@המלאך כתב:

Gpt 6 העניק 'התקדמות' ואיך זה נוגע תכלס? האם יש שינויים?

בהחלט, יש התקדמות מדהימה בהבנה של העולם האמיתי והתנהלות בו.
זו ממש לא התקדמות במרכאות, אלא התקדמות אמיתית וממשית.

לדוגמה: במבחן רובוטיקה, GPT 6 קיבל 95% לעומת 30% של פייבל 5.1 ו-5% של GPT 5.6, מדובר בהתקדמות בלתי נתפסת תוך פחות מחודשיים.

ביצירת תלת מימד, הבנת תמונה וסימון פריטים, GPT 6 הוא המודל הראשון אי פעם שפשוט מגיע לרמת שלמות של 100%, לא מדובר בקפיצה מ-70% ל-80% אלא בקפיצה כמו מ-20% ל-99%.

זו גם הסיבה שרבים מתייחסים אליו כ-AGI אמיתי, מכיוון שהוא פתר במידה רבה את החלק האחרון שהיה חסר למודל - הבנה ופעולה בעולם האמיתי.

אז אתה מסכים שההתקדמות הרבה יותר איטי בחיים האמיתיים.

אתה צודק שההתקדמות בחיים האמיתיים הרבה יותר מורכבת ואיטית באופן יחסי, השאלה איך זה רלוונטי לדיון?
וגם, האם ותוך כמה זמן זה יפתר.

אני היחיד ששמתי לב שהגיזרה הזו שקטה מדי? קלוד ואופן ai רבים מי יוציא מודל שפה עם מספר גבוה יותר אבל שם אין בכלל מודל ייעודי?

גוגל אכן מתקדמת גם במודלי ג'מיני עבור רובוטיקה.

אבל הלקח המר מלמד שמודלים גדולים יותר תמיד ינצחו מודלים יעודיים.

@המלאך כתב בבירור | האם הAI הולך לאכול אותנו? | בינה מלאכותית: במת הדיונים המרכזית:

@NH.LOCAL שוב פעם, אדייק יותר את דברי.

דאטה מלאכותי הוא לא ברמה של דאטה אנושי.

אלא פחות ממנו.

אני חושב שאתה מערבב בין שני דברים: ביחס לתכנות, מתמטיקה וכו', דאטה סינתטי בהחלט משתווה לדאטה אנושי וכנראה עולה עליו במקרים רבים.
יש בסיס דאטה אנושי מספיק טוב בשביל ליצור ממנו דאטה סינתטי באיכות גבוהה.

לגבי דאטה עבור רובוטיקה והבנת העולם, לעומת יצירת עולמות סינתטיים אכן אין תחליף לדאטה אנושי בשלב זה.

לעכשיו

@nh.local
בתכלס, יש מודל פועל רובוטי (היינו עם גוף פיזי) ברמת תפקוד שמתחילה להשתוות לגוף אנושי?

NH.LOCAL

@לעכשיו כתב:

@nh.local
בתכלס, יש מודל פועל רובוטי (היינו עם גוף פיזי) ברמת תפקוד שמתחילה להשתוות לגוף אנושי?

ביכולת הפיזית - זה די קרוב להשלמה.

ביכולת החשיבה והפעולה בעולם - אין עדיין מודל כזה.

רפאל vnkl

@המלאך כתב:

למעשה היחצ הוא לא על המודלים אלא על הרצון שלה לוועדה שתאכוף את בטיחות המודלים.

נשמע לי קונספירציה מוחלטת.
היא רצתה שבגלל הניסוי הזה תוקם ועדה שתדאג לבטיחות המודלים, כן?
והיא לא חשבה שהוועדה הזאת תרצה לבדוק אם הניסוי שאנת'רופיק טוענת שביצעה, אמיתי בכלל? לפני שהיא מתחילה מאבק משפטי אדיר לכפייה על חברות ה AI את בטיחות המודלים?

לעכשיו

@NH.LOCAL כתב:

ביכולת הפיזית - זה די קרוב להשלמה.

ביכולת החשיבה והפעולה בעולם - אין עדיין מודל כזה.

היינו, שתכלס אנחנו רחוקים (כנראה מאוד, במושגים של היום) מבינה מלאכותית פיזית.