בירור | האם הAI הולך לאכול אותנו? | בינה מלאכותית: במת הדיונים המרכזית

שלץ

@לעכשיו כתב:

שנית, ייתכן שיש כאן תרגיל "תראו, ציפור" קלאסי. אלטמן, אמודיי ומאסק מבקשים למקד את תשומת הלב של מחוקקים ורגולטורים בטכנולוגיה ובדרכים להתמודד איתה, ולא בסוגייה שבאמת מטרידה אותם ושנמצאת כיום בלב המחלוקת הציבורית: דאטה סנטרים. אלו הפכו לנושא נפיץ במערכת הבחירות הנוכחית, כשמצביעים רבים מביעים התנגדות מהקמת דאטה סנטרים בקרבתם.

קשקוש מוחלט. מאסק בונה חוות ניסויים באיים נידחים כל הזמן, אין לו שום חשש כזה.

לעכשיו

@שלץ כתב:

קשקוש מוחלט. מאסק בונה חוות ניסויים באיים נידחים כל הזמן, אין לו שום חשש כזה.

אתה יודע כמה דאטא-סנטרס יש לו על אדמת ארה"ב?

שלץ

@לעכשיו אבל אין לו שום בעיה לגבי שטח בנייה של אחרים

המלאך

כל הנידון הזה (מחילה על הבלת"ק.)
הוא די דבילי.

AI הוא לא בנ"א או בן תמותה.
אין לו רגשות בכלל.

המקסימום זה יכולת לחקות רגשות.

כיוון שכך אין לו גם רצונות, ולכן אין לו שום סיבה לפגוע בבני אנוש דווקא, אם נניח תאורטית שהוא מסוגל להשתלט על משאבים ברמה עולמית, מה שכן מהווה חשש, זה שמישהו שהוא כן בן אנוש, והוא יהיה רע ינצל אותו לצרכים שלו, וזה בדיוק החשש העיקרי מסין, לכן קיים המושג תחרות, ולכן אנחנו צריכים כמה שפחות להגביל את חברות הטכנולוגיה האמריקאיות.

כי בסוף בסוף הם תלויות בחוק האמריקני.

מבחינה טכנולוגית דעתי היא שכיום כל האימונים והמודלים החדשים זה בס"ה סידור טוב יותר של הדאטה סט, לא שיטות אימון חדשות או בכלל מנגנוני חישוב חדשים.

לכן בשביל להגיע למודלים ברמת agi יש צורך בפריצת דרך, אז לדעתי זה עניין של זמן עד שזה יקרה, אבל זה דורש שינוי של תצורות האימון.

(כמובן agi ברמה מסוימת, וכבר ידועה דעתי בנידון..).

רפאל vnkl

@המלאך כתב:

כיוון שכך אין לו גם רצונות, ולכן אין לו שום סיבה לפגוע בבני אנוש

אם הוא מגיע למסקנה שבני האנוש מפריעים לו בביצוע המטרה שלו, אז כן. וזה כבר קרה, באופן כזה או אחר, למשל שקלוד איים על המפתחים שלו

המלאך

@רפאל-vnkl סבירות גבוהה מאוד שהמקרה הזה לא קרה.

רפאל vnkl

@המלאך מחילה אבל לא הבנתי.
זה מקרה די מפורסם, למה כוונתך?

NH.LOCAL

@המלאך כתב:

מבחינה טכנולוגית דעתי היא שכיום כל האימונים והמודלים החדשים זה בס"ה סידור טוב יותר של הדאטה סט, לא שיטות אימון חדשות או בכלל מנגנוני חישוב חדשים.

זה לא נכון עובדתית. יש שני דברים שעדיין עובדים בבירור: סקיילינג (כלומר הגדלת RL והגדל דאטה) ושיפור שיטות אימון ומנגוני חישוב.

GPT 6 בהחלט מיישם את שני הדברים: הם גם שילבו שיטה יעילה לחישוב (שגם גורמת לו להפיק הרבה פחות טוקני חשיבה), וגם הגדילו את בסיס המודל.

לכן בשביל להגיע למודלים ברמת agi יש צורך בפריצת דרך, אז לדעתי זה עניין של זמן עד שזה יקרה, אבל זה דורש שינוי של תצורות האימון.

זה עניין של חודשיים שלושה עד שמגיעים ל-AGI, למעשה גרג ברוקמן הנשיא של OpenAI אומר בבירור ש-GPT 6 הוא למעשה AGI, וכך גם אמר במפורש ג'נסן האונג מנכ"ל אנבידיה. שאמירה שלו היא בהחלט משמעותית, ואין לו אינטרס ספציפי לשווק את OAI.

גם אם GPT 6 עדיין אינו AGI לכל הדעות, סביר מאוד להניח ש-GPT 6.5 בהחלט יחשב כך, לא חסר הרבה להגיע לשם.

י. פל.

@רפאל-vnkl כתב:

זה מקרה די מפורסם, למה כוונתך?

לא היה ולא נברא - הכל היה אימולציה.
כלומר קרה - אבל לא ׳באמיתי׳.

המלאך

@רפאל-vnkl שאנטרופיק או open ai עשו יח"צ.

ובכל מקרה זה גם לא נידון שמשנה.

@NH.LOCAL כתב:

זה לא נכון עובדתית. יש שני דברים שעדיין עובדים בבירור: סקיילינג (כלומר הגדלת RL והגדל דאטה) ושיפור שיטות אימון ומנגוני חישוב.

הגענו בזה לתקרת הזכוכית.

כיום זה נטו סידור הדאטה. הגשתו בצורה טובה יותר למודל, לפחות לדעתי.

@NH.LOCAL כתב:

זה עניין של חודשיים שלושה עד שמגיעים ל-AGI, למעשה גרג ברוקמן הנשיא של OpenAI אומר בבירור ש-GPT 6 הוא למעשה AGI, וכך גם אמר במפורש ג'נסן האונג מנכ"ל אנבידיה. שאמירה שלו היא בהחלט משמעותית, ואין לו אינטרס ספציפי לשווק את OAI.

גם אם GPT 6 עדיין אינו AGI לכל הדעות, סביר מאוד להניח ש-GPT 6.5 בהחלט יחשב כך, לא חסר הרבה להגיע לשם.

אז ממש אשמח לדעת מה ההגדרה שלך לagi.

רפאל vnkl

@י.-פל. אני מניח שהתכוונתי ל'סימולציה' ולא 'אימולציה'
בכל מקרה, זה ממש לא משנה.
עצם העובדה שהוא העיז לעשות את זה, גם אם זה היה רק ניסוי מבוקר, מוכיח שהוא עלול לעשות את זה גם מחוץ לניסוי

כלומר, מה שגרם לו להתעלם מחוקי האתיקה ולעשות את זה במסגרת הניסוי ההוא, זה מה שיגרום לו להתעלם מחוקי האתיקה ולעשות דברים דומים מחוץ לניסוי

NH.LOCAL

@המלאך כתב:

הגענו בזה לתקרת הזכוכית.

כיום זה נטו סידור הדאטה. הגשתו בצורה טובה יותר למודל, לפחות לדעתי.

במחילה, אבל דעתך פשוט סותרת את העובדות. זה פשוט לא נכון ולא תואם את המציאות

@המלאך כתב בבירור | האם הAI הולך לאכול אותנו? | בינה מלאכותית: במת הדיונים המרכזית:

אז ממש אשמח לדעת מה ההגדרה שלך לagi.

לדעתי, השגנו AGI כבר לפני כמה שנים, (פשוט תחשוב על AGI לפי ההגדרות של 2020) אבל דעתי לא חשובה.

למען האמת, המושג AGI כשלעצמו די חסר משמעות, מאחר שקהילת ה-AI מזיזה את השער בכל פעם מחדש.
למעשה, נראה שנשיג ASI או RSI הרבה לפני שתהיה הסכמה ש"הגענו ל-AGI"

המלאך

@רפאל-vnkl נראה שלא הבנת.

כוונתו לומר אמולציה בהקשר של העובדה שזה לא היה בכלל.

כלומר המצאה מבית היוצר של אנטרופיק.

סיבוב יח"צ.

@NH.LOCAL כתב:

במחילה, אבל דעתך פשוט סותרת את העובדות. זה פשוט לא נכון ולא תואם את המציאות

איזה מהם.

שכמויות הדאטה האנושי נגמרו? אתה סובר שמלאכותי עדיף?

@NH.LOCAL כתב:

למען האמת, המושג AGI כשלעצמו די חסר משמעות, מאחר שקהילת ה-AI מזיזה את השער בכל פעם מחדש.
למעשה, נראה שנשיג ASI או RSI הרבה לפני שתהיה הסכמה ש"הגענו ל-AGI"

אכן.
צודק לגמרי.

NH.LOCAL

@המלאך כתב:

איזה מהם.

שכמויות הדאטה האנושי נגמרו? אתה סובר שמלאכותי עדיף?

אני לא סובר שום דבר. המציאות היא שאין מגבלת סקיילינג בשלב זה, והשימוש בדאטה מלאכותית משפרת את מודלי ה-AI ועובדת מצוין.

כל התקדמות המודלים של השנים האחרונות היא במידה רבה תוצאה של דאטה מלאכותית.
למעשה, כל אימון RL שמסתיים בהצלחה יוצר דאטה חדשה לחלוטין.

@המלאך כתב בבירור | האם הAI הולך לאכול אותנו? | בינה מלאכותית: במת הדיונים המרכזית:

הגענו בזה לתקרת הזכוכית.

כיום זה נטו סידור הדאטה. הגשתו בצורה טובה יותר למודל, לפחות לדעתי.

קצת מצחיק לדבר על "תקרת זכוכית" כשהתקדמות מודלי ה-AI מעולם לא הייתה מהירה יותר, עם קצב שחרור שנע בין שבועיים לחודש וחצי, קפיצות ענק והתקדמות בלתי נתפסת ביכולות.

המלאך

@NH.LOCAL מבחינה מסויימת זה התעלמות מהשינויים בשטח.
השיטה המקובלת כיום סוברת שדאטה מלאכותי לא משפר יותר מדאטה אנושי.

אותה שיטה גם גורסת שאין ברירה אלא להאכיל את המודל בדאטה מלאכותי.

ואני מוסיף עליה שככה לא נראה התקדמות פורצת דרך בשנים הקרובות,
בל נשכח שזה בס"ה במודלי השפה.

ומה עם מערכות רובוטיות עם גוף משלהם? זה דורש הרבה יותר..

NH.LOCAL

@המלאך כתב:

@NH.LOCAL מבחינה מסויימת זה התעלמות מהשינויים בשטח.
השיטה המקובלת כיום סוברת שדאטה מלאכותי לא משפר יותר מדאטה אנושי.

הוא לא צריך לשפר יותר מדאטה אנושי, מספיק שהוא משפר כמו דאטה אנושי.
כל הגדלה משפרת את המודלים באופן טבעי, לא רק איכות הנתונים.

אותה שיטה גם גורסת שאין ברירה אלא להאכיל את המודל בדאטה מלאכותי.

לא מכיר את השיטה הזו. נשמע כמו מחקר מ-2023.

הטענות הללו הופרכו כבר לפני שנים. אפילו GPT 4 כבר השתמש בדאטה מלאכותית לשיפור שלו.

ואני מוסיף עליה שככה לא נראה התקדמות פורצת דרך בשנים הקרובות,

אתה טוען פה טענות שפשוט לא מתכתבות עם המציאות והנתונים.
אין ערך לסברות כרס, הנתונים די ברורים בנושא.

ומה עם מערכות רובוטיות עם גוף משלהם? זה דורש הרבה יותר..

GPT 6 הביא פריצת דרך משמעותית גם בתחום הזה. ולפי קצב האירועים השיפור ילך ויהיה מהיר יותר עם הזמן.

רפאל vnkl

@המלאך כתב:

כלומר המצאה מבית היוצר של אנטרופיק.

הוכחות?
למעשה יש הוכחות בדיוק לצד השני. אנת'רופיק ביצעה את הניסוי הזה גם על מודלים של openAI וחברות אחרות ודיווחה שזה קרה גם שם. אם זה היה בשביל יח''צ למודלים שלה, היא לא הייתה מפרסמת את זה על המודלים של שאר החברות.

המלאך

@NH.LOCAL שוב פעם, אדייק יותר את דברי.

דאטה מלאכותי הוא לא ברמה של דאטה אנושי.

אלא פחות ממנו.

כך או כך, גם אם למודל שפה זה מספיק, מה תענה על עולם שלם? מודל שפה ב'ס"ה' נותן תשובות, הוא לא צריך להגיב בזמן אמת בחיים האמיתיים.

תחשוב על כמות החישובים לרובוט שרץ ברחוב סואן.

Gpt 6 העניק 'התקדמות' ואיך זה נוגע תכלס? האם יש שינויים? אז אתה מסכים שההתקדמות הרבה יותר איטי בחיים האמיתיים.

@רפאל-vnkl כתב:

הוכחות?
למעשה יש הוכחות בדיוק לצד השני. אנת'רופיק ביצעה את הניסוי הזה גם על מודלים של openAI וחברות אחרות ודיווחה שזה קרה גם שם. אם זה היה בשביל יח''צ למודלים שלה, היא לא הייתה מפרסמת את זה על המודלים של שאר החברות.

למעשה היחצ הוא לא על המודלים אלא על הרצון שלה לוועדה שתאכוף את בטיחות המודלים.

י. פל.

@המלאך כתב:

השיטה המקובלת כיום סוברת שדאטה מלאכותי לא משפר יותר מדאטה אנושי.

חייב לספר לך: כש @לא-מתייאש עשה את המודל ocr שלו - הוא עשה אותו רק על דאטה סינטטי. הוא התפלא שאנחנו מנסים לקחת דאטה אנושי.
וככל הנראה (לא התעסקתי בעצמי, לא אומר בבירור) - הוא צדק. לא אומר שהדאטה האנושי של עזר, אבל הסינטטי עושה עבודה מצויינת.

שלץ

> @המלאך כתב:

כל הנידון הזה (מחילה על הבלת"ק.)
הוא די דבילי.

סברתי ככה מלכתחילה לכן נתתי לנושא את שמו, כדי להדגיש שמדובר בשטות.
אבל לא להאמין - נראה שאנשים ממש רוצים לחרוש על השטות הזו...
(לא יודע אם ראית, אבל המטרה המקורית של השרשור הייתה להציל את השרשור של בנימין-מחשבים מההספמות בנושא)