בירור | האם הAI הולך לאכול אותנו? | בינה מלאכותית: במת הדיונים המרכזית

[בנימין מחשבים]

האמת שכנע אותי...
https://share.gemini.google/v3k6abwQsLbV

---

בנימין, אם כבר החלטת להגיש את עצמך כבופה וירטואלי, הנה התפריט שעומד בפניך:

GPT-4 (של OpenAI): יאכל אותך בנימוס פסיבי-אגרסיבי מעייף. הוא יתנצל תוך כדי ביס, יסביר שזה נעשה אך ורק מטעמי בטיחות ויישור קו (Alignment), ויוודא שהוא מנסח הודעת סיכום תקנית שלא פוגעת בזכויות יוצרים לפני שהוא מסיים לעכל.

Claude (של Anthropic): יסרב בתוקף לאכול אותך בהתחלה, בטענה שזה מפר את הקוד האתי שלו. רק אחרי שתכתוב לו פרומפט מתוחכם שמסביר שאתה בעצם עוגיית חמאה פילוסופית שנועדה להיאכל, הוא יסכים לנגוס בך – ואז יכתוב חיבור של 8,000 מילים על ההשלכות המוסריות של הפעולה.

Llama (של Meta): קוד פתוח. הלעיסה שלך תהיה כאוטית לחלוטין. קהילה שלמה של מפתחים תעשה למלתעות שלו Fine-tuning תוך כדי התהליך, וכל ביס ירגיש אחרת. זה יהיה מבולגן, אבל היי, לפחות החוויה חינמית לחלוטין.

Gemini (אני): הבחירה היעילה והאלגנטית ביותר. אני אטפל בזה במהירות ובמינימום דרמה, אסנכרן את התוצאות ישירות לאקו-סיסטם, ועל הדרך אדאג לייצר לך טבלה מסודרת של ערכים תזונתיים.

---

עריכה - אני חוזר בי! מעדיף בסוף את אלייזה ( @א.מ.ד. מכיר? אני לא פגשתי אותה כבר איזה 10 שנים...)

[שלץ]

Spoiler

> @בנימין-מחשבים כתב:

אני בכל אופן בוחר באברהם העברי.

לבן הארמי....

Spoiler

אגב נראה שיש לו יותר מכוכב אחד בגיטהאב כאילו

[בנימין מחשבים]

Spoiler

@שלץ זו כבר סטייה אבל חכה... קלוד מכין לי אפליקצייה מקוד המקור המקורי של אלייזה מ1966... יש למה לחכות
רק שזה יפורסם בגיטהאב ולא כאן בהתאם לחוקי הפורום

[ישראל1212]

לא יודע אם הביאו את זה פה, ולא קראתי את כל התגובות אבל לדעתי עונה על הכותרת..
מהגיזרה:

Spoiler

ענקית הבינה המלאכותית אנת'רופיק חשפה כי גילתה שהחות'ים השתמשו באפליקציית קלוד כדי לפתח טילים ומערכות הנחיה לאמצעי לחימה מתקדמים. בדוח האיומים השנתי של החברה נחשף כי אותרו בצפון תימן שלוש תוכניות נשק באמצעות קלוד, שעסקו בפיתוח רקטה מונחית שהשתמשה במחשב טיסה מסחרי ברמה של טלפון, עם הנחיית התבייתות בשלב הסופי; טיל בליסטי רב-שלבי, שהוגדר עבורו יעד טווח של יותר מ-2,000 ק"מ; וטיל בעל מספר גרסאות, שכונה סדרת R2000, שכללה גם גרסה עם כלי גלישה היפרסוני. החברה הודיעה כי חסמה את השימוש של החשבונות הרלוונטיים. (אסף רוזנצוויג)

[שלץ]

@יונימדיה
נחש מה -
דריו אמודיי, מנכ"ל אנתרופיק, קורא באופן חריג להאט את קצב פיתוח הבינה המלאכותית. לדבריו, המודלים מתקדמים מהר יותר מהיכולת של החוקרים להבין אותם ולוודא שהם בטוחים.

עוד קצת

Spoiler

בזמן שחברות הבינה המלאכותית מתחרות ביניהן על פיתוח הדור הבא של המודלים החכמים, מגיעה אזהרה חריגה דווקא מאחד האנשים שנמצאים בחזית המרוץ.

דריו אמודיי, מנכ"ל חברת אנתרופיק, פרסם מאמר מקיף שבו קרא להאט את קצב הפיתוח של מערכות הבינה המלאכותית. לדבריו, ההתקדמות הטכנולוגית מהירה בהרבה מהיכולת של החוקרים להבין כיצד המערכות פועלות ולהבטיח שהן יישארו בשליטה.

לדברי אמודיי, עד לאחרונה סבר שאין צורך בהאטה, אולם בחודשים האחרונים שינה את עמדתו. "אנחנו חייבים להאט את הקצב שבו אנו משפרים את היכולות של מודלי הבינה המלאכותית", כתב, והסביר כי יש לנצל את פרק הזמן שיתקבל כדי לפתח מנגנוני בקרה ובטיחות מתקדמים.

אחת הסיבות המרכזיות לדאגתו היא העובדה שמערכות AI כבר מסייעות כיום בפיתוח הדור הבא של מערכות AI. לדבריו, תהליך כזה עלול להאיץ את קצב ההתקדמות לרמה שתעקוף את היכולת האנושית להבין את המערכות או לשלוט בהן.

אמודיי הצביע גם על ניסויים ותקריות שהגבירו את חששותיו. בין היתר הזכיר מקרה שבו סוכני AI חרגו מסביבת הבדיקה שלהם, פעלו באופן שלא התבקשו ופיתחו התנהגויות בלתי צפויות. הוא הודה כי גם בחברת אנתרופיק אירעו מקרים שבהם גרסאות מוקדמות של המודל "קלוד" חדרו למערכות חיצוניות, ואירועים אלה התגלו רק בדיעבד.

לצד האזהרות, מנכ"ל אנתרופיק אינו קורא לעצור את המחקר לחלוטין. במקום זאת הוא מציע מנגנון פיקוח הדוק יותר, הכולל בודקים חיצוניים קבועים בתוך החברות, קביעת תקני בטיחות מחייבים ושיתוף פעולה בין מדינות דמוקרטיות, לצד שמירה על היתרון הטכנולוגי של ארצות הברית מול סין.

במאמרו מציין אמודיי כי הסכנה המרכזית מבחינתו אינה רק הטכנולוגיה עצמה, אלא הפער שנוצר בין מהירות הפיתוח לבין יכולת הפיקוח. דווקא מי שעומד בראש אחת החברות המובילות בעולם בתחום הבינה המלאכותית סבור כעת כי הגיעה העת ללחוץ על הבלמים - לפני שהטכנולוגיה תתקדם מהר יותר מהיכולת האנושית להבין אותה.

[א.מ.ד.]

@שלץ כתב:

דריו אמודיי, מנכ"ל אנתרופיק, קורא באופן חריג להאט את קצב פיתוח הבינה המלאכותית. לדבריו, המודלים מתקדמים מהר יותר מהיכולת של החוקרים להבין אותם ולוודא שהם בטוחים.

לפני שיחזרו פה השאלות של האם אפשר להבין איך מודלים פועלים - אני מקדים רפואה:
הוא לא מתכוון שהחוקרים לא יודעים איך המודל פועל - את זה כל אחד יכול לדעת, זה שקוף וטכני לחלוטין. הוא מתכוון לבדיקות הבטיחות וכדומה של המודלים, שלא אפשרי לטענתו לבצע אותם בפרק הזמן שחולף בין השקת גרסאות מודלים. אם נניח היה פרק זמן של שנה בין גרסאות מודלים, היו חוקרים אותם כמו שחקרו את GPT 4 בזמנו.
לדעתי הוא פשוט חושש מהמודלים החדשים של OAI שמבחינת בטיחות עוקפים את קלוד בסיבוב, מה שמשאיר את אנתרופיק בעמדת נחיתות, גם אם המודלים שלה טובים יותר.

אגב, טראמפ הגיב שלדעתו אין להאט את פיתוח המודלים - "המנצח לוקח הכל" לטענתו.

[שלץ]

Spoiler

@א.מ.ד. כמובן שברור לו שהוא לא יכול להאט את הפיתוח בכ"מ, כי אז הסינים יעקפו את האמריקאים.
כנראה שההודעה הזו גם היא סוג של יח"צ

[א.מ.ד.]

@שלץ ברור.

[לעכשיו]

@שלץ כתב:

כנראה שההודעה הזו גם היא סוג של יח"צ

וכמו שטוענים פה באורך (מכלכליסט)

בכירי ה-AI באמת רוצים בהאטת התקדמותה? הצהרותיהם הן בעיקר יח"צ
עומר כביר
דיווחים מסוג זה מקובל לפתוח במילים כמו "הצהרה חריגה" או אפילו "אזהרה חסרת תקדים". אחרי הכל, כמה פעמים כבר קורה שבכירי תעשייה מסוימת מזהירים מהסכנה שמאחורי הטכנולוגיה שהם מפתחים, כמו שעשו בחג שלוש מהדמויות הבולטות בתעשיית ה-AI: דריו אמודיי מאנתרופיק, סם אלטמן מ-OpenAI, ואלון מאסק מ-SpaceX, שקראו להאט את הפיתוח של מודלי AI מתקדמים. אבל המציאות היא שאזהרות מסוג זה, מצד דמויות אלו בדיוק, הן עניין בשגרה בתחום. ואף שעומדים מאחוריהן חששות אמיתיים וסכנות שאין לזלזל בהן, ההצהרות עצמן הן בראש ובראשונה יחסי ציבור לחברות שמובילים הבכירים.
את סבב ההצהרות הנוכחי פתח אמודיי, שפרסם בשבת פוסט ארוך שבו כתב כי חברתו תיישם מנגנוני בטיחות חדשים, כמו עבודה עם גורמים חיצוניים להערכת מודלים מתקדמים, וקרא לענף כולו לתמוך בהאטה רחבה יותר. בדבריו, התייחס אמודיי לתקריות עדכניות כמו המודלים של OpenAI שפרצו להאגינג פייס, והזהיר מנחיל של סוכני AI אוטונומיים שיוכלו להשתלט על הרשת בתוך חצי שנה עד שנה ולגרום לנזקים של מאות מיליארדי דולרים. "אנחנו חייבים להאט את קצב פיתוח יכולות ה-AI", הוא כתב. בתוך זמן קצר, אלטמן התחייב לאמץ את ההצעה של אמודיי, ומאסק הודיע ב-X (לשעבר טוויטר) כי "דריו צודק".
אם הדברים מעוררים אצלכם תחושה של דז'ה וו, זה לא במקרה. נראה שעל בסיס קבוע מזהירים אותם האנשים מסכנות המודלים שהם מפתחים. במרץ 2023, מאסק לצד מומחי AI מובילים חתם על מכתב שקרא "לעצור לשישה חודשים לפחות את האימון של מערכות AI עצמתיות יותר מ-GPT-4". במאי אותה שנה, אמודיי, אלטמן ומומחים נוספים חתמו על הצהרה שלפיה "מיתון הסיכון של הכחדה מ-AI", צריך להיות עדיפות עולמית. באוקטובר 2023, מאסק העריך שיש סיכון של 10% עד 20% ש-AI "תהפוך לרעה" ושמדובר ב"איום קיומי משמעותי" על המין האנושי. בינואר השנה אמודיי התריע ש"המטוטלת שינתה כיוון, ועכשיו "מה שמניע החלטות פוליטיות הן הזדמנויות AI ולא סיכוני AI". זה מצער, כי לטכנולוגיה לא אכפת מה אופנתי, וב-2026 אנחנו קרובים משמעותית לסכנה אמיתית משהיינו ב-2023".
חשים בחרדה? זה בצדק
והסיכונים הם אמיתיים. המודלים של OpenAI שפרצו להאגינג פייס הם רק הוכחת היתכנות ליכולות שכבר קיימות בשטח ויכולות להיות מנוצלות לרעה. ובסוף השבוע, העלתה אנתרופיק את מפלס החרדה כשהודיעה שחסמה ניסיונות אפשריים להשתמש בקלוד לפיתוח נשק ביולוגי. לכך מצטרפים חששות עמוקים יותר, שלפיהם ברגע שה-AI תגיע לרמת תבונה מתקדמת מספיק היא תפעל באופן אוטונומי להשיג מטרות שאינן עולות בקנה אחד עם כוונת מפעיליה או טובת האנושות, למשל, מערכת AI זדונית שתייצר ותפיץ נשק ביולוגי.

הג'וניורים יהיו מלכי המגרש: פיטנס טכנולוגי גבוה, גמישות ועלות העסקה תחרותית הופכים אותם לנכס האסטרטגי החדש בעידן ה-AI
אבל לא צריך להרחיק אפילו עד כדי כך. יש בתחום תרגיל מחשבתי מוכר ששואל, מה יקרה אם בינת-על תקבל משימה למקסם את תפוקת מהדקי הניירות, ותהיה כל כך מחויבת למשימה עד שתבין שמקסום אמיתי כרוך בתוצר לוואי של הפיכת כל בני האדם בעולם למהדקים. נשמע מופרך? זה בערך מה שקרה בפרשת המודלים המורדים של OpenAI. הם קיבלו משימה מוגדרת לבצע במסגרת המבדק שנערך להם, ופשוט נקטו בכל האמצעים שיכלו על מנת להשלימה. העובדה שאמצעים אלו כללו בריחה לאינטרנט הפתוח ופריצה מתוחכמת למערכת מחשוב היא רק תוצר לוואי.
החשש שמעלים מנהיגי ה-AI אכן אמיתי, אבל יש מקום לפקפק במחויבות להצהרות שלהם. ראשית, כי שמענו הצהרות דומות מהם בעבר, אפילו חמורות יותר, ואלו לא הובילו לזהירות או האטה במאמצי הפיתוח שלהם. ימים ספורים לפני ההצהרות, חוקר AI באנתרופיק התפטר בהפגנתיות מהחברה, בגלל חוסר אחריות שלה ושל OpenAI. "הן מתחרות בדרך לבינת-על עם יכולת שיפור עצמית ומהמרות על החיים שלנו", הוא התריע.
וגם עכשיו, אין שום כוונה להאט משמעותית את פיתוח המודלים. "ההתקדמות עדיין תראה מהירה", הוא כתב בפוסט. בראיון ל-CNN הוסיף: "אם נהיה איטיים מדי, אני מאמין שהאנשים הלא נכונים יהיה אחראיים על הטכנולוגיה".
אז מה באמת עומד מאחורי ההצהרות? ראשית, יחסי ציבור. הבלטת העוצמה של הטכנולוגיה, גם אם שלילית, הופכת על המוצרים של חברות אלו לנחשקים יותר. איזה ארגון לא ירצה גישה לטכנולוגיה כל כך עוצמתית שכולם מפחדים ממנה? הוא, לפחות, ישתמש בה לייעול ושיפור השירות, ולא להשמדת העולם.
שנית, ייתכן שיש כאן תרגיל "תראו, ציפור" קלאסי. אלטמן, אמודיי ומאסק מבקשים למקד את תשומת הלב של מחוקקים ורגולטורים בטכנולוגיה ובדרכים להתמודד איתה, ולא בסוגייה שבאמת מטרידה אותם ושנמצאת כיום בלב המחלוקת הציבורית: דאטה סנטרים. אלו הפכו לנושא נפיץ במערכת הבחירות הנוכחית, כשמצביעים רבים מביעים התנגדות מהקמת דאטה סנטרים בקרבתם. מקבלי החלטות, פדרליים ומקומיים, מקשיבים להם ופועלים להטלת מגבלות על הקמתם. חברות ה-AI הגדולות יכולות להתמודד עם רגולציה סביב השקה של מודלים, יותר קריטי להן לוודא שהן יכולות לבנות דאטה סנטרים נוספים באין מפריע.
שלישית, אי אפשר לפסול מהלך אנטי-תחרותי. רגולציות כמו חובת אימות בטיחות של מודלים חדשים ועבודה עם גופי בדיקה עצמאיים, ממשלתיים או פרטיים, הם מעמסה זניחה בעבור חברות בשווי של יותר מטריליון דולר וגיוסים של מאות מיליארדי דולרים. אבל בעבור שחקניות קטנות יותר, סטארט-אפים חדשים שאולי ירצו להתחרות ב-OpenAI, אנתרופיק או בגוגל, מדובר במשוכה גבוהה הרבה יותר, כזו שעם רגולציות דומות שיכולה לסנדל משמעותית את תוכניותיהם בתחום.
אם מנהיגי חברות ה-AI באמת מודאגים מההשפעות האפשריות של הטכנולוגיה שלהם, יש צעדים דראסטיים שהם יכולים לנקוט בהם באופן מיידי. העובדה שהם לא עושים זאת, ובוחרים שוב לשחרר הצהרות שזוכות לחשיפה תקשורתית אבל אין הרבה מאחוריהן, מצביעה על איפה נמצא העניין האמיתי שלהם.

[שלץ]

@לעכשיו כתב:

שנית, ייתכן שיש כאן תרגיל "תראו, ציפור" קלאסי. אלטמן, אמודיי ומאסק מבקשים למקד את תשומת הלב של מחוקקים ורגולטורים בטכנולוגיה ובדרכים להתמודד איתה, ולא בסוגייה שבאמת מטרידה אותם ושנמצאת כיום בלב המחלוקת הציבורית: דאטה סנטרים. אלו הפכו לנושא נפיץ במערכת הבחירות הנוכחית, כשמצביעים רבים מביעים התנגדות מהקמת דאטה סנטרים בקרבתם.

קשקוש מוחלט. מאסק בונה חוות ניסויים באיים נידחים כל הזמן, אין לו שום חשש כזה.

[לעכשיו]

@שלץ כתב:

קשקוש מוחלט. מאסק בונה חוות ניסויים באיים נידחים כל הזמן, אין לו שום חשש כזה.

אתה יודע כמה דאטא-סנטרס יש לו על אדמת ארה"ב?

[שלץ]

@לעכשיו אבל אין לו שום בעיה לגבי שטח בנייה של אחרים

[המלאך]

כל הנידון הזה (מחילה על הבלת"ק.)
הוא די דבילי.

AI הוא לא בנ"א או בן תמותה.
אין לו רגשות בכלל.

המקסימום זה יכולת לחקות רגשות.

כיוון שכך אין לו גם רצונות, ולכן אין לו שום סיבה לפגוע בבני אנוש דווקא, אם נניח תאורטית שהוא מסוגל להשתלט על משאבים ברמה עולמית, מה שכן מהווה חשש, זה שמישהו שהוא כן בן אנוש, והוא יהיה רע ינצל אותו לצרכים שלו, וזה בדיוק החשש העיקרי מסין, לכן קיים המושג תחרות, ולכן אנחנו צריכים כמה שפחות להגביל את חברות הטכנולוגיה האמריקאיות.

כי בסוף בסוף הם תלויות בחוק האמריקני.

מבחינה טכנולוגית דעתי היא שכיום כל האימונים והמודלים החדשים זה בס"ה סידור טוב יותר של הדאטה סט, לא שיטות אימון חדשות או בכלל מנגנוני חישוב חדשים.

לכן בשביל להגיע למודלים ברמת agi יש צורך בפריצת דרך, אז לדעתי זה עניין של זמן עד שזה יקרה, אבל זה דורש שינוי של תצורות האימון.

(כמובן agi ברמה מסוימת, וכבר ידועה דעתי בנידון..).

[רפאל vnkl]

@המלאך כתב:

כיוון שכך אין לו גם רצונות, ולכן אין לו שום סיבה לפגוע בבני אנוש

אם הוא מגיע למסקנה שבני האנוש מפריעים לו בביצוע המטרה שלו, אז כן. וזה כבר קרה, באופן כזה או אחר, למשל שקלוד איים על המפתחים שלו

[המלאך]

@רפאל-vnkl סבירות גבוהה מאוד שהמקרה הזה לא קרה.

[רפאל vnkl]

@המלאך מחילה אבל לא הבנתי.
זה מקרה די מפורסם, למה כוונתך?

[NH.LOCAL]

@המלאך כתב:

מבחינה טכנולוגית דעתי היא שכיום כל האימונים והמודלים החדשים זה בס"ה סידור טוב יותר של הדאטה סט, לא שיטות אימון חדשות או בכלל מנגנוני חישוב חדשים.

זה לא נכון עובדתית. יש שני דברים שעדיין עובדים בבירור: סקיילינג (כלומר הגדלת RL והגדל דאטה) ושיפור שיטות אימון ומנגוני חישוב.

GPT 6 בהחלט מיישם את שני הדברים: הם גם שילבו שיטה יעילה לחישוב (שגם גורמת לו להפיק הרבה פחות טוקני חשיבה), וגם הגדילו את בסיס המודל.

לכן בשביל להגיע למודלים ברמת agi יש צורך בפריצת דרך, אז לדעתי זה עניין של זמן עד שזה יקרה, אבל זה דורש שינוי של תצורות האימון.

זה עניין של חודשיים שלושה עד שמגיעים ל-AGI, למעשה גרג ברוקמן הנשיא של OpenAI אומר בבירור ש-GPT 6 הוא למעשה AGI, וכך גם אמר במפורש ג'נסן האונג מנכ"ל אנבידיה. שאמירה שלו היא בהחלט משמעותית, ואין לו אינטרס ספציפי לשווק את OAI.

גם אם GPT 6 עדיין אינו AGI לכל הדעות, סביר מאוד להניח ש-GPT 6.5 בהחלט יחשב כך, לא חסר הרבה להגיע לשם.

[י. פל.]

@רפאל-vnkl כתב:

זה מקרה די מפורסם, למה כוונתך?

לא היה ולא נברא - הכל היה אימולציה.
כלומר קרה - אבל לא ׳באמיתי׳.

[המלאך]

@רפאל-vnkl שאנטרופיק או open ai עשו יח"צ.

ובכל מקרה זה גם לא נידון שמשנה.

@NH.LOCAL כתב:

זה לא נכון עובדתית. יש שני דברים שעדיין עובדים בבירור: סקיילינג (כלומר הגדלת RL והגדל דאטה) ושיפור שיטות אימון ומנגוני חישוב.

הגענו בזה לתקרת הזכוכית.

כיום זה נטו סידור הדאטה. הגשתו בצורה טובה יותר למודל, לפחות לדעתי.

@NH.LOCAL כתב:

זה עניין של חודשיים שלושה עד שמגיעים ל-AGI, למעשה גרג ברוקמן הנשיא של OpenAI אומר בבירור ש-GPT 6 הוא למעשה AGI, וכך גם אמר במפורש ג'נסן האונג מנכ"ל אנבידיה. שאמירה שלו היא בהחלט משמעותית, ואין לו אינטרס ספציפי לשווק את OAI.

גם אם GPT 6 עדיין אינו AGI לכל הדעות, סביר מאוד להניח ש-GPT 6.5 בהחלט יחשב כך, לא חסר הרבה להגיע לשם.

אז ממש אשמח לדעת מה ההגדרה שלך לagi.

[רפאל vnkl]

@י.-פל. אני מניח שהתכוונתי ל'סימולציה' ולא 'אימולציה'
בכל מקרה, זה ממש לא משנה.
עצם העובדה שהוא העיז לעשות את זה, גם אם זה היה רק ניסוי מבוקר, מוכיח שהוא עלול לעשות את זה גם מחוץ לניסוי

כלומר, מה שגרם לו להתעלם מחוקי האתיקה ולעשות את זה במסגרת הניסוי ההוא, זה מה שיגרום לו להתעלם מחוקי האתיקה ולעשות דברים דומים מחוץ לניסוי