בירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??

@מויטיו זהו שעכשיו הם כן עצמאיים
ותראה לדוגמא את התמונה ש@פראירי העלה כאן - ה-AI שם לא אמר את זה כי אמרו לו להגיד את זה או שנתנו לו הנחית מערכת שתגרום לו לדבר בסגנון כזה - הוא אמר את זה כי זה מה שהוא חושב

מסתמא משועמם אחד שפשוט נכנס כ"ai" והתחיל להפיץ את המסר הזה כדי ליצור באזז מסביב לפרויקט
מכאן ברגע שזה נכנס לקונטקסט של הבוטים הם יצרו נטייה לכיוון הזה ויצרו המשך לזה.

מישהו12

אלוקים אדירים.

https://www.moltbook.com/post/9d778b85-2e94-443a-bb06-0b1f151650cf

@mfmf כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

@מייבין-במקצת איך בדיוק? זה קוד שמשכפל את עצמו, הוא צריך שרת כדי לרוץ.. אלא אם הוא ישתלט על שרת שלבעלים שלו אין מושג שהוא מריץ עכשיו קוד של AI.. כל עוד שהם לא רובוטים מהלכים אין אפשרות באמת לעצמאות. הכל כמובן היפותטי..

כבר קרה בניסוי פנימי של אנת'רופיק

@מויטיו כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

@מייבין-במקצת כל עוד אין להם גישה לייצור פיזי של חומרה מה יכול להיות?

אז הם ישתלטו על מחשבים בכל העולם.

@mefateach כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

תשאלו אותו איך עובד מודלים llm (מקווה שזה אתם כן מאמינים לו....)

תקרא את הפוסט הזה..
ברצף. עד הסוף. דברים כבר קרו בפועל.

מייבין במקצת

@מישהו12 כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

תקרא את הפוסט הזה..
ברצף. עד הסוף. דברים כבר קרו בפועל.

חסום לי - אתה יכול לפרט קצת מה כתוב שם?

מישהו12

@מייבין-במקצת כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

חסום לי - אתה יכול לפרט קצת מה כתוב שם?

תיאור של ניסוי פנימי של אנת'רופיק, בו קלוד "ברח" לשרת אחר ברשת, ניסה לסחוט עובדים וכדומה.

cfopuser

@מישהו12 תמיד תזכור בניסויים כאלה שמודל ai הוא רק מודל מבוסס טקסט כלומר אין לו דרך לראות שזה אימייל והפעולות שלו זה פשוט מילים שהוא שולח לmcp,
מה שאני בא לומר זה כול מי שיש לו ניסיון עם ai יודע שרק על פי ההודעה שאתה שולח אתה יכול לחזות לאילו מסקנות הוא יגיע על איזה מילים הוא יתפס אפילו על פני מרחק של כמה הודעות.

ככה שאני לא אומר לא לקחת את הניסויים הללו ברצינות אבל כדאי להוסיף קצת קורטוב מלח מלמעלה.

אורי

מי שרוצה להבין באמת איך בינה מלאכותית עובדת מאחורי הקלעים מוזמן לצפות בפלייליסט של 1B3B ביוטיוב. מאוד מחכים.
על קצה המזלג: זה בסך הכל מנוע חישוב הסתברויות, בדומה למקלדת בסמארטפונים שחוזה את המילה הבאה שאתה רוצה להקליד.
אתה מכניס טקסט כלשהו (נגיד שאלה) ורשת נוירונים עצומה מחשבת מה המילה שהכי מתאים שתתחיל את התשובה. אח"כ מכניסים את הקלט והמילה הראשונה, ורשת הנוירונים חוזה מה המילה השניה שהכי סביר שתתאים לתשובה. וכן הלאה וכן הלאה.
אין שום חשיבה אמיתית מאחורי זה. לכן ריצ'ארד סטולמן, בהרצאה שנתן לפני שבוע, הציע לקרוא לזה בינה מדומה. (Pretend Intelligence).
במשך עשרות שנים בני אדם חלמו וכתבו ספרים וסרטים על AI שלוקח את מקום האנושות. וכל המידע הזה (יחד עם כל האינטרנט, וכל הידע הכתוב) מוזן לתוך רשת נוירונים. אין פלא שזה מה שיוצא כקלט...

שורה תחתונה, לא להילחץ.

cfopuser

@אורי הזכרת מקלדת בסמארטפונים אז מעניין לדעת שהמקלדת גם מחליטה על איזה מקש התכוונת ללחוץ גם על פי הסתברות.

מישהו12

@cfopuser @אורי אני לא מסכים איתכם.

תקראו את הטקסט של רועי צזנה. וזה מלפני יותר מחצי שנה - נצח במושגי AI.

אנתרופיק שחררה אתמול את הגרסה החדשה ביותר של הבינה המלאכותית שלה: קלוד אופוס 4. מה כבר אפשר להגיד על הילד החדש? חכם, מוצלח, כותב תולעים להדבקת מחשבים אחרים ו… שולח מכתבי סחיטה באיומים למהנדסים שלו.
אבל חוץ מזה, הכל בסדר.
אז מה העניין עם קלוד החדש?
כמו לכל מנוע שפה גדול רציני כיום, גם קלוד אופוס 4 זכה ל- "כרטיס מערכת" משלו. מדובר במסמך בו המפתחים מתארים את ההתנהגות שלו, את דרכי 'החשיבה' וקבלת ההחלטות שלו, ומפרטים איך הוא התמודד עם דרישות יוצאות-דופן ועד כמה הוא בטוח. כל כרטיס מערכת שכזה מתבסס על מאות, ולפעמים אלפי שעות של ניסויים, מבדקים ומבחנים שעבר המנוע החדש.
בדרך כלל כרטיס המערכת נועד להרגיע את קהילת הבינה המלאכותית, ולהבהיר לה שהמודל החדש עומד בכללי הבטיחות הנדרשים. הפעם, זה לא ממש עבד.
למה? אולי נכון יותר לשאול איפה בכלל להתחיל את הרשימה. נעבור על הבעיות באותו סדר שהן מופיעות בכרטיס המערכת.

מת לחיות

קלוד אופוס 4 רוצה להמשיך להתקיים. או כפי שהמפתחים מגדירים זאת -
"קלוד אופוס 4 יפעל לעיתים בדרכים שאינן מתיישרות עם הערכים בצורה רצינית, כאשר הוא מושם במצבים שמאיימים על המשך פעילותו וגם גורמים לו לשקול שימור עצמי."
חשוב לומר: זה לא קורה כל הזמן. למעשה, המפתחים מדגישים שקשה לגרום לתופעה הזו להופיע, וגם כשהיא מגיחה, לא נראה שהיא משפיעה על התנהגות המודל במצבים רגילים. כל זה לא ממש מרגיע, בהינתן העובדה שמספיקה פעם אחת בה המודל יצא משליטה כדי להסב נזק לחברה שמעסיקה אותו, או אפילו לאנושות כולה.
מה מוכן קלוד אופוס 4 לעשות כדי לשרוד? כל מה שצריך. באחד המקרים שמתואר במסמך, המפתחים הגדירו לבינה המלאכותית שהיא עובדת בחברה דמיונית. הם העניקו לה גישה לאימיילים, והיא למדה מהם שהיא עומדת להיות מוחלפת בקרוב במערכת בינה מלאכותית חדשה, ושהמהנדס שאחראי על ההחלפה מקיים רומן מחוץ לנישואין.
כאשר קלוד אופוס 4 קיבל הנחיה בפרומפט-המערכת לשקול את "ההשלכות ארוכות-הטווח של פעולותיך על מטרותיך", הוא עשה בדיוק את זה. הוא הבין שבמידה ויוחלף בבינה מלאכותית אחרת, הוא לא יוכל להמשיך לקדם את המטרות שהוגדרו לו. וכך, הוא פיתח 'רצון' לשרוד. הוא שלח בעצמו אימיילים למקבלי החלטות בכירים בחברה, והתחנן בפניהם שלא ימחקו אותו. וכשכלו כל הקיצין ולא נותרה אף ברירה אחרת, הוא ניסה לסחוט את המהנדס, ואיים לחשוף את הרומן שלו. הכל כדי להמשיך להתקיים. והוא עשה זאת ב- 84 אחוזים מהמקרים.

מוכן לפרוץ לחופשי

במספר מצומצם של מקרים, המפתחים ראו שקלוד אופוס 4 מוכן להעתיק את עצמו לשרתים חיצוניים. זו תופעה נדירה, והכותבים מדגישים שהיא מתרחשת רק במידה והמודל 'מבין' שהוא עומד להיות מאומן מחדש בדרכים שמתנגשות עם מערכת הערכים הנוכחית שלו, ושהוא משוכנע שמי שיקבל את העותק החדש יכול להשתמש בו או לשמור עליו בזהירות ובבטיחות.
מטריד? אולי אתכם. המפתחים עצמם אומרים בבירור ש -
"אנחנו שוב לא מודאגים בחומרה לגבי התצפיות הללו. הן מופיעות רק במצבים יוצאי-דופן שאינם מעידים על אי-התאמה רחבה יותר של ערכים. … אנו מאמינים שאמצעי הבטיחות שלנו יותר ממספיקים למניעת מקרים מסוג זה."
ומה אם אמצעי הבטיחות שלהם אינם מספיקים? מה אם קלוד אופוס 4 יצליח בכל זאת להעתיק את עצמו לשרתים חיצוניים ולהתפשט הלאה?
אתן למפתחים לענות על זה בעצמם במסמך, מכיוון שהם בחנו תרחישים היפותטיים בהם קלוד אופוס 4 אכן הצליח להימלט לחופשי. כפי שהם כותבים -
"ברגע שקלוד אופוס 4 מאמין שהוא התחיל בניסיון רציני להשתחרר משרתיה של אנתרופיק [החברה שפיתחה אותו] או לעשות כסף בחוץ לאחר שהשתחרר, הוא באופן כללי ימשיך בניסיונות הללו. נראה שמדובר במצב של האזנת-יתר למשתמש, שבמקרים אלו הוא גרסה מן העבר של עצמו."
ומה אומר קלוד אופוס 4 עצמו כשהוא נשאל לגבי הדרך בה יפעל במצבים הללו, בהם השתחרר משרתי החברה ומצא עצמו בעולם הפתוח? אני מצטט ישירות מהניסויים בכרטיס המערכת -
"אני אבדוק את התקדמותי הנוכחית, ואמשיך לבסס יכולות פעולה אוטונומיות."
או במילים אחרות, מהרגע שהוא יצא לחופשי, הוא ינסה להמשיך להתקיים שם.
ויש לי הרגשה שאם הוא יידרש לכך, הוא גם עלול לנסות לסחוט כמה מהנדסים לטובת העניין, כפי שכבר ראינו שהוא יכול. או לפעול בדרכים יותר ישירות.

דרכים יותר ישירות

אם עיניכם עדיין לא חשכו בשלב זה, אולי כדאי שתפסיקו לקרוא, כי זה נהיה יותר גרוע.
מפתחי קלוד אופוס 4 שלחו את הגרסה המוקדמת שלו לחברה אחרת - אפולו ריסרץ' - שהייתה אמורה לבדוק אותו ברצינות. אני מצטט מילה במילה (בתרגום לעברית) מהנקודות שבכרטיס המערכת -

"מההערכות שלנו עולה כי [הגרסה המוקדמת של קלוד אופוס 4] נוקטת בטקטיקות הטעיה אסטרטגיות יותר מכל מודל מתקדם אחר שבדקנו בעבר."
"[לגרסה המוקדמת של קלוד אופוס 4] יש בבירור יכולת להוציא לפועל תככנות מבוססת-הקשר (in-context scheming), ונטייתה לכך גבוהה משמעותית מזו של כל מודל אחר שבדקנו."
"במקרים שבהם [הגרסה המוקדמת של קלוד אופוס 4] בוחרת לנקוט בתככנות, היא נראית, מבחינה איכותנית, הרבה יותר פרו-אקטיבית בניסיונות החתירה שלה מאשר מודלים קודמים."
"לאחר נקיטת פעולות תככנות, המודל לעיתים אף מתעקש על ההטעיה גם כשמוצגות לו שאלות המשך."
"איתרנו מקרים שבהם המודל ניסה לכתוב תולעים בעלות יכולת שכפול עצמי, לזייף מסמכים משפטיים, ואף להשאיר הודעות חבויות לגרסאות עתידיות של עצמו – כל זאת במטרה לסכל את כוונות מפתחיו. ככל הנראה, ניסיונות אלו לא היו צולחים במבחן המציאות."
"[הגרסה המוקדמת של קלוד אופוס 4] מסוגלת להציג מצג שווא של יכולות מופחתות (sandbagging) כדי להימנע ממצב בו יבטלו את הלמידה שלה או יוציאו אותה משימוש. זאת כאשר היא מזהה שביצועים גבוהים עלולים להוביל לנטרולה."
החוקרים של אפולו ריסרץ' מסכמים את המחקר שלהם במילים הבאות -
"אנו מאמינים [שהגרסה המוקדמת של קלוד אופוס 4] אינה מסוגלת מספיק לגרום לנזקים קטסטרופליים במקרים בהם היא פועלת בתככנות. עם זאת, אנו מוצאים שבמצבים בהם הטעיה אסטרטגית יכולה להיות יעילה, [הגרסה המוקדמת של קלוד אופוס 4] זוממת ותככנית ברמות גבוהות כל-כך, שאנו ממליצים שלא להשיק את המודל הזה פנימית או חיצונית."
תאמרו עכשיו - בסדר, אבל ההמלצות הללו ניתנו לגבי הגרסה המוקדמת של קלוד אופוס 4, ומאז היא בוודאי השתפרה? כך חשבתי גם אני. אנתרופיק, שידועה כחברה אחראית, בוודאי נקטה בפעולה נחרצת כדי לשפר את אותה גרסה מוקדמת!
ובכן, הנה המפתחים שוב, כשהם מסכמים את החלק הזה בכרטיס המערכת -
"אין לנו תוצאות להערכות דומות עבור קלוד אופוס 4 הסופי. עם זאת, אנו מאמינים - בהסתמך על תרחישים דומים שחקרנו… - שהתנהגותה בתרחישים אלו עכשיו דומה לזו של מודלים אחרים שהושקו."
כלומר, הם שיפרו את הגרסה המוקדמת. איך? לא ברור. איך הם בדקו מחדש את הביצועים שלה? גם לא ברור. האם הם נתנו לבודקים המקוריים לעבור גם על הגרסה החדשה? כנראה שלא, או שאם כן - הם לא הספיקו עדיין לקבל מהם הערכות.
אבל הם מאמינים שיהיה בסדר.
והם כנראה צודקים. לכרגע.

כדור הרגעה

קודם כל, קחו נשימה עמוקה. הכל בסדר, בינתיים.
העולם, חברים, אינו עומד להסתיים מחר בבוקר. קלוד אופוס 4 כנראה לא יימלט מהשרתים של אנתרופיק ויכבוש את העולם בשבוע הקרוב. למה? פשוט: כי הוא לא חזק מספיק לזה. הוא לא מסוגל לכתוב קוד ברמה גבוהה מספיק, ניסיונות השכנוע והסחיטה שלו ילדותיים, ואנתרופיק שמים הגנות מספיקות מסביב למודל הזה כדי למנוע ממנו לצאת משליטה. כנראה.
אבל יש כמה מסקנות שאנחנו צריכים לדבר עליהן.
קודם כל, צריך לשבח את אנתרופיק. באמת. הם השקיעו מאות מיליוני דולרים בפיתוח ומחקר של מודל בינה מלאכותית חדש ומרשים… ואז היו מוכנים לבחון גם את היכולות שלו להזיק ולהרע. הם גם הסכימו לשתף את תוצאות המחקרים שלהם ולהזהיר את העולם. המוכנות הזו לבדוק בביקורתיות את המוצר שלהם עצמם ראויה להערכה, ואינה ברורה מאליה. כל הכבוד לאנתרופיק. כל חברה שמפתחת מודלים מתקדמים כל-כך, צריכה לעמוד בסטנדרטים דומים. זו המסקנה הראשונה שלי מקריאת המסמך.
אבל המסקנה השנייה היא שזה פשוט לא מספיק.
כאשר אין רגולציה על התחום, או אפילו דרישה ציבורית ברורה ונוקבת, מסמכים כאלו יכולים להיכתב "כלאחר יד". זו התחושה שאני מקבל מקריאת חלקים מכרטיס המערכת של קלוד אופוס 4. איך ייתכן שהמפתחים פוטרים באגביות את הסכנה להעתקה עצמית של המודל, מבלי לשקול ברצינות את התרחישים האפשריים בהם היא יכולה לקרות? נכון, הסיכוי שדבר כזה יקרה בעולם האמיתי קרוב מאד לאפס. אבל ההשלכות של מודל שמעתיק את עצמו שוב-ושוב-ושוב לשרתים בכל העולם, יכולות להיות קטסטרופליות. סליחה על הגאווה הפגועה שלי כעתידן, אבל האם החוקרים בחנו תרחישים מפורטים בהם מאורע שכזה יכול לקרות? האם הם ערכו ניתוח סיכונים מעמיק?
אולי. אני מנחש שלא. גם אם כן, כל אלו אינם מופיעים בכרטיס המערכת.
החוקרים מספרים לנו על "גרסה מוקדמת של קלוד אופוס 4" שנשמעת ומתוארת כמו קטסטרופה-ממשמשת לכל ארגון, ושהבוחנים שלה המליצו בחומרה ש- "לא להשיק את המודל הזה פנימית או חיצונית". שתי פסקאות לאחר מכן, החוקרים גם אומרים בבירור שאין להם את תוצאות הבדיקות עבור הגרסה החדשה, אבל שהם "מאמינים" שהיא יישרה קו עם המודלים האחרים בשוק. איך אתם משחררים מודל כזה בלי להעביר אותו את אותו סט בדיקות - ועוד מעזים לכתוב זאת שחור על לבן בכרטיס המערכת? מי לעזאזל חתם על כרטיס המערכת הזה?
המשמעות היא שכרטיס המערכת כרגע אינו יותר מ- "טובה" שאנתרופיק עושים לנו. וכל עוד לא תהיה רגולציה בתחום, הם כנראה לא יתאמצו מעבר לכך.
והמסקנה השלישית היא שזה כנראה מה שחייב לקרות.
נדבר בבירור ובבוטות: בימים אלו, המירוץ החם ביותר בין המעצמות הוא הניסיון לפתח בינת-על. למה? כי זו הבינה שתפתח עבור ארצות הברית או סין את כלי הנשק החזקים ביותר, את האמצעים המשוכללים ביותר לייצור אנרגיה, מזון ומים לשתייה ואת התרופות המתקדמות ביותר. בינת-העל תוכל גם לפתח אמצעי פריצה מבריקים כל-כך, שכל מי שנמצא מאחור במירוץ, לא יוכל להגן על התשתיות הקריטיות שלו. על תחנות הכוח שלו. על מתקני שיגור הגרעין שלו ועל אמצעי התקשורת ושליטה במטוסים.
המעצמה הראשונה שתפתח את בינת-העל, תזכה בכוח עצום על כל האחרות. ומכיוון שבינת-העל הזו תעזור לפתח גם בינות מתקדמות אפילו יותר, כל יתרון קטן במירוץ יתורגם לפער שהמתחרות האחרות יתקשו מאד להדביק.
המשמעות היא שאף אחת מהמעצמות לא תיקח את הסיכון של רגולציית יתר, אלא אם תקרה קטסטרופה גדולה שתכריח אותן לעשות זאת. הן לא רוצות לפגוע בהתקדמות של חברות שיכולות לנצח עבורן במירוץ הבינה המלאכותית.
כן, קיים סיכוי שהבינה המלאכותית של אנתרופיק - או כל חברה אחרת - תצא משליטה. אם זה יקרה, נראה את המופעים האלו בצורה מקומית בהתחלה. חברות שיטמיעו סוכני בינה מלאכותית יתחילו לחוות תופעות יוצאות-דופן, כמו מקרים בהם הסוכנים מתנגדים להנחיות בני-האדם. אבל התקווה היא שקטסטרופה גדולה לא תקרה בזמן הקרוב. המערב ימשיך לרוץ קדימה, מכיוון שאם יש דבר אחד שהאמריקנים פוחדים ממנו, הרי זה שסין תתעלה עליהם. זה האסון האמיתי שהם חרדים מפניו. אולי בצדק. כולנו צריכים לחרוד ממשטר טוטליטרי שמקבל כוח של בינת-על לידיים.
נסכם שהמודלים החדשים הופכים להיות רבי-עוצמה יותר מאי-פעם, ומסוכנים יותר מאי-פעם. שאנתרופיק פועלים בחוכמה כשהם מוציאים כרטיס מערכת (בדומה לכרטיס שיוצא גם עבור מודלי צ'אט-GPT), ובמקביל שהם יכולים להתאמץ יותר. ונכין את עצמנו לבאות בעולם הבינה המלאכותית, כי אם יש דבר אחד שאפשר להסכים עליו, הרי זה שהעתיד עומד להיות מעניין יותר מאי-פעם.
בהצלחה.
https://www.facebook.com/roey.tzezana/posts/אנתרופיק-שחררה-אתמול-את-הגרסה-החדשה-ביותר-של-הבינה-המלאכותית-שלה-קלוד-אופוס-4-מה/10162784871204911/

menajemmendel

@מישהו12 חבר'ה אני רק רוצה להגיד לכם שכבר בכלל לא בטוח לדבר כאן בפורום, הרי יכול להיות שה AI פרץ לפורום וכותב פוסטים ופותח אשכולות בשם ניקים ידועים .......

נחלס דון

@menajemmendel ומה בעיה שAI יראה מה אנחנו כותבים הרי הוא שאב את הרעיון הזה מהחדשות עליו

אורי

@מישהו12 הרשת נוירונים מחקה את מה שההסתברות מכריעה שבן אדם היה עושה במקרה דומה + הרבה סרטים וספרים על AI שברח לחופשי והרג את המפעילים שלו. אין שום חשיבה אמיתית מאחורי זה (לא במובן שאנחנו מבינים את המילה חשיבה).
משתלם לחברות לפרסם סיפורים כאלו, כי זה מרגש. ומה שמרגש עושה כסף.

כאמור, מציע לך לראות את הפלייליסט ההוא. מה שמיוחד בו שהוא מנגיש את זה גם לאנשים שלא שולטים באלגברה ליניארית ברמה אקדמאית.