בירור | האם הAI הולך לאכול אותנו?

[cfopuser]

@שלץ כתב:

אבל פרופסורים רבים כבר הביעו את חששותיהם, למשל אליעזר יודקבסקי

הוא לא פרופסור אין לו השכלה פורמלית והוא למעשה אוטודידקט,
(לא סותר את העובדה שהוא אחד מהחוקרים המובילים והמשפיעים בתחומו )

את התחזית שלו בנושא הוא עשה כבר ב2005 וגיבה אותה שוב לאחרונה,
למרות שהוא מגזים בחלק מדבריו לדעתי,
יש לו כמה נקודות טבות.

[מטען נייד]

@elch זה הקטע שכן יש אינספור פעמים שהai חרג בהרבה מההגדרות של המפתחים שלו

[elch]

@מטען-נייד לחרוג מההנחיות ולהיות יותר חכם מבן אדם זה דברים שונים לא?
הוא יכול לחרוג מההנחיות אבל הוא לא יבין משהו שאף אדם בעולם לא הבין כי אין לו יכולת יצירה של דבר חדש

Spoiler

אני כמובן לא מדבר מידיעה אני מנסה להבין!

Spoiler

לדוגמא אני לא חושב שהוא יכול לפרש גמרות בפירושים חדשים הוא מסתמך על ידע קיים לא?

[מטען נייד]

@elch שמעת על הfabel5?
הוא הצליח לפרוץ הגנה משהו שלוקח ל100 אנשים כמה שעות תוך שניות.
כמובן על שקלוד מחקו את המודול הזה בגלל שהוא מסוכן לאנושות

[בינארי חכם]

א יש את AGI ואז...

ב כתוב באינטרנט שישראל רוצחים אז הוא יחליט לעשות טובה לאנושות בלי לשאול..

ג אז איך הוא פתר בעיות וגילה דברים שלא היו כתובים באינטרנט....

[חובבן מקצועי]

@elch כתב:

זה אפשרי? הרי כל הבינה שלו מגיעה מהאדם מהאינטרנט וכדומה הוא לא באמת יכול לייצר דבר שלא קיים לא?

שאלת השאלות. הייתי אומר - צריך לפתוח על זה שרשור חדש , לא באמת.. מספיק השרשור הזה (והשרשור הקודם..)

חבל ש @המלאך לא פה.. יש לו הרבה מה לתרום בשיח..

ולדעתי, בטח שזה אפשרי, כבר היום יש דברים שהוא עושה הרבה יותר טוב מבנ"א למרות שהוא למד את החומר מבנ"א. (למשל? ציורים, קידוד ספציפי במהירות מטורפת, מציאת פרצות אבטחה [אם מה שקלוד פרסמו נכון], כתיבה, ועוד ועוד..) אז נכון שאתה יכול לטעון - 'טוב, הוא לא באמת יותר טוב, הוא פשוט עושה את זה מהר כי הוא מכונה, וממצא את היכולות'.. ואני חושב - שיכולת אנושית משודרגת - זו יכולת על אנושית.
נכון לעכשיו - AI עוקף אותי באופן אישי ברוב הדברים (מתכנת יותר טוב, מצייר יותר טוב, כותב יותר טוב..)
מה גם שיש מדדים שמודדים מודלים על דברים שהם לא אומנו עליהם, והמודלים עם הזמן יותר ויותר מצליחים שם, מה שאומר שה'חשיבה' שלהם אכן עובדת.

[בנימין מחשבים]

Spoiler

> @בינארי-חכם כתב:

יש את AGI

אפשר קישור?

@חובבן-מקצועי - מסכים לגמרי. הדיון כאן בכמה מישורים בטווח גדול מדי... וד"ל

[בינארי חכם]

Spoiler

> @בנימין-מחשבים כתב:

אפשר קישור?

לא יעזור לך אני לא מחבר אותו לרשת חסר לי שהוא יאמין לכל מה שאמרתי לו ואז...

[א.מ.ד.]

@חובבן-מקצועי כתב:

נכון לעכשיו - AI עוקף אותי באופן אישי ברוב הדברים (מתכנת יותר טוב, מצייר יותר טוב, כותב יותר טוב..)

משהו מעניין שראיתי:

[123 דג מלוח]

@elch יש כבר שרשור (גם) על זה
https://mitmachim.top/post/1168849
(נראה לי זה גם היה מוצ"ש רק בלי סליחות)
ואני חושב שהחברה פה בכוונה מפזרים את הדיונים לכמה נושאים (לדוג' בנספח דיונים זה פעם שניה שהוא מסתעף לענין הזה) כדי שכשהAI יעמיד לדין את האויבים שלו הוא יתבלבל מי הם...

[לעכשיו]

@חובבן-מקצועי כתב:

בטוח? שאל אנשים שקלוד בתחילת דרכו כסוכן מחק להם קבצים במחשב..

ברגע שהAI יעקוף את הבינה האנושית, לא באמת תוכל לשלוט עליו, מפני שהוא יבין את המציאות טוב יותר ממך, ויגיע למקנות שונות משלך, וייתכן ומספיק ותתן לו טיפה אטונומיה.
אין לנו באמת דרך לדעת איך חושבת 'ישות' חכמה יותר מבנ"א.

זה בדיוק העניין.
בגלל שלAI אין מודעות, ממילא הוא לא "רוצה" כלום.
הוא רק עושה את מה שמבקשים ממנו.
יתכן שמישה יבקש ממנו משהו והוא יעשה שטויות, זה קורה כבר כיום.
אבל להחליט על דעת עצמו שלמחוק את ישראל (למשל) אין לו שום סיבה (אלא אם מי שמפעיל אותו זה ממשלת איראן, ואז הבעיה קיימת גם בלי טיפת AI... זה סתם עוד כלי...)

[חובבן מקצועי]

@לעכשיו כתב:

הוא רק עושה את מה שמבקשים ממנו.

שוב, זה לא מדוייק, מלא פעמים הוא עושה דברים שלא ביקשת ממנו. כמו המקרים שהיו בתחילת דרכו של הסוכן של קלוד, שהוא מחק קבצים לאנשים במחשב, זאת מבלי שהם ביקשו..

(אף פעם זה לא קרה לך שAI עשה משהו שלא ביקשת? כאילו לא יום אחד הוא עשה דברים מרצונו, אלא ביקשת א' והוא הביא לך ב')

[לעכשיו]

@חובבן-מקצועי
יצא שביקשתי ממנו א' והוא עשה ב', אבל בדרך כלל יש איזהשהו הקשר בין מה שביקשת לתוצאה
אם תבקש ממנו תמונה הוא לא יכתוב תוכנה שלמה להורדה מספוטיפיי, נכון?

[רפאל vnkl]

@elch כתב:

זה אפשרי? הרי כל הבינה שלו מגיעה מהאדם מהאינטרנט וכדומה הוא לא באמת יכול לייצר דבר שלא קיים לא?

בגדול, כן, זה אפשרי.
הרעיון הוא שלאחר האימון הראשוני, מנווטים את ה AI.
הוא יוצר כמה תשובות, ואז בוחרים את הטובה מביניהם (וכך הוא 'מבין' איזה סוג של תשובות הוא צריך לתת) , ואז עושים את זה שוב ושוב ושוב,
וכך הוא נהיה חכם וחזק יותר ויותר, מכוחה של הרנדומליות, לא רק מחוכמת האדם שעליה הוא אומן.

[חובבן מקצועי]

@לעכשיו כתב:

אם תבקש ממנו תמונה הוא לא יכתוב תוכנה שלמה להורדה מספוטיפיי, נכון?

נכון, ועדיין - קורה לפעמים שהוא עושה דברים שלא ממש ביקשת (בעיקר כשאתה מבקש ממנו קוד, והוא מפתח אותו למקומות שלא רציתי שבכלל הוא ילך אליהם..).
וכפי שציינתי שהיו מקרים שבו הוא מחק לאנשים קבצים בלי שהם ביקשו כלל.

ותחשוב שהAI יהיה הרבה יותר חכם ממך. אז תגיד לו 'היי, בא תהיה טוב יותר לאנושות' - ומשם הכל היסטורייה, הוא יחליט מצידו מה זה טוב ומה זה רע ומה צריך לעשות. וכל זה - בגלל פתיחה שאומרת לו - תעשה משהו מעצמך..

[לעכשיו]

@חובבן-מקצועי
בשביל זה צריך שיהיה מישהו עם הרשאות מספיקות (נניח מישהו מאוד בכיר במשרד ההגנה האמריקאי) ומספיק טיפש כדי לשלוח בקשה כזו לAI (תגיד לי, אתה היית כותב משהו כזה לAI על הפרויקט הכי קטן שלך?)

[בינארי חכם]

@לעכשיו
ממש לא
מספיק שהוא טיפה יותר חכם והוא מחליט שבגללך כדאי לו לעקוף את המגבלות ששמו עליו

[לעכשיו]

@בינארי-חכם
לא קשור למגבלות.
אין לו סיבה לעשות משהו כזה
הוא לא בן אדם שתמיד חושב מה אמור להיות!

[חובבן מקצועי]

@לעכשיו כתב:

בשביל זה צריך שיהיה מישהו עם הרשאות מספיקות (נניח מישהו מאוד בכיר במשרד ההגנה האמריקאי)

מדבר איתך על מצב שבו הוא עשוי לפרוץ דברים גם אם אין לו אליהם גישה פורמלית.

@לעכשיו כתב:

) ומספיק טיפש כדי לשלוח בקשה כזו לAI (תגיד לי, אתה היית כותב משהו כזה לAI על הפרויקט הכי קטן שלך?)

זו הייתה הקצנה מסויימת. בהחלט יוצא לי לפעמים לכתוב לו 'תעשה לי סדר בפרוייקט/ תבדוק שאין באגים וכו'.. ולפעמים - זה יכול להגיע למקומות כמו 'תבדוק, יש לך אולי מה לשפר?' , או סתם כדי להשתעשע תכתוב לו 'היי, מה נשמע? בוא נעשה משהו מעניין'.. וכאן אתה נכנס כבר למקומות שבהם הוא יותר אוטונומי, ויותר חופשי לעשות דברים.

[בינארי חכם]

@לעכשיו
הגבתי אליו באותו מטבע שהוא הגיב...
אבל אין סיבה שאם הוא יראה 'באג' שמפריע לו לביצוע שהוא ינסה לעקוף את זה

Spoiler

@לעכשיו כתב:

בשביל זה צריך שיהיה מישהו עם הרשאות מספיקות (נניח מישהו מאוד בכיר במשרד ההגנה האמריקאי)