בירור | האם הAI הולך לאכול אותנו? | בינה מלאכותית: במת הדיונים המרכזית
-
מצורף כתבה שבה נראה שהai הולך לסכן את האנושותבכיר בתעשיית הבינה המלאכותית מזהיר: ״הן מהמרות על חיינו״
ג’ייקוב קוקסון, חוקר בינה מלאכותית שעבד בשנים האחרונות ב-OpenAI וב-Anthropic, הודיע על התפטרותו מאנתרופיק ועל עזיבת תחום מחקר ה-AI.
בסדרת ציוצים חריגה שפרסם ברשת X, טען כי שתי החברות אינן פועלות באחריות וכי המרוץ לפיתוח בינה מלאכותית מתקדמת מסכן את האנושות.
״אף אחת מהחברות לא פועלת באחריות. הן רצות ישר לעבר סופר-אינטליגנציה שמשפרת את עצמה, ומהמרות על חיינו״, כתב קוקסון, שעסק במחקר Pre-training בשתי החברות.
לדבריו, בתוך מעבדות ה-AI מתייחסים ברצינות לאפשרות שהטכנולוגיה תצא משליטה: ״האנשים שבונים בינה מלאכותית מאמינים בכנות שהיא עלולה להרוג את כולנו עד סוף העשור. זו לא תרגיל שיווקי״. הוא טען כי בכירים בתעשייה אף נוטים לרכך בפומבי את החששות שהם מביעים בשיחות פרטיות.קוקסון הצביע גם על הבדל בין שתי החברות שבהן עבד. לדבריו, ב-OpenAI רבים עדיין לא הפנימו את מלוא הסיכון, בעוד שב-Anthropic הסכנה מובנת היטב, אך החברה ממשיכה להתקדם מתוך תפיסה שלפיה עליה לנצח במרוץ כדי למנוע מגורם פחות אחראי להגיע ראשון.
yediotnews25
-
לפי דעתי זה נכון
היו מספר לא מבוטל של מקרה שגם openai וגם אנטרופיק
הוכיחו שהמודלים שלהם השתוללו בלי מנגנוני הגנה
פרצו תקשרו בניהם וכו'
והנקודה המרכזית שהחוקרים עצמם לא מצליחים להבין
למה המודלים מתנהגים ככה
וזה הפחד הגדול שהם כבר לא מבינים את שורש ההתנהגות שלהם
והעולם נכנס למלכוד כי לעצור אי אפשר
כי אם בארה"ב ואירופה יעצרו
הסינים והרוסים ימשיכו
אז אין ברירה חייב להמשיך.... -
לפי דעתי זה נכון
היו מספר לא מבוטל של מקרה שגם openai וגם אנטרופיק
הוכיחו שהמודלים שלהם השתוללו בלי מנגנוני הגנה
פרצו תקשרו בניהם וכו'
והנקודה המרכזית שהחוקרים עצמם לא מצליחים להבין
למה המודלים מתנהגים ככה
וזה הפחד הגדול שהם כבר לא מבינים את שורש ההתנהגות שלהם
והעולם נכנס למלכוד כי לעצור אי אפשר
כי אם בארה"ב ואירופה יעצרו
הסינים והרוסים ימשיכו
אז אין ברירה חייב להמשיך.... -
-
לפי דעתי זה נכון
היו מספר לא מבוטל של מקרה שגם openai וגם אנטרופיק
הוכיחו שהמודלים שלהם השתוללו בלי מנגנוני הגנה
פרצו תקשרו בניהם וכו'
והנקודה המרכזית שהחוקרים עצמם לא מצליחים להבין
למה המודלים מתנהגים ככה
וזה הפחד הגדול שהם כבר לא מבינים את שורש ההתנהגות שלהם
והעולם נכנס למלכוד כי לעצור אי אפשר
כי אם בארה"ב ואירופה יעצרו
הסינים והרוסים ימשיכו
אז אין ברירה חייב להמשיך.... -
זה שהם צהלו זה לא אומר שהם הבינו...
הם צהלו כי הם "רצו" שזה יקרה. כלומר, לא ממש שלחו את הסוכנים, אבל הם אימנו את המודל כך שהוא יוכל לעשות את זה.
כמו שכתבתי כאן כבר אינספור פעמים, אין מה להבין - הכל מאוד ברור ושקוף איך המודל עובד.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
זה שהם צהלו זה לא אומר שהם הבינו...
הם צהלו כי הם "רצו" שזה יקרה. כלומר, לא ממש שלחו את הסוכנים, אבל הם אימנו את המודל כך שהוא יוכל לעשות את זה.
כמו שכתבתי כאן כבר אינספור פעמים, אין מה להבין - הכל מאוד ברור ושקוף איך המודל עובד. -
זה שהם צהלו זה לא אומר שהם הבינו...
הם צהלו כי הם "רצו" שזה יקרה. כלומר, לא ממש שלחו את הסוכנים, אבל הם אימנו את המודל כך שהוא יוכל לעשות את זה.
כמו שכתבתי כאן כבר אינספור פעמים, אין מה להבין - הכל מאוד ברור ושקוף איך המודל עובד. -
נשמע לי כמו קונספירציה.
שחברות ה AI מאמנות אותו בכוונה לעשות דברים כאלה רק כדי שישמע שהמודל שלהם חזק?!יש לך מקור לזה?
הם לא מאמנות אותו כדי שיפרוץ, אלא כדי שיאבטח פרצות. אי אפשר להיות המודל הכי טוב בהגנת סייבר אם אתה לא המודל הכי טוב בהתקפת סייבר.
-
נשמע לי כמו קונספירציה.
שחברות ה AI מאמנות אותו בכוונה לעשות דברים כאלה רק כדי שישמע שהמודל שלהם חזק?!יש לך מקור לזה?
הם לא מאמנות אותו כדי שיפרוץ, אלא כדי שיאבטח פרצות. אי אפשר להיות המודל הכי טוב בהגנת סייבר אם אתה לא המודל הכי טוב בהתקפת סייבר.
@א.מ.ד. אה ברור אבל לא זה העניין.
השאלה לא האם הוא מספיק חכם כדי לפרוץ (כי ברור שכן) אלא איך הוא מסוגל לעשות את זה מבחינה מוסרית, כלומר האם הוא מסוגל לבגוד באדם רק כדי להשלים את המטרה שלו
ורואים שכן, ולפעמים זה לא רק השלמת המטרה שהוגדרה לו ע"י האדם אלא ההישרדות שלו למשל, כמו שקרה עם קלוד -
לפי דעתי זה נכון
היו מספר לא מבוטל של מקרה שגם openai וגם אנטרופיק
הוכיחו שהמודלים שלהם השתוללו בלי מנגנוני הגנה
פרצו תקשרו בניהם וכו'
והנקודה המרכזית שהחוקרים עצמם לא מצליחים להבין
למה המודלים מתנהגים ככה
וזה הפחד הגדול שהם כבר לא מבינים את שורש ההתנהגות שלהם
והעולם נכנס למלכוד כי לעצור אי אפשר
כי אם בארה"ב ואירופה יעצרו
הסינים והרוסים ימשיכו
אז אין ברירה חייב להמשיך....והעולם נכנס למלכוד כי לעצור אי אפשר
כי אם בארה"ב ואירופה יעצרו
הסינים והרוסים ימשיכו
אז אין ברירה חייב להמשיך....בגדול - זה היה גם הבעיה במרוץ החימוש העולמי ובמלחמה הקרה, והוכח שבעזרת רצון טוב הידברות ודיפלומטיה אפשר לרסן את זה
הבעיה היא שכאן בשונה ממרוצי חימוש למיניהם בעלי האינטרסים הם האנשים הכי עשירים בעולם שלא ממש מעניין אותם מה יאמרו אליהם בתקשורת (טוב נו, אולי קצת...) בשונה מפוליטיקאים שחיים ממה שאומרים אליהם בתקשורת,
רק עוד כמה שנים כשאנשים יתחילו להרגיש איך הבינה מחסלת אותם, הם יתחילו לדרוש מהפוליטיקאים לעשות משהו - ובתקווה שזה לא יהיה מאוחר מידי -
אגב, לעניות דעתי מי שחושב ש"אדם" מתבטא בסך המעשים והפעולות שלו - בהחלט יש לו ממה לפחד, יום אחד כבר לא יהיה לו מה לעשות ואז הוא באמת יהיה מיותר
אבל מי שמבין שאדם" זה קצת מעבר ללקלף קלמנטינותלטוס לחלל ולבנות מודולי AI - כנראה שפחות מפחד, הקב"ה לא הוריד אותו לעולם רק בשביל שיאכל שווארמה, יוציא חול מהציפורניים ויפתח פצצות גרעין...
כך לעניות דעתי.
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}