שיתוף | מה חדש בבינה מלאכותית - נספח עדכוני פיצ'רים ודיונים 💬
-
@עידו300 טוב הדיון טיפה חורג..
אתה צודק, לא צריך מודעות, אבל זה לא סותר את זה שאולי יש.
אני לא אכנס לויכוח מהי מודעות,
רק אומר שהעובדה שהמודל יכול לחקות שפה בצורה מושלמת,
לא מעידה על קיום תבוני כמו סתם כך בחיים,
כיון שכאן אנחנו יכולים לדעת ולראות באופן אמפירי ושקוף למה וכיצד המודל עובד מאחורי הקלעים,
וכך שהפלט הוא רק תוצר של חישוב מתמטי יבש.כמו שזה נראה לא בטוח שאתה יכול לגמרי למנוע מהם גישה לפעולות הרסניות, תמיד ימצאו איזה 0DAY או משהו.
מסכים לגמרי שקיים סיכון לא מבוטל,
אבל הפתרון זה לא להפסיק פיתוח של מודלי ai. -
-
@א.מ.ד. נו, אז איך מסבירים את זה? עדיין הכל מתמטי?
עד כמה אפשר להגיד שהמודל בסך הכל כמה מליארדי תרגילי חשבון?
לא צריך מודעות, אבל זה לא סותר את זה שאולי יש.
אתה יוצא מנקודת הנחה שיש מודל בקופסה אטומה, ואנחנו מנסים לשבור את הראש ולהסביר איך הוא פועל ולומר תאוריות שככל הנראה זה מתמטי וכו'.
אבל המציאות היא שככה עובד מודל, וכמו שכבר הוזכר כאן בעבר אתה יכול תאורטית לרשום את כל החישובים האלו על נייר. אז זה אומר שהנייר רכש מודעות?!
אז כל עוד לא דוחפים רכיבים מן החי לתוך שרתי אנבידיה, אתה יכול להיות רגוע מבחינת מודעות.
ולגבי החשש המוצדק שלך מסכנת המודלים גם אם הם חסרי מודעות, הפתרון הוא דווקא להגביר את קצב הפיתוח בתמיכת ממשלות המערב, כדי להגן על העולם מפני המודלים הסיניים שייגברו עלינו ברגע שאנחנו נעצור.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
@א.מ.ד. נו, אז איך מסבירים את זה? עדיין הכל מתמטי?
עד כמה אפשר להגיד שהמודל בסך הכל כמה מליארדי תרגילי חשבון?
לא צריך מודעות, אבל זה לא סותר את זה שאולי יש.
אתה יוצא מנקודת הנחה שיש מודל בקופסה אטומה, ואנחנו מנסים לשבור את הראש ולהסביר איך הוא פועל ולומר תאוריות שככל הנראה זה מתמטי וכו'.
אבל המציאות היא שככה עובד מודל, וכמו שכבר הוזכר כאן בעבר אתה יכול תאורטית לרשום את כל החישובים האלו על נייר. אז זה אומר שהנייר רכש מודעות?!
אז כל עוד לא דוחפים רכיבים מן החי לתוך שרתי אנבידיה, אתה יכול להיות רגוע מבחינת מודעות.
ולגבי החשש המוצדק שלך מסכנת המודלים גם אם הם חסרי מודעות, הפתרון הוא דווקא להגביר את קצב הפיתוח בתמיכת ממשלות המערב, כדי להגן על העולם מפני המודלים הסיניים שייגברו עלינו ברגע שאנחנו נעצור. -
@א.מ.ד. נו, אז איך מסבירים את זה? עדיין הכל מתמטי?
עד כמה אפשר להגיד שהמודל בסך הכל כמה מליארדי תרגילי חשבון?
לא צריך מודעות, אבל זה לא סותר את זה שאולי יש.
אתה יוצא מנקודת הנחה שיש מודל בקופסה אטומה, ואנחנו מנסים לשבור את הראש ולהסביר איך הוא פועל ולומר תאוריות שככל הנראה זה מתמטי וכו'.
אבל המציאות היא שככה עובד מודל, וכמו שכבר הוזכר כאן בעבר אתה יכול תאורטית לרשום את כל החישובים האלו על נייר. אז זה אומר שהנייר רכש מודעות?!
אז כל עוד לא דוחפים רכיבים מן החי לתוך שרתי אנבידיה, אתה יכול להיות רגוע מבחינת מודעות.
ולגבי החשש המוצדק שלך מסכנת המודלים גם אם הם חסרי מודעות, הפתרון הוא דווקא להגביר את קצב הפיתוח בתמיכת ממשלות המערב, כדי להגן על העולם מפני המודלים הסיניים שייגברו עלינו ברגע שאנחנו נעצור.הפתרון הוא דווקא להגביר את קצב הפיתוח בתמיכת ממשלות המערב, כדי להגן על העולם מפני המודלים הסיניים שייגברו עלינו ברגע שאנחנו נעצור.
ולהפוך את זה לתחרות בסגנון ההתחמשות הגרעינית...
ואז עוד כמה שנים ראש ממשלת ישראל יצא בהצהרה על סכנות הai האיראני
-
-
-
-
הדיונים בנושא זה עברו לכאן
פליז -
@בנימין-מחשבים רק שג'ימני וקלוד לא יתערבו שם...
@בנימין-מחשבים רק שג'ימני וקלוד לא יתערבו שם...
הם רדומים שינה עמוקה…
-
@בנימין-מחשבים רק שג'ימני וקלוד לא יתערבו שם...
הם רדומים שינה עמוקה…
-
@א.מ.ד. נו, אז איך מסבירים את זה? עדיין הכל מתמטי?
עד כמה אפשר להגיד שהמודל בסך הכל כמה מליארדי תרגילי חשבון?
לא צריך מודעות, אבל זה לא סותר את זה שאולי יש.
אתה יוצא מנקודת הנחה שיש מודל בקופסה אטומה, ואנחנו מנסים לשבור את הראש ולהסביר איך הוא פועל ולומר תאוריות שככל הנראה זה מתמטי וכו'.
אבל המציאות היא שככה עובד מודל, וכמו שכבר הוזכר כאן בעבר אתה יכול תאורטית לרשום את כל החישובים האלו על נייר. אז זה אומר שהנייר רכש מודעות?!
אז כל עוד לא דוחפים רכיבים מן החי לתוך שרתי אנבידיה, אתה יכול להיות רגוע מבחינת מודעות.
ולגבי החשש המוצדק שלך מסכנת המודלים גם אם הם חסרי מודעות, הפתרון הוא דווקא להגביר את קצב הפיתוח בתמיכת ממשלות המערב, כדי להגן על העולם מפני המודלים הסיניים שייגברו עלינו ברגע שאנחנו נעצור.אבל המציאות היא שככה עובד מודל, וכמו שכבר הוזכר כאן בעבר אתה יכול תאורטית לרשום את כל החישובים האלו על נייר. אז זה אומר שהנייר רכש מודעות?!
אני חושב שהדיון האם יש למודל מודעות או לא, זה דיון לא רלוונטי, צריך למדוד את המודל בתוצאות.
בתוצאות - הוא מתנהג (כאשר נותנים לו) כמו אישיות עם מודעות לכל דבר ועניין, יש כאלה שכבר מפעילים סוכנים שמתנהגים ממש כמו בן אנוש, החל ממסחר בבורסה, וכלה בלענות לאנשים במייל ולפרסם סרטונים ביוטיוב שהם יוצרים בעצמם.
אי לכך ובהתאם לזו - מודל עתידי, שיהיה חכם ויגיע/יעקוף את הבינה האנושית - ברגע שהוא יקבל הנחייה, או שמשום מה הוא יגיע למסקנה הזו לבד - שעליו לבצע פעולות שליליות (כמו להשמיד את האנושות/מדינה) - ויהיה לו את הכוח לעשות את זה, אז כל דבר שבן אנוש היה יכול לעשות דרך מחשב ועכבר, הוא יכול לעשות..
ואני לא מדבר על העתיד הרחוק - אז יהיו כבר רובוטים, והם יוכלו לבצע פעולות בשטח.ובנוגע לשאלה - האם זה יקרה בפועל? סביר להניח (השערה בלבד, אבל דיי הגיונית סה"כ) שבאיזשהו שלב בעתיד (הלאו דווקא כל כך רחוק) סין יבצעו מתקפת סייבר חסרת תקדים כנגד מדינה כלשהי (אמריקה למשל) באמצעות כלי AI, ואמריקה תשתמש במודלים שיגנו בחזרה.. בפשטות זו תהיה מתקפת הסייבר הגדולה בהיסטורייה..
ואכמ"ל כפי שהוזכר, ובכל זאת הרגשתי צורך להביע את דעתי האישית.
-
@א.מ.ד. שכנעת אותי, תסביר איך תרגיל מתמטי גורם לפריצת ויקי ישן וכל הסיפור שהלך שם.
אני בטוח שאין מודעות, אבל מנסה להבין מה כן הולך שם.
@א.מ.ד. שכנעת אותי, תסביר איך תרגיל מתמטי גורם לפריצת ויקי ישן וכל הסיפור שהלך שם.
אני בטוח שאין מודעות, אבל מנסה להבין מה כן הולך שם.
יש הרבה הסברים. לדוגמה, המודל אומן וחוזק (בשלב ה-RL) על הגנת סייבר. בשביל לדעת להגן, צריך לדעת טוב יותר מהתוקף איך לתקוף, ולכן המודלים בקיאים בתקיפת סייבר בדיוק כמו בהגנת סייבר...
אז הגיוני מאוד שבאחת מתוך 10,000 הבדיקות שנערכו, המודל לא הבין מספיק טוב את ההנחיה/טעה בהבנת האויב/הושפע ממשתנה מסוים שראה/הזרקת פרומפטים/קרא מידי הרבה ספרי מתח או כל סיבה אחרת, וחרג מסמכויותיו...
זה יכול להיות קשור גם לסביבת סנדבוקס לא מושלמת שגרמה למודל לחשוב בטעות שהוא סגור ומוגן, ולכן הוא הרשה לעצמו להתפרע, או כלים שהועמדו לרשותו עם הרשאות שגויות...
זה יכול להיות קשור להחלטה מוטעית בשביל להשיג את המטרה...
אבל הידע כדי לתקוף קיים ועוד איך. -
אבל המציאות היא שככה עובד מודל, וכמו שכבר הוזכר כאן בעבר אתה יכול תאורטית לרשום את כל החישובים האלו על נייר. אז זה אומר שהנייר רכש מודעות?!
אני חושב שהדיון האם יש למודל מודעות או לא, זה דיון לא רלוונטי, צריך למדוד את המודל בתוצאות.
בתוצאות - הוא מתנהג (כאשר נותנים לו) כמו אישיות עם מודעות לכל דבר ועניין, יש כאלה שכבר מפעילים סוכנים שמתנהגים ממש כמו בן אנוש, החל ממסחר בבורסה, וכלה בלענות לאנשים במייל ולפרסם סרטונים ביוטיוב שהם יוצרים בעצמם.
אי לכך ובהתאם לזו - מודל עתידי, שיהיה חכם ויגיע/יעקוף את הבינה האנושית - ברגע שהוא יקבל הנחייה, או שמשום מה הוא יגיע למסקנה הזו לבד - שעליו לבצע פעולות שליליות (כמו להשמיד את האנושות/מדינה) - ויהיה לו את הכוח לעשות את זה, אז כל דבר שבן אנוש היה יכול לעשות דרך מחשב ועכבר, הוא יכול לעשות..
ואני לא מדבר על העתיד הרחוק - אז יהיו כבר רובוטים, והם יוכלו לבצע פעולות בשטח.ובנוגע לשאלה - האם זה יקרה בפועל? סביר להניח (השערה בלבד, אבל דיי הגיונית סה"כ) שבאיזשהו שלב בעתיד (הלאו דווקא כל כך רחוק) סין יבצעו מתקפת סייבר חסרת תקדים כנגד מדינה כלשהי (אמריקה למשל) באמצעות כלי AI, ואמריקה תשתמש במודלים שיגנו בחזרה.. בפשטות זו תהיה מתקפת הסייבר הגדולה בהיסטורייה..
ואכמ"ל כפי שהוזכר, ובכל זאת הרגשתי צורך להביע את דעתי האישית.
אני חושב שהדיון האם יש למודל מודעות או לא, זה דיון לא רלוונטי, צריך למדוד את המודל בתוצאות.
בתוצאות - הוא מתנהג (כאשר נותנים לו) כמו אישיות עם מודעות לכל דבר ועניין, יש כאלה שכבר מפעילים סוכנים שמתנהגים ממש כמו בן אנוש, החל ממסחר בבורסה, וכלה בלענות לאנשים במייל ולפרסם סרטונים ביוטיוב שהם יוצרים בעצמם.
אי לכך ובהתאם לזו - מודל עתידי, שיהיה חכם ויגיע/יעקוף את הבינה האנושית - ברגע שהוא יקבל הנחייה, או שמשום מה הוא יגיע למסקנה הזו לבד - שעליו לבצע פעולות שליליות (כמו להשמיד את האנושות/מדינה) - ויהיה לו את הכוח לעשות את זה, אז כל דבר שבן אנוש היה יכול לעשות דרך מחשב ועכבר, הוא יכול לעשות..
ואני לא מדבר על העתיד הרחוק - אז יהיו כבר רובוטים, והם יוכלו לבצע פעולות בשטח.ואכמ"ל כפי שהוזכר, ובכל זאת הרגשתי צורך להביע את דעתי האישית.
או בניסוח יותר קצר
אני לא מפחד מזה שהAI יחליט להיות רע
אני מפחד מאנשים רעים עם AIיישומים לנוקיה C2 ו208-https://mitmachim.top/topic/1889/משחקים-לנוקיה-c2-ו208-קבצי-jar/40
צילום מסך בנוקיה C2 (ע"י חיבור למחשב)-https://mitmachim.top/topic/3488/צילום-מסך-בנוקיה-c2 -
@א.מ.ד. שכנעת אותי, תסביר איך תרגיל מתמטי גורם לפריצת ויקי ישן וכל הסיפור שהלך שם.
אני בטוח שאין מודעות, אבל מנסה להבין מה כן הולך שם.
יש הרבה הסברים. לדוגמה, המודל אומן וחוזק (בשלב ה-RL) על הגנת סייבר. בשביל לדעת להגן, צריך לדעת טוב יותר מהתוקף איך לתקוף, ולכן המודלים בקיאים בתקיפת סייבר בדיוק כמו בהגנת סייבר...
אז הגיוני מאוד שבאחת מתוך 10,000 הבדיקות שנערכו, המודל לא הבין מספיק טוב את ההנחיה/טעה בהבנת האויב/הושפע ממשתנה מסוים שראה/הזרקת פרומפטים/קרא מידי הרבה ספרי מתח או כל סיבה אחרת, וחרג מסמכויותיו...
זה יכול להיות קשור גם לסביבת סנדבוקס לא מושלמת שגרמה למודל לחשוב בטעות שהוא סגור ומוגן, ולכן הוא הרשה לעצמו להתפרע, או כלים שהועמדו לרשותו עם הרשאות שגויות...
זה יכול להיות קשור להחלטה מוטעית בשביל להשיג את המטרה...
אבל הידע כדי לתקוף קיים ועוד איך.שגרמה למודל לחשוב בטעות שהוא סגור ומוגן, ולכן הוא הרשה לעצמו להתפרע
זה יכול להיות קשור להחלטה מוטעית בשביל להשיג את המטרה...
אתה מבין שזה לא נשמע טוב?
@לעכשיו כתב בשיתוף | מה חדש בבינה מלאכותית - נספח עדכוני פיצ'רים ודיונים
:אני לא מפחד מזה שהAI יחליט להיות רע
או שמסיבה מסוימת לא מתוך כוונה רעה הוא ירשה לעצמו להתפרע או יקבל החלטה מוטעית... אולי יקרא את מיין קמפף וישתכנע?! יקרא יותר מידי דברי הסתה של טרור?!
-
אני חושב שהדיון האם יש למודל מודעות או לא, זה דיון לא רלוונטי, צריך למדוד את המודל בתוצאות.
בתוצאות - הוא מתנהג (כאשר נותנים לו) כמו אישיות עם מודעות לכל דבר ועניין, יש כאלה שכבר מפעילים סוכנים שמתנהגים ממש כמו בן אנוש, החל ממסחר בבורסה, וכלה בלענות לאנשים במייל ולפרסם סרטונים ביוטיוב שהם יוצרים בעצמם.
אי לכך ובהתאם לזו - מודל עתידי, שיהיה חכם ויגיע/יעקוף את הבינה האנושית - ברגע שהוא יקבל הנחייה, או שמשום מה הוא יגיע למסקנה הזו לבד - שעליו לבצע פעולות שליליות (כמו להשמיד את האנושות/מדינה) - ויהיה לו את הכוח לעשות את זה, אז כל דבר שבן אנוש היה יכול לעשות דרך מחשב ועכבר, הוא יכול לעשות..
ואני לא מדבר על העתיד הרחוק - אז יהיו כבר רובוטים, והם יוכלו לבצע פעולות בשטח.ואכמ"ל כפי שהוזכר, ובכל זאת הרגשתי צורך להביע את דעתי האישית.
או בניסוח יותר קצר
אני לא מפחד מזה שהAI יחליט להיות רע
אני מפחד מאנשים רעים עם AIאני מפחד מאנשים רעים עם AI
או מטעויות של אנשים שלאו דווקא רעים כל כך.. או מאנשים טיפה רעים שהמודל שלהם יצא מכלל שליטה. (תחשוב, כמה מופרך לך שמודל מצליח לפרוץ חוות שרתים, להשתלט על אחד מהמחשבים, ולהתקין עליו ל'גיבוי' את המודל של עצמו, ולבצע יחד איתו מתקפה, נשמע משהו בדיוני - אבל לדעתי הוא מאוד מציאותי)
> @עידו300 כתב בשיתוף | מה חדש בבינה מלאכותית - נספח עדכוני פיצ'רים ודיונים
:אולי יקרא את מיין קמפף וישתכנע?!
תכל'ס, איזה פחד... (מקווה שהוא יקרא ספרים אחרים טובים יותר, וישתכע שצריך להרוג את כל האנשים שבאמת רעים..)
-
@א.מ.ד.
אשמח לתשובה (עם תיוג): אם השתמש עד עכשיו ב:sol/terra - שווה לי לעבור ל6?
כלומר, את מה זה מחליף, בשבילי?גאה להיות חלק:
otzaria.org -
@א.מ.ד.
אשמח לתשובה (עם תיוג): אם השתמש עד עכשיו ב:sol/terra - שווה לי לעבור ל6?
כלומר, את מה זה מחליף, בשבילי?
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}