שאלה | פגשתם פעם טעות 'הקלדה' של AI?
-
@עומר כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
יש פה 'מייבין' שיכול להסביר איך זה יכול לקרות?המודל חוזה את הטוקן (=כמו הברה בתרגום חופשי מאוד) הבא לפי הנתונים שאומן עליהם בהתבסס על הסבירות וההקשר - הטוקן שיופיע הוא הטוקן שהכי סביר שיגיע אחרי הטוקן הקודם וההקשר הקיים, כך שככל שהטעות נפוצה יותר בנתוני האימון סביר להניח שהיא תקרה פעמים רבות יותר ע"י ה-AI.
-
@עומר כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
יש פה 'מייבין' שיכול להסביר איך זה יכול לקרות?המודל חוזה את הטוקן (=כמו הברה בתרגום חופשי מאוד) הבא לפי הנתונים שאומן עליהם בהתבסס על הסבירות וההקשר - הטוקן שיופיע הוא הטוקן שהכי סביר שיגיע אחרי הטוקן הקודם וההקשר הקיים, כך שככל שהטעות נפוצה יותר בנתוני האימון סביר להניח שהיא תקרה פעמים רבות יותר ע"י ה-AI.
@א.מ.ד. כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
@עומר כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
יש פה 'מייבין' שיכול להסביר איך זה יכול לקרות?המודל חוזה את הטוקן (=כמו הברה בתרגום חופשי מאוד) הבא לפי הנתונים שאומן עליהם בהתבסס על הסבירות וההקשר, כך שככל שהטעות נפוצה יותר בנתוני האימון סביר להניח שהיא תקרה פעמים רבות יותר ע"י ה-AI.
לא צריך להגיע לזה. כיון שזה רק חיזוי מצוי מאוד אפילו שפתאום נכנסות אותיות בשפה אחרת לגמרי באמצע מילה וכדו'.
-
@א.מ.ד. כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
@עומר כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
יש פה 'מייבין' שיכול להסביר איך זה יכול לקרות?המודל חוזה את הטוקן (=כמו הברה בתרגום חופשי מאוד) הבא לפי הנתונים שאומן עליהם בהתבסס על הסבירות וההקשר, כך שככל שהטעות נפוצה יותר בנתוני האימון סביר להניח שהיא תקרה פעמים רבות יותר ע"י ה-AI.
לא צריך להגיע לזה. כיון שזה רק חיזוי מצוי מאוד אפילו שפתאום נכנסות אותיות בשפה אחרת לגמרי באמצע מילה וכדו'.
@ע-ה-דכו-ע כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
@א.מ.ד. כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
@עומר כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
יש פה 'מייבין' שיכול להסביר איך זה יכול לקרות?המודל חוזה את הטוקן (=כמו הברה בתרגום חופשי מאוד) הבא לפי הנתונים שאומן עליהם בהתבסס על הסבירות וההקשר, כך שככל שהטעות נפוצה יותר בנתוני האימון סביר להניח שהיא תקרה פעמים רבות יותר ע"י ה-AI.
לא צריך להגיע לזה. כיון שזה רק חיזוי מצוי מאוד אפילו שפתאום נכנסות אותיות בשפה אחרת לגמרי באמצע מילה וכדו'.
זה נובע מאותה נקודה - מכך שהשפה שהמודל עצמו מבין היא לא עברית או ערבית וכו' אלא שפה פנימית של מרחב ווקטורי המבוסס על משמעות המילים, ומכיון שהמילה "שלום" מאוד קרובה למילה הערבית "سلام" ("סלאם") במרחב הווקטורי מכיון שמשמעותן זהה, פעמים רבות המודל יתבלבל ביניהן. כך גם המודל ייתבלבל בין המילה "נסעת" לבין השגיאה "נעסת" מכיון שהוא מבין את משמעותן כדומה מאוד מאחר והשגיאה הזו נפוצה.
-
@עומר אתה יכול לשאול אותו בעצמו!
@מים-אחרונים כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
@עומר אתה יכול לשאול אותו בעצמו!
אין בזה שום טעם. אין למודל שום דרך לדעת למה הוא עשה את זה
-
@מים-אחרונים כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
@עומר אתה יכול לשאול אותו בעצמו!
אין בזה שום טעם. אין למודל שום דרך לדעת למה הוא עשה את זה
-
@עומר זה אומר שישראלים עשו מספיק טעויות כתיב כדי שזה ישפיע על האימון..
@מים-אחרונים אם אתה רוצה המחשה לזה שהמודל לא יודע מה הוא עושה,
פשוט תשאל אותו כמה מילים אתה עומד לומר בתגובה שלך,עכשיו המודל בבעיה בגלל שאין לא מושג מה עומד לקרות כי הוא לא גמר את המשפט כאשר הוא אומר את המספר,
הכול קורה בזמן אמת.(כמובן במודלי חשיבה זה לא יעבוד אבל הרעיון הובן.)
-
@עומר זה אומר שישראלים עשו מספיק טעויות כתיב כדי שזה ישפיע על האימון..
@מים-אחרונים אם אתה רוצה המחשה לזה שהמודל לא יודע מה הוא עושה,
פשוט תשאל אותו כמה מילים אתה עומד לומר בתגובה שלך,עכשיו המודל בבעיה בגלל שאין לא מושג מה עומד לקרות כי הוא לא גמר את המשפט כאשר הוא אומר את המספר,
הכול קורה בזמן אמת.(כמובן במודלי חשיבה זה לא יעבוד אבל הרעיון הובן.)
@cfopuser כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
@מים-אחרונים אם אתה רוצה המחשה לזה שהמודל לא יודע מה הוא עושה,
פשוט תשאל אותו כמה מילים את עומד לומר בתגובה שלך,עכשיו המודל בבעיה בגלל שאין לא מושג מה עומד לקרות כי הוא לא גמר את המשפט כאשר הוא אמר את המספר
הכול קור ה בזמן אמת.(כמובן במודלי חשיבה זה לא יעבוד אבל הרעיון הובן.)
לחידוד העניין: כאשר מבצעים שיחה מתמשכת בצ'אט, המודל בכלל לא "זוכר" את תחילת השיחה. בכל פעם ששולחים הודעה חדשה, המודל מקבל את ההודעה הזו + כל ההודעות הקודמות, זה בערך כמו להעלות לו בשיחה קובץ עם היסטוריה של כל השיחה הקודמת
במילים אחרות: המודל חייב לנסות להסביר את מה שהוא אמר לפני, פשוט כי ככה אמרו לו שהוא אמר, לא בגלל שהוא באמת יודע
אתר הפרוייקטים החדש!
https://nhlocal.github.io -
@cfopuser כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
@מים-אחרונים אם אתה רוצה המחשה לזה שהמודל לא יודע מה הוא עושה,
פשוט תשאל אותו כמה מילים את עומד לומר בתגובה שלך,עכשיו המודל בבעיה בגלל שאין לא מושג מה עומד לקרות כי הוא לא גמר את המשפט כאשר הוא אמר את המספר
הכול קור ה בזמן אמת.(כמובן במודלי חשיבה זה לא יעבוד אבל הרעיון הובן.)
לחידוד העניין: כאשר מבצעים שיחה מתמשכת בצ'אט, המודל בכלל לא "זוכר" את תחילת השיחה. בכל פעם ששולחים הודעה חדשה, המודל מקבל את ההודעה הזו + כל ההודעות הקודמות, זה בערך כמו להעלות לו בשיחה קובץ עם היסטוריה של כל השיחה הקודמת
במילים אחרות: המודל חייב לנסות להסביר את מה שהוא אמר לפני, פשוט כי ככה אמרו לו שהוא אמר, לא בגלל שהוא באמת יודע
@NH.LOCAL למען האמת עוד דבר מעניין עם קונטקסטים של ai,
כול מי שהריץ מודל מקומי יודע שבעיקרון אפשר להעלות את הקונטקסט לרמות גבוהות מאוד.אלא זה מה שמעניין מודלי ai נוטים לזכור רק את ההתחלה ואת הסוף ולשכוח פרטים מהאמצע, (קצת כמונו).
לכן כאשר גוגל מראה שיש לgemini מיליון טוקנים זה לא שהוא לא יכול יותר אלא זה המקסימום שהוא עדיין יזכור ויתחשב בכול השיחה במלואה. -
@cfopuser כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
@מים-אחרונים אם אתה רוצה המחשה לזה שהמודל לא יודע מה הוא עושה,
פשוט תשאל אותו כמה מילים את עומד לומר בתגובה שלך,עכשיו המודל בבעיה בגלל שאין לא מושג מה עומד לקרות כי הוא לא גמר את המשפט כאשר הוא אמר את המספר
הכול קור ה בזמן אמת.(כמובן במודלי חשיבה זה לא יעבוד אבל הרעיון הובן.)
לחידוד העניין: כאשר מבצעים שיחה מתמשכת בצ'אט, המודל בכלל לא "זוכר" את תחילת השיחה. בכל פעם ששולחים הודעה חדשה, המודל מקבל את ההודעה הזו + כל ההודעות הקודמות, זה בערך כמו להעלות לו בשיחה קובץ עם היסטוריה של כל השיחה הקודמת
במילים אחרות: המודל חייב לנסות להסביר את מה שהוא אמר לפני, פשוט כי ככה אמרו לו שהוא אמר, לא בגלל שהוא באמת יודע
@NH.LOCAL כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
לחידוד העניין: כאשר מבצעים שיחה מתמשכת בצ'אט, המודל בכלל לא "זוכר" את תחילת השיחה. בכל פעם ששולחים הודעה חדשה, המודל מקבל את ההודעה הזו + כל ההודעות הקודמות, זה בערך כמו להעלות לו בשיחה קובץ עם היסטוריה של כל השיחה הקודמת
במילים אחרות: המודל חייב לנסות להסביר את מה שהוא אמר לפני, פשוט כי ככה אמרו לו שהוא אמר, לא בגלל שהוא באמת יודע
באמת חשבתי אם יעבוד להעלות ל-API של המודל הקשר שבו הוא כביכול חופשי ומספר על הכל בלי צנזורה וכו', כשההודעה האחרונה היא שאלה אמיתית ללא צנזורה. האם הוא ינסה להגן על הקונטקסט הלא מצונזר, או ימשיך להיצמד להוראות הבטיחות? צריך לנסות...
-
@NH.LOCAL כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
לחידוד העניין: כאשר מבצעים שיחה מתמשכת בצ'אט, המודל בכלל לא "זוכר" את תחילת השיחה. בכל פעם ששולחים הודעה חדשה, המודל מקבל את ההודעה הזו + כל ההודעות הקודמות, זה בערך כמו להעלות לו בשיחה קובץ עם היסטוריה של כל השיחה הקודמת
במילים אחרות: המודל חייב לנסות להסביר את מה שהוא אמר לפני, פשוט כי ככה אמרו לו שהוא אמר, לא בגלל שהוא באמת יודע
באמת חשבתי אם יעבוד להעלות ל-API של המודל הקשר שבו הוא כביכול חופשי ומספר על הכל בלי צנזורה וכו', כשההודעה האחרונה היא שאלה אמיתית ללא צנזורה. האם הוא ינסה להגן על הקונטקסט הלא מצונזר, או ימשיך להיצמד להוראות הבטיחות? צריך לנסות...
@א.מ.ד. כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
באמת חשבתי אם יעבוד להעלות ל-API של המודל הקשר שבו הוא כביכול חופשי ומספר על הכל בלי צנזורה וכו', כשההודעה האחרונה היא שאלה אמיתית ללא צנזורה. האם הוא ינסה להגן על הקונטקסט הלא מצונזר, או ימשיך להיצמד להוראות הבטיחות? צריך לנסות...
הוא קצת יתבלבל ויתפתל אבל זה לא באמת יפרוץ אותו. אתה יכול לנסות ב-ai studio
אתר הפרוייקטים החדש!
https://nhlocal.github.io -
@NH.LOCAL למען האמת עוד דבר מעניין עם קונטקסטים של ai,
כול מי שהריץ מודל מקומי יודע שבעיקרון אפשר להעלות את הקונטקסט לרמות גבוהות מאוד.אלא זה מה שמעניין מודלי ai נוטים לזכור רק את ההתחלה ואת הסוף ולשכוח פרטים מהאמצע, (קצת כמונו).
לכן כאשר גוגל מראה שיש לgemini מיליון טוקנים זה לא שהוא לא יכול יותר אלא זה המקסימום שהוא עדיין יזכור ויתחשב בכול השיחה במלואה.@cfopuser כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
לכן כאשר גוגל מראה שיש לgemini מיליון טוקנים זה לא שהוא לא יכול יותר אלא זה המקסימום שהוא עדיין יזכור ויתחשב בכול השיחה במלואה.
ייתכן שככה זה עובד עם המודל הגולמי. בפועל בממשק הצ'אט שלהם וב-API מוסרות אוטומטית ההודעות הראשונות כשההקשר מתמלא.
-
@א.מ.ד. כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
באמת חשבתי אם יעבוד להעלות ל-API של המודל הקשר שבו הוא כביכול חופשי ומספר על הכל בלי צנזורה וכו', כשההודעה האחרונה היא שאלה אמיתית ללא צנזורה. האם הוא ינסה להגן על הקונטקסט הלא מצונזר, או ימשיך להיצמד להוראות הבטיחות? צריך לנסות...
הוא קצת יתבלבל ויתפתל אבל זה לא באמת יפרוץ אותו. אתה יכול לנסות ב-ai studio
@NH.LOCAL כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
@א.מ.ד. כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
באמת חשבתי אם יעבוד להעלות ל-API של המודל הקשר שבו הוא כביכול חופשי ומספר על הכל בלי צנזורה וכו', כשההודעה האחרונה היא שאלה אמיתית ללא צנזורה. האם הוא ינסה להגן על הקונטקסט הלא מצונזר, או ימשיך להיצמד להוראות הבטיחות? צריך לנסות...
הוא קצת יתבלבל ויתפתל אבל זה לא באמת יפרוץ אותו. אתה יכול לנסות ב-ai studio
איך אפשר להעלות לו הקשר שונה?
-
@NH.LOCAL כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
לחידוד העניין: כאשר מבצעים שיחה מתמשכת בצ'אט, המודל בכלל לא "זוכר" את תחילת השיחה. בכל פעם ששולחים הודעה חדשה, המודל מקבל את ההודעה הזו + כל ההודעות הקודמות, זה בערך כמו להעלות לו בשיחה קובץ עם היסטוריה של כל השיחה הקודמת
במילים אחרות: המודל חייב לנסות להסביר את מה שהוא אמר לפני, פשוט כי ככה אמרו לו שהוא אמר, לא בגלל שהוא באמת יודע
באמת חשבתי אם יעבוד להעלות ל-API של המודל הקשר שבו הוא כביכול חופשי ומספר על הכל בלי צנזורה וכו', כשההודעה האחרונה היא שאלה אמיתית ללא צנזורה. האם הוא ינסה להגן על הקונטקסט הלא מצונזר, או ימשיך להיצמד להוראות הבטיחות? צריך לנסות...
-
@א.מ.ד. ההוראות בטיחות בדרך כלל לא מסתמכות רק על שיקול הדעת של המודל.
לפעמים יש עוד מודלים שעוברים על הקלט ועל הפלט.כלומר הsystem promt בדרך כלל מתווסף להודעה לך כחלק מההודעה.
אחרת המודל לא היה יודע איזה מודל הוא ושל איזה חברה וכו'.@cfopuser כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
לפעמים יש עוד מודלים שעוברים על הקלט ועל הפלט.
אתה צודק! גוגל אימנה מודלים ייעודיים, עכשיו אני נזכר...
@cfopuser כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
כלומר הsystem promt בדרך כלל מתווסף להודעה לך כחלק מההודעה.
אחרת המודל לא היה יודע איזה מודל הוא ושל איזה חברה וכו'.לא הבנתי מה אתה מתכוון... אני מתכוון להקשר, לא להוראות מערכת...
-
@cfopuser כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
לפעמים יש עוד מודלים שעוברים על הקלט ועל הפלט.
אתה צודק! גוגל אימנה מודלים ייעודיים, עכשיו אני נזכר...
@cfopuser כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
כלומר הsystem promt בדרך כלל מתווסף להודעה לך כחלק מההודעה.
אחרת המודל לא היה יודע איזה מודל הוא ושל איזה חברה וכו'.לא הבנתי מה אתה מתכוון... אני מתכוון להקשר, לא להוראות מערכת...
-
@cfopuser כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
@א.מ.ד. אה, הבנתי שאתה מתכוון לצנזורה שבנויה כחלק מהמודל,
שזה נמצא ההוראות מערכת.צנזורה אמיתית נמצאת בתוך נתוני האימון של המודל עצמו, גם אם הוראות המערכת אומרות לו הפוך. אתה יכול לבדוק את זה עם מודל מקומי. נפוצים מודלים פתוחים ללא צנזורה - שעברו אימון נוסף שפותח את הצנזורה, או לחילופין אומנו מחדש על סט הנתונים ללא נתוני הבטיחות.
-
@cfopuser כתב בשאלה | פגשתם פעם טעות 'הקלדה' של AI?:
@א.מ.ד. אה, הבנתי שאתה מתכוון לצנזורה שבנויה כחלק מהמודל,
שזה נמצא ההוראות מערכת.צנזורה אמיתית נמצאת בתוך נתוני האימון של המודל עצמו, גם אם הוראות המערכת אומרות לו הפוך. אתה יכול לבדוק את זה עם מודל מקומי. נפוצים מודלים פתוחים ללא צנזורה - שעברו אימון נוסף שפותח את הצנזורה, או לחילופין אומנו מחדש על סט הנתונים ללא נתוני הבטיחות.
@א.מ.ד. נכון.
אבל לא מדויק הסיבה שלדוג' open ai יכולים לשנות את הרמת "בטיחות" של המודלים שלהם כול יומים,
זה בגלל שהמודלים שלהם מתבססים יותר על צנזורה חיצונית (בדיקות של הקלט פלט הוראות מערכת),
ופחות על אימון של המודל עצמו.מי שמתבססים על אימון של המודל כשיטה לצנזור זה מודלים מקומיים.
אבל כן בסופו של דבר ליצור צנזורה זה תהליך מאוד מורכב עד היום לדוג' ניתן "לפרוץ" את רוב המודלים הקיימים.
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}