סקר | מהו הצ'אט AI המועדף עליך?

[א.מ.ד.]

@המלאך כתב בסקר | מהו הצ'אט AI המועדף עליך?:

@א.מ.ד. זה רק אחרי שהוא אומן על טקסט אמיתי ואנושי.
כהשלמה בלבד.

קודם כל על זה דובר, ב' כל הטקסט האנושי הוא חלק ממש קטן מנתוני האימון. כמו שכתבתי אין מספיק כזה כיום.

[המלאך]

@א.מ.ד. כתב בסקר | מהו הצ'אט AI המועדף עליך?:

ל הטקסט האנושי הוא חלק ממש קטן מנתוני האימון. כמו שכתבתי אין מספיק כזה כיום.

מה שגורם להחמרה בהזיות.
לתוכן גנרי ולעוד כמה דברים שאני משער שלא צריך להגיד לך..

[א.מ.ד.]

@המלאך כתב בסקר | מהו הצ'אט AI המועדף עליך?:

מה שגורם להחמרה בהזיות.
לתוכן גנרי ולעוד כמה דברים שאני משער שלא צריך להגיד לך..

תרשה לי לחלוק עליך. זו המציאות כיום...

[המלאך]

@א.מ.ד. תכפיל פי שתים.
לא סתם 5.5 (GPT) אומן מחדש.
אין מה להוסיף. יש רק לשנות שיטת אימון.

[א.מ.ד.]

@המלאך כתב בסקר | מהו הצ'אט AI המועדף עליך?:

@א.מ.ד. תכפיל פי שתים.
לא סתם 5.5 (GPT) אומן מחדש.
אין מה להוסיף. יש רק לשנות שיטת אימון.

אני מנחש שפשוט על מערך נתונים סינטטי אחר...

[המלאך]

@א.מ.ד. כתב בסקר | מהו הצ'אט AI המועדף עליך?:

אני מנחש שפשוט על מערך נתונים סינטטי אחר...

אני די בטוח שלא.
ג'י פי טי 5.5 ניהיה יותר טוב.
בשביל כזה שינוי חייבים שינוי יותר גדול ממערך נתונים.

Spoiler

חוץ מזה תחשב כמה העלות של יצירת מערך נתונים חדש.
לא נראה לי שווה להם.

[א.מ.ד.]

@המלאך כתב בסקר | מהו הצ'אט AI המועדף עליך?:

אני די בטוח שלא.
ג'י פי טי 5.5 ניהיה יותר טוב.
בשביל כזה שינוי חייבים שינוי יותר גדול ממערך נתונים.

אבל פשוט אין!!! אין נתונים אנושיים בכמות מספקת!

@המלאך
@י.-פל.
זה עוד אחד מהדברים שהחליטו במערב בריבוע מוחלט, עד שהסינים הוכיחו שזה לא נכון וזינקו עוד קדימה.
זה נכון לגבי ההנחה שגודל = איכות, שאיכות דורשת השקעה של עשרות מיליארדים, ועוד דברים שנכונים כשלעצמם, אבל חייבים לפתוח את הראש בנוגע ליחסיות שלהם.

[א.מ.ד.]

@המלאך כתב בסקר | מהו הצ'אט AI המועדף עליך?:

חוץ מזה תחשב כמה העלות של יצירת מערך נתונים חדש.
לא נראה לי שווה להם.

מעניין... אין חולק שהחברות הסיניות שתו כמויות עצומות של נתונים כאלו מהמודלים המערביים...

[המלאך]

@א.מ.ד. נו באמת.
זה ברור שבאימון משתמשים במערך נתונים סינתטי. אבל זה ברור באותה מידה שלא בדרך שבה אתה מתאר את זה.
הם משלבים כמה דברים ביחד,
גם סינון של המודלים עצמם על הטקסט הסינתטי,
גם טקסט סינתטי מזוקק של תהליך חשיבה,
וכמובן שינוי בתפיסה. השינוי הוא יותר להראות להם וויזואליה ולא טקסט. במקום 1000 טקסטים שמסיבירים מה זה תפוח, 100 סרטונים שמראים, (לא באמת 1000 ו100 )
והכי חשוב: פידבק מהמשתמשים.

[DHOC979]

@המלאך קצת הצתה מאוחרת
אבל בחרתי גמיני מכיוון שנכון שקלוד הוא תותח וכו' וברור שאיתו אני כותב את הקודים אבל בתכלס כשאומרים תשאל את הAI הראשון שאני פותח זה ג'מיני
העברית שלו טובה, התשובות שלו לעניין, יש לו חוש הומור
וזו הייתה השאלה בסקר

@חובבן-מקצועי כתב בסקר | מהו הצ'אט AI המועדף עליך?:

מהו מודל ה-AI המועדף עליך (הסקר הוא בעבור צ'אט AI ולא למודל תמונות או סרטונים)

[צמצם]

@המלאך כתב בסקר | מהו הצ'אט AI המועדף עליך?:

הרוב המוחלט מעדיפים את ג'מיני.
זה די מוזר.
מאוד אשמח אם מי שכתב ג'מיני יכתוב למה, קידוד, עברית (נוחות ממשק), ידע כללי וכו'.

גם קידוד (מצויין ממש בעיקר כמובן בגירסת הפרו), וגם עברית.

[המלאך]

@צמצם כתב בסקר | מהו הצ'אט AI המועדף עליך?:

גם קידוד (מצויין ממש בעיקר כמובן בגירסת הפרו)

בזה אני חייב לחלוק עליך.
ניסיתי אותו. הוא ממש גרוע בקידוד.
עיין לעיל בהודעות שלי.

[י. פל.]

@א.מ.ד. כתב בסקר | מהו הצ'אט AI המועדף עליך?:

אבל פשוט אין!!! אין נתונים אנושיים בכמות מספקת!

@המלאך
@י.-פל.
זה עוד אחד מהדברים שהחליטו במערב בריבוע מוחלט, עד שהסינים הוכיחו שזה לא נכון וזינקו עוד קדימה.
זה נכון לגבי ההנחה שגודל = איכות, שאיכות דורשת השקעה של עשרות מיליארדים, ועוד דברים שנכונים כשלעצמם, אבל חייבים לפתוח את הראש בנוגע ליחסיות שלהם.

לפני הכל: אני לא מומחה ai.
אני לא באמת יודע... אני שומע המון תוכן, וקורא (אם כי לאחרונה אוצריא גונבת לי את כל זמן הקריאה...), וזה לכ מה שאני יודע.
אני לא יודע מהן מטריצות, וקטורים, קוונטיזציה וכולי.
לא תכננתי להגיב, אבל תייגת אותי, עניתי. אם דעתי חשובה לך (טעות שלך!) - תייג שוב.

1. אין צורך בנתונים: בשעתו, לאחר המעבר מgpt 3.5 ל4o, דיברו ע״ז שאין מספיק, והגענו לתקרת זכוכית, וכו׳. ואז הגיעו מודלי החשיבה, והוכיחו שהאימון אמור לעבוד בצורה שונה לגמרי וכו׳.
2. לגבי הסינים: חשבתי רבות: מה גורם לopenai להשקיע מעל (ולפעמים כפול מ)500m דולר למודל, אם הסינים עשו זאת במאית? שאלה נוספת: רגע הדיפסיק של העולם, אירע לפני מעל שנה. לפני תקופה קצרה אמר דריו אמודאי שהסינים במרחק של 9-12 חודשים. אבל גם אז הם היו כך. אז למה הם לא התקדמו ב14 החודשים שעברו???
   כי הם מבוססי מודלים מערביים .

ולמי שכתב שג׳מיני או אנטיגרביטי שווים משהו בקוד - אז לא. כלום לא. לדעתי, גוגל הענקית שכרה כמה הודים שיקלידו מהר מהר, לא משנה מה, העיקר שיראה טוב...
שלא לדבר על כך שלא הצלחתי לעבור איתו מעולם שיחה נורמלית, בלי לפחות 15 קריסות.

[המלאך]

@י.-פל. לגבי הסינים,
1 - OPEN AI היא פורצת דרך. כל המחקר זה בזבוז כסף שלא יחזור על עצמו. (לא שזה כל כך מתרץ).
2 -MoE. הסינים (ברוב) המודלים שלהם משתמשים בארכייקטורה הזו.
לגבי הפיגור:
1 - סנקציות של טראמפ על שבבים.
2 - הראיה הכי גדולה (לדעתי) להעתקה שלהם ממודלים מערביים זה שהם ממש לא יצירתיים.

[א.מ.ד.]

@י.-פל. כתב בסקר | מהו הצ'אט AI המועדף עליך?:

אין צורך בנתונים: בשעתו, לאחר המעבר מgpt 3.5 ל4o, דיברו ע״ז שאין מספיק, והגענו לתקרת זכוכית, וכו׳. ואז הגיעו מודלי החשיבה, והוכיחו שהאימון אמור לעבוד בצורה שונה לגמרי וכו׳.

קודם כל היה באמצע את GPT 4 אבל זה לא חשוב עכשיו.
בכל מקרה, באמת אז הגיעו לתקרת הזכוכית מבחינת נתונים אנושיים, וזה בדיוק מחזק את מה שכתבתי - שמאז השימוש בנתונים סינטטיים תופס חלק גדול מאוד מנתוני האימון.
עניין מודלי החשיבה פחות רלוונטי, כי מדובר בסך הכל בכוונון לצ'אט. עיקר העבודה היא באימון המקדים. הנתונים המשמשים לאימון לצ'אט הם בערך 1% בלבד מסך הנתונים. השיפור במודלים החדשים הוא בעיקר באימון המקדים ופחות בצורת החשיבה, למרות שגם זה קצת משפיע, כך שעדיין זקוקים לנתונים סינטטיים רבים.

@י.-פל. כתב בסקר | מהו הצ'אט AI המועדף עליך?:

לגבי הסינים: חשבתי רבות: מה גורם לopenai להשקיע מעל (ולפעמים כפול מ)500m דולר למודל, אם הסינים עשו זאת במאית?

הסינים מקבלים סיוע עצום מהממשלה הסינית, כוח העבודה זול בהרבה, והם גם מייעלים משמעותית את האימון. אין חולק על כך שהתרבות המערבית בזבזנית בהרבה בכל תחום. ע"ע סורה.

@י.-פל. כתב בסקר | מהו הצ'אט AI המועדף עליך?:

שאלה נוספת: רגע הדיפסיק של העולם, אירע לפני מעל שנה. לפני תקופה קצרה אמר דריו אמודאי שהסינים במרחק של 9-12 חודשים. אבל גם אז הם היו כך. אז למה הם לא התקדמו ב14 החודשים שעברו???

ברור שהם התקדמו. המודלים הסינים החדשים ביותר שווים לאופוס 4.6, כלומר פער של חודשים בודדים. אם כי סביר להניח שהם לא יכולים לעקוף כי הם מבוססים כמו שכתבת על המודלים המערביים (שוב - נתונים סינטטיים...).

@י.-פל. כתב בסקר | מהו הצ'אט AI המועדף עליך?:

שלא לדבר על כך שלא הצלחתי לעבור איתו מעולם שיחה נורמלית, בלי לפחות 15 קריסות.

מעניין... אולי באמת בקידוד סוכני הוא פחות טוב, אבל באופן כללי הוא מעולה בקוד. אני משתמש בו לליווי צמוד של הפרוייקט שלי של סמארטי לווינדוס במשך בערך 10 שיחות (אני מבקש ממנו ליצור תיק חפיפה לשיחה הבאה כשמתמלא ההקשר).

[א.מ.ד.]

@המלאך כתב בסקר | מהו הצ'אט AI המועדף עליך?:

2 -MoE. הסינים (ברוב) המודלים שלהם משתמשים בארכייקטורה הזו.

כל המודלים המערביים משתמשים ב-MoE.

@המלאך כתב בסקר | מהו הצ'אט AI המועדף עליך?:

2 - הראיה הכי גדולה (לדעתי) להעתקה שלהם ממודלים מערביים זה שהם ממש לא יצירתיים.

חד משמעית. לדוגמא QWEN 3.5 מעולה בקידוד, אבל זה דבר מאוד טכני ויבש, שקל מאוד לזקק ממודל גדול יותר. ביצירתיות הם גרועים.

[המלאך]

@א.מ.ד. כתב בסקר | מהו הצ'אט AI המועדף עליך?:

כל המודלים המערביים משתמשים ב-MoE.

כוונתי לסיבה שהם הפתיעו את המערביים בהתחלה. (הם אלו שהשתמשו בהתחלה בזה..).

[המלאך]

@א.מ.ד. כתב בסקר | מהו הצ'אט AI המועדף עליך?:

מעניין... אולי באמת בקידוד סוכני הוא פחות טוב, אבל באופן כללי הוא מעולה בקוד. אני משתמש בו לליווי צמוד של הפרוייקט שלי של סמארטי לווינדוס במשך בערך 10 שיחות (אני מבקש ממנו ליצור תיק חפיפה לשיחה הבאה כשמתמלא ההקשר).

לא בהכרח קשור.
הוא יכול להיות טוב.
זה כלי שנמצא בגירסת בטא.

[המלאך]

@א.מ.ד. כתב בסקר | מהו הצ'אט AI המועדף עליך?:

קודם כל היה באמצע את GPT 4 אבל זה לא חשוב עכשיו.
בכל מקרה, באמת אז הגיעו לתקרת הזכוכית מבחינת נתונים אנושיים, וזה בדיוק מחזק את מה שכתבתי - שמאז השימוש בנתונים סינטטיים תופס חלק גדול מאוד מנתוני האימון.
עניין מודלי החשיבה פחות רלוונטי, כי מדובר בסך הכל בכוונון לצ'אט. עיקר העבודה היא באימון המקדים. הנתונים המשמשים לאימון לצ'אט הם בערך 1% בלבד מסך הנתונים. השיפור במודלים החדשים הוא בעיקר באימון המקדים ופחות בצורת החשיבה, למרות שגם זה קצת משפיע, כך שעדיין זקוקים לנתונים סינטטיים רבים.

מודלי חשיבה שינו הרבה יותר מכיוונון בצאט.
הם שינו בScaling.
פרט לכך.
על אף שהPost-training קטנים. האיכות שלהם היא זו ש(לדעתי) מכפילה את החוכמה של המודל.
הוא כפשוטו נהפך מטיפש לחכם.
ממש לא נראה לי שזה רק יותר דאטה..

[א.מ.ד.]

@המלאך כתב בסקר | מהו הצ'אט AI המועדף עליך?:

כוונתי לסיבה שהם הפתיעו את המערביים בהתחלה. (הם אלו שהשתמשו בהתחלה בזה..).

לא נכון. הראשונים שהשתמשו בזה הם המערב - מודל מיקסטרל של חברת מיסטרל הצרפתית, ומיד זה הפך לסטנדרט בתעשיית ה-AI. החברות הסגורות לא מנדבות מידע טכני על המודלים שלהם, אבל אפילו גרוק 2 המיושן ששוחרר בקוד פתוח כבר היה MoE.

@המלאך כתב בסקר | מהו הצ'אט AI המועדף עליך?:

מודלי חשיבה שינו הרבה יותר מכיוונון בצאט.
הם שינו בScaling.
פרט לכך.
על אף שהPost-training קטנים. האיכות שלהם היא זו ש(לדעתי) מכפילה את החוכמה של המודל.
הוא כפשוטו נהפך מטיפש לחכם.
ממש לא נראה לי שזה רק יותר דאטה..

ברור שזה לא רק דאטה, אבל רוב השיפור נובע משיפור באימון המקדים, שמורכב מכמות גדולה של נתונים סינטטיים.
כיום חלק גדול מהאימון המקדים מתבצע כבר על זוגות של שאלות ותשובות בפורמט צ'אט עם חשיבה כמובן, שזה ודאי סינטטי.