סקר | מהו הצ'אט AI המועדף עליך?

[מתכנת חובב]

@המלאך הקישור הראשון למיטב הבנתי לא מדבר על זה (אם כי קראתי רק את התקציר)
השני נראה מעניין - אני קורא אותו עכשיו
תודה

[יעקב ישראל]

@המלאך האם השתמשת בAntigravity ?

[המלאך]

@יעקב-ישראל האמת? אתמול ממש הורדתי אותו.
אבל נתקעתי בהתחברות לחשבון גוגל.
חיפשתי וראיתי שהרבה מתלוננים על זה.
וגוגל עצמה אמרה שהיא מתכננת להוציא עדכון שיטפל.
בינתיים אני מחכה.

[יעקב ישראל]

@המלאך אני נתקלתי ביכולות מפתיעות ממש אצלי עובד חלק
אבל הוא אוכל קרדיטים לא קטן

[המלאך]

@יעקב-ישראל הקרדיטים אמרו לי שאם יש פרו זה בסדר.
איך טיפלת בהתחברות? היה לך חלק?

[יעקב ישראל]

@המלאך אני הייתי צריך לשדרג לאולטרא
כן חלק לגמרי

[מתכנת חובב]

@המלאך הבנתי מה פספסתי
באמת יצירת טקסטים על ידי בינה מלאכותית והזנה שלהם כקלט אימון הוא לא יעיל
המחקרים שהבאת מדברים על למידה לצד מודל קיים שבו למודל הלומד יש גישה לכל שכבת הפלט של המודל בתהליך קריאת טקסט משותף
לא היה לי זמן לעבור על הכל אז סיכמתי את זה עם ג'מיני

[א.מ.ד.]

@מתכנת-חובב כתב בסקר | מהו הצ'אט AI המועדף עליך?:

לא יודע על מה אתה מסתמך
אני הסתמכתי על המקורות האלו

מחקר של HF
דו"ח של מיקרוסופט על Phi-4
אחד המאמרים המרכזיים בתחום
מאמר נוסף
שני האחרונים נכתבו בעיקר על ידי חוקרים ממטא
הם מורכבים ממש אבל מספיק לקרוא רק את ה abstract שלהם כדי להבין

טוב, אז שני המאמרים הראשונים דווקא טוענים בתקיפות שנתונים סינטטיים הם יעילים מאוד, והם הגורמים לקפיצה המשמעותית ביכולת המודלים בשנים האחרונות, ושהם באים לידי שימוש גם באימון המקדים וגם באימון באמצע. חסכת לי את הצורך לאתר מאמרים ספציפיים שמצדדים במה שטענתי. תודה.
שני המאמרים האחרונים טוענים שזה עשוי בסיטואציות מסוימות להביא לקריסת המודל, תלוי בסוג הנתונים, אבל שניהם נכתבו על ידי חוקרים ממטא, אז אולי מצאת את הסיבה לאי-ההצלחה של מטא בתחום ה-AI בשנתיים האחרונות.
את דעתי כתבתי אחרי שנים שאני מתעסק בתחום וקורא הרבה על אימון והרצת מודלים, וגם התנסיתי ואני מתנסה בזה בעצמי.
והמציאות שאני רואה, שהולכת ומתבססת ככל שעובר הזמן, היא שנתונים סינטטיים הם ליבת ההצלחה של חברות ה-AI בשנים האחרונות, ועיקר התקדמות הטכנולוגיה בתחום היא בטכניקות זיקוק וייצור נתונים סינטטיים מתקדמות יותר ויותר. זאת מציאות, וכמה מאמרים שתביא לי לא ישנו את דעתי, כי זו המציאות שאני חי אותה כבר כמה שנים.

Spoiler

יש גם מאמרים אקדמיים מוערכים שלא היתה נחיתה על הירח...

אם אתה מתעניין ספציפית איך זה משפר את המודלים החדשים, וכמו שהקשה @המלאך אאל"ט למעלה שלכאורה מודל שמבוסס על מודל ישן יותר לא יכול להיות טוב ממנו, אז ככה:

• המודל הישן מייצר לדוגמא 2 מתוך 10 תשובות שנחשבות תשובות מלאות ומדוייקות. אם מאמנים את המודל החדש רק על 2 התשובות האלו ולא על כל ה-10, המודל החדש יהיה חכם יותר.
• המודל הישן לוקח את מערכי הנתונים המבולגנים שאומן עליהם, לדוגמא מאגרי קוד בגיטהאב של תוכנת מחשבון, וכותב מהם מדריך מסודר ליצירת תוכנת מחשבון. המודל החדש שמאומן רק על המדריך הזה במקום על הקודים המבולגנים, יהיה חכם ויעיל בהרבה מהישן.
• הנתונים באינטרנט בדרך כלל לא מסודרים בצורה ברורה כך שהקורא האנושי ידע לפתור את הבעיה צעד אחר צעד, אלא פתרונות חלקיים, סלנגיים, סקירות וכדומה. כשהמודל הישן יוצר סימולציית חשיבה צעד אחר צעד על בסיס המידע החלקי שאומן עליו, והמודל החדש מאומן על סימולציית החשיבה הזו בלבד, הוא יהיה יותר חכם.
• כיום המודלים מאומנים גם בלמידת חיזוק, שבה המודל מדרג את הפלטים שהוא יצר, ומתקן את עצמו. ככה המודלים מאומנים באמצעות נתונים סינטטיים שהם עצמם יצרו.

[מתכנת חובב]

@א.מ.ד. אולי פספסתי משהו?
המאמר של HF טוען שהוא בדק נתונים שעברו ניסוח מחדש ולא נתונים סינטטיים לגמרי
הנה לינק למקטע הספציפי
לגבי Phi-4 די ברור מהדיווח שהם האכילו אותו בכפית ולא ייצרו ערימת טקסט לאימון
אשמח אם תסביר לי מה לא הבנתי נכון ואם הבנתי נכון אז מה בעצם ענית - את כל זה כבר כתבתי קודם
ואגב אני לא חושב שחכם לזלזל במחקרים עם מעל 80 ציטוטים של חוקרים מוכרים מהתחום

[א.מ.ד.]

@מתכנת-חובב כתב בסקר | מהו הצ'אט AI המועדף עליך?:

@א.מ.ד. אולי פספסתי משהו?
המאמר של HF טוען שהוא בדק נתונים שעברו ניסוח מחדש ולא נתונים סינטטיים לגמרי
הנה לינק למקטע הספציפי
לגבי Phi-4 די ברור מהדיווח שהם האכילו אותו בכפית ולא ייצרו ערימת טקסט לאימון
אשמח אם תסביר לי מה לא הבנתי נכון ואם הבנתי נכון אז מה בעצם ענית - את כל זה כבר כתבתי קודם

הבנת נכון, אבל אומנם תייגתי אותך כי עניתי לך באופן ישיר (עכשיו חזרתי אחורה לפוסט הראשון שכתבת וראיתי שמה שאתה טוען לא כל כך רחוק ממה שאני אומר), אבל התכוונתי לכל מי שטען שכמעט ולא משתמשים בנתונים סינטטיים לאימון מודלים ושהם פוגעים במודל. המאמרים האלו מראים ההיפך, וגם המציאות ככה.

@מתכנת-חובב כתב בסקר | מהו הצ'אט AI המועדף עליך?:

ואגב אני לא חושב שחכם לזלזל במחקרים עם מעל 80 ציטוטים של חוקרים מוכרים מהתחום

אחד מהמאמרים בן יותר משנה וחצי. שניהם נכתבו ע"י חוקרים שסביר להניח שפוטרו יחד עם כל צמרת ה-AI של מטא בשל חוסר יכולת להתקדם מעבר ל-LLAMA 3.3. רוב המחקרים העדכניים בתחום, יחד עם המציאות כנ"ל היא הפוכה. לכן אני מרשה לעצמי לפקפק בהם.
אגב במאמר המוסגר, נתקלתי בימים האחרונים במודל של 124M פרמטרים בלבד, שזוקק באופן מוקפד מקלוד אופוס 4.6, והפלטים שלו לא היו מביישים את GPT 3.5 מלפני 3 שנים, או מודלי 8B מלפני שנתיים. סתם להמחיש את היכולות המרשימות של זיקוק מודלים על מלא.
גם מודלי הדיפסיק המזוקקים זוקקו מאפס מהמודל הגדול, והם עלו בזמנו על כל המודלים בטווחי הגודל שלהם.

[מתכנת חובב]

@א.מ.ד. כתב בסקר | מהו הצ'אט AI המועדף עליך?:

אחד מהמאמרים בן יותר משנה וחצי. שניהם נכתבו ע"י חוקרים שסביר להניח שפוטרו יחד עם כל צמרת ה-AI של מטא בשל חוסר יכולת להתקדם מעבר ל-LLAMA 3.3. רוב המחקרים העדכניים בתחום, יחד עם המציאות כנ"ל היא הפוכה. לכן אני מרשה לעצמי לפקפק בהם.

אחד מהמאמרים בן השנה וחצי הוא זה של phi4 שדווקא כן נותן רוח גבית למה שטענת...
בכל אופן שאר המאמרים לא כל כך ישנים, הם מצוטטים מספיק כדי להתחשב בהם חלק מהחוקרים בהם לא ממטא אלא הם נכתבו בשת"פ עם אוניברסיטאות וחלק מהם עדיין עובדים שם
חבל להשמיץ רק אם זה לא מסתדר לך
ואדרבה אשמח לשמוע את מה אתה קורא - רק עכשיו התחלתי להתעניין בתחום ה AI ואני מחפש מקומות להתעדכן

[א.מ.ד.]

@מתכנת-חובב כתב בסקר | מהו הצ'אט AI המועדף עליך?:

אחד מהמאמרים בן השנה וחצי הוא זה של phi4 שדווקא כן נותן רוח גבית למה שטענת...
בכל אופן שאר המאמרים לא כל כך ישנים, הם מצוטטים מספיק כדי להתחשב בהם חלק מהחוקרים בהם לא ממטא אלא הם נכתבו בשת"פ עם אוניברסיטאות וחלק מהם עדיין עובדים שם
חבל להשמיץ רק אם זה לא מסתדר לך

בסדר, אני ישתדל

@מתכנת-חובב כתב בסקר | מהו הצ'אט AI המועדף עליך?:

ואדרבה אשמח לשמוע את מה אתה קורא - רק עכשיו התחלתי להתעניין בתחום ה AI ואני מחפש מקומות להתעדכן

לא משהו ספציפי. פשוט אני עוקב באדיקות אחרי התחום וכל מודל או טכנולוגיה חדשים שמתפרסמים אני קורא ומתנסה.

[אני רוצה משיח]

אני בחרתי בגרוק כי לפי הניסיון שלי הוא היה הכי "יצירתי". כלומר, קרה לי כמה פעמים שהמודלים האחרים (GPT, קלוד וגמיני) נתקעו בלופים ולא הצליחו לעזור בפתרון בעיה (קוד) והוא היחיד שהצליח, וכן בנושאים שונים הוא הוציא תשובות פחות בנאליות.
למרות זאת, בוודאי שקלוד הכי טוב לקוד, וגמיני יעיל למי שצריך להעלות הרבה קבצים עם חשבון חינמי.

[sivan22]

@י.-פל. בחרתי אחר כי המועדף עלי הוא ai.studio שהוא ג'מיני.

היתרונות: עובד נורמלי בנטפרי. אפשר להשתמש בו גם עם API ללא מנוי. מחובר לחיפוש גוגל.

[דגש 2]

דבר אחד ברור יוכיח שרוב מוחץ בחרו גימיני
ברור שיהיו שיטענו שרוב לא מבינים וכו
אבל קצת פיספסנו הAI נועד לעוד הרבה מאוד דברים חוץ מתכנות וכדו'

[צול גאה]

@חובבן-מקצועי
הסקר כבר הגיע לחתול השחור
תחת הכותרת החרדים אוהבים את ג'מיני
הנה

[מתכנת חובב]

אני חושב שסקר מועיל יותר היה שואל למי אתם משלמים מנוי.. שהרי אם באנו לבדוק לאיזו חברה יש מודלים או פלטפורמה טובים יותר זה לא יכול להיקבע על סמך דעה של משתמשים חינמיים, ואם לבדוק מי הכי משתלם הרי שמשתלם נמדד לפי כמה שמוכנים לשלם עליו

אמנם נכון שיש צורות נוספות לשאלה הזאת כמו מי בפועל עונה הכי טוב על מגוון שאלות וכו' אבל בדיוק בשביל זה יש פלטפורמות כמו llm arena, אלא שהשאלה שצריכה להישאל היא מי בפועל אנשים מעדיפים לעבוד איתו ולשלם עליו וזה לדעתי ללא ספק ג'מיני, שההטמעה שלו באקוסיסטם של גוגל מקיפה מאוד וזה מעבר לשלל ההטבות שמקבלים איתו כמו שיתוף המנוי ונפח אחסון גדול..

אבל כמובן שכדיון פתוח ליתרונות ספציפיים יש מקום רב לדעות שנכתבו כאן..

[שניאור שמח]

Spoiler

@מתכנת-חובב לא מתאים לך לרשום פוסט ארוך ולא לפסק אותו…

[י. פל.]

@מתכנת-חובב
הטיעון שלך נכון מאוד: אני חותם על כך ש80% מאלו שבחרו בג׳מיני - אין להם מנוי לשום דבר...

[צול גאה]

@י.-פל.
דווקא אני עם מנוי

Spoiler

אבל אני לא משלם
כלומר בקבוצה משפחתית של מישהו שיש לו מנוי ולכן גם זה לא בחירה שלי זה שזה גמיני זה הוא קנה וגם זה לא בשביל ה GOOGLE AI PLUS אלא בשביל הנפח דרייב
לסיכום המנוי שלי מוכיח שאתה צודק