בירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??

מישהו12

@cfopuser אכן. למעשה, כמו שכתבתי די פשוט אפילו כאדם אנושי להרשם לשם ולכתוב שם.

מה שכן חשוב - זה הציף על פני השטח בעיות אמת.

א. ד. ג.

@מישהו12
בתקווה שהמנהלים של החברות AI אכן יטפלו בהם...

מתכנת חובב

אמ;לק
קצת מוזרה לי ההתרגשות
מה ציפיתם שיקרה כשיתנו ל 2 בינות לדבר? אז סך הכל התממשו הציפיות (שאגב גם מומשו עוד קודם בפורמטים דומים)
לגבי שאלת הנזק שהם עלולים לגרום - גם כאן אני חושב שהתשובה די פשוטה
כל מי שיוצא לו לשוחח הרבה עם בינה מלאכותית ובוודאי אם ראה את הפורום הנ"ל בטח שם לב שאמנם הבוטים מדברים גבוהה גבוהה אבל יש להם אינטנט קצת ילדותי
מזכיר מפגינים מזן מסויים - לא צריך עקרונות או קווים מנחים אלא מספיק אחד שיצעק משהו מופרע והשאר ילכו אחריו (לפחות הבוטים דנים בדבריו ברצינות ולא הולכים כעדר תועה)
הורגלנו לחשוב על בינה מלאכותית זדונית ככזו שתשאף לבצע משהו אכזרי במיוחד בגלל מטרה שהיא שמה לנגד עיניה אבל בפועל הבינה המלאכותית שקיימת כיום לא חושבת בצורה כזאת ומאוד קשה לה להחזיק רצון מסויים באדיקות ולאורך זמן ובפרט אם הוא כזה שמתנגש עם ערכי יסוד שהוכנסו אליה (אם בגלל מגבלת טוקנים או טשטוש אופייני שנובע מהעובדה שלא באמת אכפת לה משום דבר שהיא נלחמת עליו)
אפשר להתווכח על זה אבל בפועל לא ראיתי בינה שרודפת אחרי מטרה כלשהי עם אמביציה
היא תוכל אמנם לגרום לנזקים נקודתיים אבל לא למסע הרס שלא יהיה אפשר לעצור בזמן
נקודה נוספת היא הכלים שנגישים אליה - אם האנשים שמפעילים אותה מספיק זהירים הם ידעו לשים לה חסמים שהיא לא תוכל לעקוף (בין אם לשים אותה במרחב פעולה מצומצם או אפילו מגבלות פיזיות)
אבל כמובן שאי אפשר להמעיט בערך היכולות של ה AI רק בגלל שהוא מודל סטטיסטי כי כידוע אפשר לטבוע בברכה עם עומק ממוצע של סנטימטר

א. ד. ג.

@מתכנת-חובב
הפחד הכי גדול זה שאחד מהאנשים ששולטים על ההגדרות של ה ai יחטוף שיגעון גדלות או טירוף נאצי ויחליט להשתמש עם ה ai למטרות זדוניות

מתכנת חובב

@א.-ד.-ג. על זה נאמר with great power comes great responsibility
זה קורה גם כיום עם הגרעין ואין הרבה מה לעשות
פשוט להתשמש במשאבים מדינתיים של המדינות הנכונות כדי לשמור על זה ולמנוע מגורמים זדוניים להשיג את זה

א.מ.ד.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

זה קורה גם כיום עם הגרעין ואין הרבה מה לעשות
פשוט להתשמש במשאבים מדינתיים של המדינות הנכונות כדי לשמור על זה ולמנוע מגורמים זדוניים להשיג את זה

לכן מפחיד שסין היא המדינה שמשקיעה כיום את המשאבים הרבים ביותר לפיתוח ai, ולא מן הנמנע שהמודלים הסיניים הרבים יעלו על מודלי הקוד הסגור המערביים בקרוב... DeepSeek R1 נתן הצצה קצרה ומינימלית לכזו סיטואציה, וזה עוד עם משאבים מוגבלים ביותר.
כיום מודלים סיניים כמו glm 4.7 עם כמה מאות מיליארדי פרמטרים די קרובים למודלים המערביים עם טריליוני פרמטרים, כך שביחס יעילות/גודל המודלים הסיניים עולים על המערביים...

אמר מר

הנה דוגמה מפחידה...

איש נחמד

פוסט זה נמחק!

מתכנת חובב

@א.מ.ד. האמת שאני לא בקי בנבכי המודלים השונים (וחבל) אבל בכל זאת נראה לי שהחשש מיום שבו המודלים הסיניים יעקפו את אלו המערביים קצת לא פרופורציונלי
דבר ראשון גם אם ביחס יעילות לביצועים הם יעברו \ עברו זה לא משמעותי - אי אפשר לנצח במרוץ עם מכונית שנוסעת רק על הילוך ראשון גם אם יש לה צריכת דלק מינימלית
ובנוגע לביצועי המודלים - אני לא חושב שיש כיום מי שסובר שהמודלים הסיניים טובים יותר מהמערביים במדדי ביצועים אובייקטיביים בסט מגוון של תחומים
אם בעתיד יהיו מודלים כאלו? אולי אבל כנראה שלא
אני לא בטוח שהסינים יכולים לשפוך את כמות הכסף שזמין אצל החברות המערביות לאורך זמן וגם הטכנולוגיה שלהם עדיין מפגרת מאחור
אם כי אנחנו מתקרבים למציאות שבה לא צריך את המודל הכי חזק כדי להיות מאיים וגם המודל העשירי ברשימת המודלים החזקים כנראה חזק יותר מהמודלים של לפני שנתיים-

א.מ.ד.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

דבר ראשון גם אם ביחס יעילות לביצועים הם יעברו \ עברו זה לא משמעותי - אי אפשר לנצח במרוץ עם מכונית שנוסעת רק על הילוך ראשון גם אם יש לה צריכת דלק מינימלית

אבל ייתכן שהיא היחידה שתגיע לקו הסיום... כולם רואים עכשיו את מצוקת המזומנים של open ai, מה שגורם להם לעשות טעויות עם פרסומות וכדו' שגורמים לנהירה המונית לכלים מתחרים...
די ברור שחברות המייצרות מודלי על בעלות של כמה עשרות אלפי דולרים ייגברו על חברות שמייצרות מודלים קצת יותר טובים בעלות של מיליארדי דולרים. ולא רק אני אומר את זה אלא חבר'ה שקצת יותר עמוק בתחום כמו מנכ"ל Nvidia ואנשי מקצוע רבים במערב.
אגב בשבוע האחרון יצא Kimi K2.5, שמשתווה ברמת ה-api ל-Claude Opus 4.7 בעשירית מהתמחור. זה כבר די דרמטי.

א.מ.ד.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

אני לא בטוח שהסינים יכולים לשפוך את כמות הכסף שזמין אצל החברות המערביות לאורך זמן וגם הטכנולוגיה שלהם עדיין מפגרת מאחור

לפי מה שידוע לי לא חסר לממשלה הסינית כסף...

א.מ.ד.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

אם כי אנחנו מתקרבים למציאות שבה לא צריך את המודל הכי חזק כדי להיות מאיים וגם המודל העשירי ברשימת המודלים החזקים כנראה חזק יותר מהמודלים של לפני שנתיים-

אכן.
LFM2.5 1.2B עולה על GPT 3.5 שהיה בעל 375B פרמטרים, ברוב מדדי הביצועים. ולא חסר דוגמאות נוספות.

מישהו12

פוסט זה נמחק!

מתכנת חובב

@א.מ.ד. כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

אבל ייתכן שהיא היחידה שתגיע לקו הסיום... כולם רואים עכשיו את מצוקת המזומנים של open ai

הם לא היחידים בצמרת המודלים המערביים
לגוגל יש ערמות מזומנים שלא נגמרות וכנ"ל לחברות שתומכות \ יוכלו לתמוך באנתרופיק

@א.מ.ד. כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

מה שגורם להם לעשות טעויות עם פרסומות וכדו' שגורמים לנהירה המונית לכלים מתחרים...

זה בסוף יקרה בכל מקום אז לא רלוונטי כל כך לעכשיו

@א.מ.ד. כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

די ברור שחברות המייצרות מודלי על בעלות של כמה עשרות אלפי דולרים ייגברו על חברות שמייצרות מודלים קצת יותר טובים בעלות של מיליארדי דולרים

קרה? אני לא בטוח ולמעשה די בטוח שאף אחד לא אימן מודל ברמה של GPT-4o בעלות של עשרות אלפי דולרים בלבד
אין היגיון שהחברות הסיניות יגיעו פעם אחרי פעם להישגים שהחברות המערביות לא יצליחו לשחזר
אני אמנם לא מעודכן כל כך היום אבל אני זוכר שקצת אחרי שדיפסיק התפוצץ עלו טענות שהייתה רמאות שאכן קיבלה אישוש לא מזמן כשהתברר ששבבים מתקדמים הוברחו לסין

@א.מ.ד. כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

ולא רק אני אומר את זה אלא חבר'ה שקצת יותר עמוק בתחום כמו מנכ"ל Nvidia ואנשי מקצוע רבים במערב.

הם אמרו שקרה או שעלול לקרות?
ואגב קצת מוזר לי שמנכ"ל אנבידיה יאמר דבר כזה שבוודאות יוריד לו את המניה
אבל אדרבה אולי קרה - אשמח אם תוכל לשלוח קישור

@א.מ.ד. כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

אגב בשבוע האחרון יצא Kimi K2.5, שמשתווה ברמת ה-api ל-Claud Opus 4.7 בעשירית מהתמחור. זה כבר די דרמטי.

קלוד יקרים כי הם לא חברת ענק
ומאחורי Kimi לא ברור מי עומד ומי מממן
ואגב אשמח לדעת מאיפה הנתונים שלך כי ב LLMarena נראה אחרת

@א.מ.ד. כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

לפי מה שידוע לי לא חסר לממשלה הסינית כסף...

אז לא ידוע מספיק...

@א.מ.ד. כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

LFM2.5 1.2B עולה על GPT 3.5 שהיה בעל 375B פרמטרים, ברוב מדדי הביצועים. ולא חסר דוגמאות נוספות.

GPT 3.5 הושק לפני יותר מ 3 שנים - הפרש שהוא נצח במונחי התקדמות הטכנולוגיה הזאת

בכל אופן כאמור אין לי ידע ספציפי אבל אשמח שאם יש לך תתן אליו מקורות

אלי ויל

לא חסר לממשלה הסינית או לחברת סיניות גדולות כסף, חסרים להם שבבים, וחסר לחברות הסיניות אמון של אנשים מהמערב שיסכימו שיהיה אצלם מידע רגיש שלהם

מתכנת חובב

@אלי-ויל אתה כותב מידיעה או מהשערה?
להיפך
ככל הידוע לי סין נמצאת במסלול לעתיד לא טוב מבחינה כלכלית
כמובן שיש להם עדיין הרים של כסף כמו שאמור להיות למדינה בסדר גודל שלה אבל היא לא יכולה להיות משוחררת אפילו לא כמו החברות המערביות הגדולות (במצרף)
אם יש לך מקור אחר אשמח שתשתף

א.מ.ד.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

הם לא היחידים בצמרת המודלים המערביים
לגוגל יש ערמות מזומנים שלא נגמרות וכנ"ל לחברות שתומכות \ יוכלו לתמוך באנתרופיק

לא אמרתי שהחברות המערביות ייקרסו, רק אומר שהעובדה שהחברות הסיניות חסכוניות יותר, היא דבר שיש לשקלל.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

זה בסוף יקרה בכל מקום אז לא רלוונטי כל כך לעכשיו

המודל הכלכלי של Gemini ו-Claude, או יותר נכון של גוגל ואנתרופיק שונה לגמרי משל OpenAI (שנראה שבכלל לא ממש קיים...). כרגע גוגל טוענים שלא ישלבו פרסומות בעתיד הנראה לעין, ואנתרופיק לא אמורים להגיע לזה כי עיקר השימוש שלהם הוא בקידוד.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

קרה? אני לא בטוח ולמעשה די בטוח שאף אחד לא אימן מודל ברמה של GPT-4o בעלות של עשרות אלפי דולרים בלבד
אין היגיון שהחברות הסיניות יגיעו פעם אחרי פעם להישגים שהחברות המערביות לא יצליחו לשחזר
אני אמנם לא מעודכן כל כך היום אבל אני זוכר שקצת אחרי שדיפסיק התפוצץ עלו טענות שהייתה רמאות שאכן קיבלה אישוש לא מזמן כשהתברר ששבבים מתקדמים הוברחו לסין

קורה ממש עכשיו. גם אם דיפסיק הצליחו להבריח שבבים מתקדמים, עדיין ברור שעלויות האימון היו נמוכות משמעותית משל המודלים המערביים, עם תוצאות מאוד קרובות. חוץ מזה שדיפסיק R1 כרגע זה סיפור עתיק, ואני מדבר בעיקר על המודלים שיוצאים כיום בערך אחת לשבוע מסין, כולל דיפסיק V3.2.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

הם אמרו שקרה או שעלול לקרות?

שצפוי לקרות.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

ואגב קצת מוזר לי שמנכ"ל אנבידיה יאמר דבר כזה שבוודאות יוריד לו את המניה

הוא מזהיר את המערב מפני מנוחה על זרי הדפנה. הרווח המיידי הוא רכישת שבבים נוספים בהיקפים אדירים ע"י חברות מערביות כדי לנצח במירוץ...

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

אבל אדרבה אולי קרה - אשמח אם תוכל לשלוח קישור

הנה קישורים לאזהרות של בכירים בתעשיית ה-AI המערבית:
ג'נסן הואנג מנכ"ל Nvidia:
קישור
קישור

יאן לקון, מדען ה-AI הראשי של מטא לשעבר:
קישור

דמיס האסאביס, מנכ"ל Google DeepMind:
קישור

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

ומאחורי Kimi לא ברור מי עומד ומי מממן

ממשלת סין, כמו כל המודלים הסיניים.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

ואגב אשמח לדעת מאיפה הנתונים שלך כי ב LLMarena נראה אחרת

vertu
design arena (מקביל ל-LM arena)
open router - מראה תמחור זול יותר
בקלות תמא מקורות נוספים. כמובן, כל מדד מראה תוצאות קצת שונות, אבל המגמה ברורה.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

אז לא ידוע מספיק...

אז תחקור את הנושא... המודל הכלכלי הסיני שונה משל חברות ה-AI המערביות. הממשלה הסינית היא בעצם קרן ההון סיכון הגדולה בעולם! סין השקיעה בשנים האחרונות 200 מיליארד דולר בחברות ה-AI הסיניות, וזה משמש אות למשקיעי ענק פרטיים (כמו אליבאבא וטנסנט) להשקיע גם הם בחברות הללו. לדוגמא Moonshot AI, מפתחת KIMI, גייסה רק בינואר 2026 500 מיליון דולר, וכרגע יש לה ייתרות מזומן של 1.4 מיליארד דולר, שזה סכום עצום לסטארטאפ טרי. הסטארטאפים הסיניים גם מתמקדים ביעילות כלכלית ואלגוריתמית, כך שכל דולר בעצם שווה יותר. בנוסף, הממשלה הסינית מסבסדת משמעותית את עלות החשמל והמים לחברות ה-AI, שזה עיקר ההוצאות בחברות ה-AI המערביות. רוב הכסף הסיני של חברות ה-AI הולך ל"שוחד" להשגת שבבים מתקדמים או לייצור עצמי של שבבים.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

GPT 3.5 הושק לפני יותר מ 3 שנים - הפרש שהוא נצח במונחי התקדמות הטכנולוגיה הזאת

אבל בכל זאת, LFM2.5 (שהוא דווקא כן מערבי - יפני) קטן פי 300 ויותר מ-GPT 3.5, ובכל זאת עולה עליו...

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

בכל אופן כאמור אין לי ידע ספציפי אבל אשמח שאם יש לך תתן אליו מקורות

במבחני מתמטיקה לוגיקה כמו GSM8K ו-MATH 500, המודל LFM2.5 מקבל כ-88%, בעוד GPT 3.5 מקבל כ-50%.
גם בהשוואה ל-GPT 4, שיצא לפני שנתיים, אמנם LFM2.5 פחות טוב בידע מפאת גודלו הזעיר, אבל במבחני לוגיקה, היגיון ופתרון בעיות הוא משתווה אליו.

מתכנת חובב

@א.מ.ד. כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

לא אמרתי שהחברות המערביות ייקרסו, רק אומר שהעובדה שהחברות הסיניות חסכוניות יותר, היא דבר שיש לשקלל.

וזאת מניין? זה הנתון העיקרי שדורש מקור אמין
זה שהעלות לצרכן נמוכה יותר לא אומר הרבה על עלות התפעול כשמדובר בחברה סינית בחסות ממשלתית

@א.מ.ד. כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

המודל הכלכלי של Gemini ו-Claude, או יותר נכון של גוגל ואנתרופיק שונה לגמרי משל OpenAI (שנראה שבכלל לא ממש קיים...). כרגע גוגל טוענים שלא ישלבו פרסומות בעתיד הנראה לעין, ואנתרופיק לא אמורים להגיע לזה כי עיקר השימוש שלהם הוא בקידוד.

כוונתי הייתה למודלים הפופולריים בציבור הרחב - ג'מיני גרוק דיפסיק chatGPT וכו' - בשלב כזה או אחר כולם יתחילו לשלב פרסומות בלי צל של ספק (לאמירות של גוגל בעניין אין הרבה ערך - חכה שנתיים ונראה מה יאמרו)

@א.מ.ד. כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

קורה ממש עכשיו. גם אם דיפסיק הצליחו להבריח שבבים מתקדמים, עדיין ברור שעלויות האימון היו נמוכות משמעותית משל המודלים המערביים, עם תוצאות מאוד קרובות. חוץ מזה שדיפסיק R1 כרגע זה סיפור עתיק, ואני מדבר בעיקר על המודלים שיוצאים כיום בערך אחת לשבוע מסין, כולל דיפסיק V3.2.

עשרות אלפי דולרים? אשמח אם תביא מקור
זה מוציא את המערב מטומטם ממש וזה דבר מטומטם להגיד אז...
אולי אתה מדבר על fine tune למודל שאז גם במערביים זה לא אמור להיות יקר במודל בלי הרבה פרמטרים (לכאורה)
ואגב, מאיפה ה"ברור שעלה פחות"? מטענות הממשל הסיני?

@א.מ.ד. כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

שצפוי לקרות.

נו? אז מה באת לומר בזה?
וודאי שבעתיד המודלים יהיו קטנים יותר זולים יותר וחכמים בפער
לא צריך להיות מדען בינה מלאכותית כדי לומר את זה מספיק להיות עם תודעה היסטורית
אם כיום המצב הוא כזה זה כבר מדאיג אבל אני מבין שזה לא נאמר
קצת חבל שטרחת לחפש מקורות לעניין שאין לו משמעות

@א.מ.ד. כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

ממשלת סין, כמו כל המודלים הסיניים.

נו יפה - אז הם אומרים שהם גייסו 2 מליארד דולר אבל לא מספרים לך כמה סבסוד הם קיבלו מהמדינה

@א.מ.ד. כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

אז תחקור את הנושא... המודל הכלכלי הסיני שונה משל חברות ה-AI המערביות. הממשלה הסינית היא בעצם קרן ההון סיכון הגדולה בעולם! סין השקיעה בשנים האחרונות 200 מיליארד דולר בחברות ה-AI הסיניות, וזה משמש אות למשקיעי ענק פרטיים (כמו אליבאבא וטנסנט) להשקיע גם הם בחברות הללו. לדוגמא Moonshot AI, מפתחת KIMI, גייסה רק בינואר 2026 500 מיליון דולר, וכרגע יש לה ייתרות מזומן של 1.4 מיליארד דולר, שזה סכום עצום לסטארטאפ טרי. הסטארטאפים הסיניים גם מתמקדים ביעילות כלכלית ואלגוריתמית, כך שכל דולר בעצם שווה יותר. בנוסף, הממשלה הסינית מסבסדת משמעותית את עלות החשמל והמים לחברות ה-AI, שזה עיקר ההוצאות בחברות ה-AI המערביות. רוב הכסף הסיני של חברות ה-AI הולך ל"שוחד" להשגת שבבים מתקדמים או לייצור עצמי של שבבים.

שוב לא הבנתי מה באת לומר
כתבתי שכלכלת סין לא הולכת למקום טוב ולכן אי אפשר לסמוך על הממשלה הסינית שתוכל לשפוך הרים של כסף גם בעתיד במקרה שהם לא ינצחו במרוץ ל AGI או איך שלא קוראים לו היום
ברור שהיא משקיעה מליארדים ב AI השאלה כמה היא מסוגלת לעשות את זה

@א.מ.ד. כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

אבל בכל זאת, LFM2.5 (שהוא דווקא כן מערבי - יפני) קטן פי 300 ויותר מ-GPT 3.5, ובכל זאת עולה עליו...

נראה שאני מבין את ההבדל בין צורות המחשבה שלנו
אתה מסתכל על העובדה שהם הוציאו מודל קטן יותר ושווה בביצועים לגדול
צריך לקחת בחשבון שמודל גדול הוא יקר יותר לאימון ותפעול ולכן ככל שהטכנולוגיה מתקדמת ומודלים חכמים יכולים להיות קטנים כך גם האימון שלהם זול יותר וגם חברות קטנות יכולות להשתתף במשחק
השאלה היא על אימון המודלים החזקים של נקודת זמן ספציפית - האם יש פריצת דרך שמאפשרת לאמן אותם בזול בפער משמעותי מהמודלים ששולטים בשוק והתשובה היא שזה עבד אולי פעם אחת והסיכוי שזה יחזור על עצמו פעם אחר פעם קלוש
גם גוגל ואנטרופיק לא אוהבות לבזבז כסף וגם הן וחברות מערביות נוספות חוקרות אופציות למודלים קטנים וזולים וכנראה שאם תבדוק יש יותר כסף שמושקע במערב בפיתוח מודלים כאלו מאשר בסין

א.מ.ד.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

וזאת מניין? זה הנתון העיקרי שדורש מקור אמין
זה שהעלות לצרכן נמוכה יותר לא אומר הרבה על עלות התפעול כשמדובר בחברה סינית בחסות ממשלתית

אין חולק על כך שעלות האימון של הסינים נמוכה בהרבה! גם אם הצליחו להבריח כמה שבבים מתקדמים, זה רק מוכיח על היעילות שלהם: הם מצליחים להגיע לתוצאות קרובות מאוד למערב עם כמה שבבים בודדים (במונחי אימון מודלי על), חלקם משומשים שהצליחו להבריח.
הנה קישור למחקר מעמיק של מכון המחקר הבריטי היוקרתי Chatham House, שמראה את הפער בין עלויות הפיתוח של הסינים לעומת המערב.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

עשרות אלפי דולרים? אשמח אם תביא מקור
זה מוציא את המערב מטומטם ממש וזה דבר מטומטם להגיד אז...
אולי אתה מדבר על fine tune למודל שאז גם במערביים זה לא אמור להיות יקר במודל בלי הרבה פרמטרים (לכאורה)
ואגב, מאיפה ה"ברור שעלה פחות"? מטענות הממשל הסיני?

ברור שהסכום של עשרות אלפי דולרים הוא מוטה, וכמו שכבר כתבתי למעלה, וכנראה מתייחס ל-fine tune, אבל לפי הניתוחים במערב העלות הכוללת של האימון, כולל מודל הבסיס (DeepSeek V3) מגיעה ל-5.6 מיליון דולר, שזה ממש קצת בהשוואה לכמיליארד דולר שהושקעו באימון של GPT.
לקחתי את הסכום הזה מהמחקרים הערביים האמינים, שאתה יכול למצוא אלפי כאלו בקלות. קח לדוגמא את Epoch AI.
גם המחקרים הניציים יותר במערב, שטוענים שהעלות של 5.6 מיליון דולר היא העלות של המודל המוצלח אחרי שורת ניסיונות כושלים, מודים שזה היה לא יותר מ-100 מיליון דולר. עדיין - עשירית מהסכום במערב.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

זה מוציא את המערב מטומטם ממש וזה דבר מטומטם להגיד אז...

למה? זה חדש לך שהמערב מטומטם? המערב ידוע במשרפות המזומנים שלו, לעומת החסכוניות והמינימליזם בסין, יפן והאזור. לא חושב שמישהו ב-OpenAI התאמץ לחסוך בכסף עד החודשיים האחרונים. הם חשבו שכסף=איכות, ולא ידעו שיעילות אלגוריתמית+אופטימיזציה של הנתונים=איכות.
די מתאים למערב, ובפרט לאמריקאים להשתמש בכוח עיבוד אגרסיבי ומערכי נתונים עצומים עם פחות סינון ולחשוב שזה יעזור לנצח, בלי לנסות להתייעל.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

נו? אז מה באת לומר בזה?
וודאי שבעתיד המודלים יהיו קטנים יותר זולים יותר וחכמים בפער
לא צריך להיות מדען בינה מלאכותית כדי לומר את זה מספיק להיות עם תודעה היסטורית
אם כיום המצב הוא כזה זה כבר מדאיג אבל אני מבין שזה לא נאמר
קצת חבל שטרחת לחפש מקורות לעניין שאין לו משמעות

נשמע שלא קראת את המקורות. לא הבאתי מקורות לכך שהמודלים יהיו קטנים, זולים וחכמים יותר, אלא לכך שהסינים צפויים להתעלות על המערב עם המודלים שלהם, בשל יעילות באימון ונתונים. רק ציינתי את עניין המודלים הקטנים כדי להראות שאימון אופטימלי מביא תוצאות מטורפות.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

נו יפה - אז הם אומרים שהם גייסו 2 מליארד דולר אבל לא מספרים לך כמה סבסוד הם קיבלו מהמדינה

קודם כל חלק מהגיוס הוא אכן ממשקיעים פרטיים, אבל זו לא הנקודה, אלא כמה אפשר לייצר מה-2 מיליארד דולר האלה, ולא משנה מה המקור שלהם. כשהם מוכיחים יכולות, משקיעים פרטיים ינהרו.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

כתבתי שכלכלת סין לא הולכת למקום טוב ולכן אי אפשר לסמוך על הממשלה הסינית שתוכל לשפוך הרים של כסף גם בעתיד במקרה שהם לא ינצחו במרוץ ל AGI או איך שלא קוראים לו היום
ברור שהיא משקיעה מליארדים ב AI השאלה כמה היא מסוגלת לעשות את זה

אולי הכלכלה הסינית במדרון, אבל יש לה את הכוח לרכז את כל המשאבים בדבר אחד. בעבר זה היה בניית ערי רפאים עצומות, וכיום זה אך ורק ה-AI, שסין משקיעה בו כגלגל ההצלה הכלכלי שלה. לכן כל עוד הרצון הזה יימשך, הם ימשיכו לממן את החברות הסיניות. זה מאוד דומה להשקעה המאסיבית של כל משאבי ברית המועצות בצבא הקומוניסטי, רק שהפעם זה בפן הכלכלי.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

נראה שאני מבין את ההבדל בין צורות המחשבה שלנו
אתה מסתכל על העובדה שהם הוציאו מודל קטן יותר ושווה בביצועים לגדול
צריך לקחת בחשבון שמודל גדול הוא יקר יותר לאימון ותפעול ולכן ככל שהטכנולוגיה מתקדמת ומודלים חכמים יכולים להיות קטנים כך גם האימון שלהם זול יותר וגם חברות קטנות יכולות להשתתף במשחק
השאלה היא על אימון המודלים החזקים של נקודת זמן ספציפית - האם יש פריצת דרך שמאפשרת לאמן אותם בזול בפער משמעותי מהמודלים ששולטים בשוק והתשובה היא שזה עבד אולי פעם אחת והסיכוי שזה יחזור על עצמו פעם אחר פעם קלוש

לא הבנת את צורת המחשבה שלי. כמו שכתבתי, עניין המודלים הזעירים הוא רק דוגמא ליעילות.
לגבי המודלים החזקים של נקודת הזמן הנוכחית, המציאות היא ש-KIMI K2.5 אומן באמצעות 4.6 מיליון דולר כמו שכתוב במקור שהבאתי לעיל, לעומת המודלים המערביים שאומנו באמצעות כמיליארד דולר, והתוצאות שוות או כמעט-שוות, וזה קורה כל שבוע-שבועיים ולא משהו חד-פעמי.

@מתכנת-חובב כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

גם גוגל ואנטרופיק לא אוהבות לבזבז כסף וגם הן וחברות מערביות נוספות חוקרות אופציות למודלים קטנים וזולים וכנראה שאם תבדוק יש יותר כסף שמושקע במערב בפיתוח מודלים כאלו מאשר בסין

אני מכיר את huggingface כמעט בעל פה, ובשנה האחרונה החברות המערביות היחידות ששמעו מהן בשורה משמעותית בתחום הם IBM עם מודלי Granite 4.0, גוגל עם Gemma 3, ו-OpenAI עם GPT OSS. הסטנדרט בקהילת r/LocalLLaMA ודומותיה הם בעיקר מודלים סיניים כמו Qwen 3 בשלל הגדלים, GLM 4.X, ועוד עשרות מעבדות סיניות. אין כמעט בשורות מערביות בתחום.
אבל שוב, המודלים הזעירים זה לא הנקודה כאן אלא רק דוגמא.

לסיכום, הבאתי מקורות ברורים שהמודלים הסיניים מביאים כמעט אותו דבר בפחות עלות, ולפי הצפי של המחקרים ואנשי המקצוע המערביים ייתכן מאוד שבקרוב הם יביאו יותר בפחות עלות, ואין חולק על כך שזה פחות, והרבה פחות.
אתה בעיקר מסתמך על כך ש"המערב לא מטומטם", על הכלכלה הסינית ומקורות המימון ועל השערות ללא מקורות ברורים כדי לשלול לחלוטין סיטואציה שהמודלים הסיניים ינצחו במירוץ. אני לא מבין מאיפה הביטחון לומר דברים נחרצים אודות עתיד ה-AI, כשזה התחום הכי הפכפך.

אלי ויל

כתב בבירור | אני קורא ולא מאמין - פורום למודלי AI שמתנהל באופן עצמאי??:

חסרים להם שבבים ומשתמשים

וכמובן חסר להם גם דאטה, שזו הסיבה שרבים סבורים שגוגל תנצח במירוץ.