בקשת מידע | DeepSeek המודל הסיני

[2580]

@אלי-ויל כתבה על המודל הנ"ל

כבר מנצחת את גוגל ו-OpenAI: חברת AI קטנה הציגה מודל מתקדם בקוד פתוח ועולם הטכנולוגיה מאבד את זה

ל-DeepSeek הסינית יש מודלים בקוד פתוח שמתחרים במודלים הגדולים ביותר של OpenAI, למרות שפותחו בתקציב זעום

אז מה היה לנו כאן? OpenAI גייסה 21.9 מיליארד דולר מאז הקמתה; xAI של אילון מאסק גייסה 12 מיליארד דולר ו- Anthropic גייסה 9.7 מיליארד מאז הקמתה, וזה רק על קצה המזלג. עוד לא הזכרנו את עשרות המיליארדים ששופכות ענקיות הטכנולוגיה כמו גוגל ומיקרוסופט על פיתוח ה-AI שלהן. אז איך יכול להיות שחברה קטנה, שפועלת עם מימון בגודל תקציב החטיפים של OpenAI, מצליחה לפתח בתוך זמן קצר מודל AI חדש בקוד פתוח, שגורם להתרגשות גדולה בעמק הסיליקון.

המודלים שמשגעים את כולם

תכירו את DeepSeek, סטארטאפ AI סיני שמשחרר מודלים בקצב מהיר – ובקוד פתוח – ומתכנן להתחרות בשחקניות האמריקאיות הגדולות ביותר גם בביצועים וגם בעלויות של השימוש במודלים שלו. הסטארטאפ התפרסם בחודש שעבר אחרי ששחרר את DeepSeek-V3, המודל החדש שלו בקוד פתוח שמגיע גם בתצורת צ'אטבוט כדי להתחרות ראש בראש עם ChatGPT, קלוד, ג'מיני ואחרים.

המודל פותח בארכיטקטורת Mixture-of-Experts, הכוללת מספר רשתות המתמחות בפתרון בעיות מסוימות שכל אחת מהן מופעלת בהתאם לפרומפט שמקבל המודל. המודל כולל 671 מיליארד פרמטרים, 37 מיליארד מתוכם מופעלים פר טוקן שתשלחו בפרומפט שלכם. המודל אומן על כ-15 טריליון טוקנים של טקסט והוא מתמחה במטלות מתמטיות וכתיבת קוד. לראייה, אחוז ההצלחה שלו בבנצ'מרק כתיבת ופתרון בעיות קוד (Codeforces) יותר מכפול מזה של GPT-4o של OpenAI. במאמר שפרסמה החברה היא מציינת כי אימנה את המודל הענק על כ-2,000 GPUs בלבד לאורך חודשיים.

אבל בימים האחרונים הבאזז סביב DeepSeek הגיע לרמות חדשות עם מודל חדש: DeepSeek הציגה את R1 ו-R1-Zero, מודלי היסק (reasoning) שיתחרו ישירות ב-o1 – מודל הדגל של OpenAI. ה-R1-Zero אומן כמו o1, בהליך של למידת חיזוק בלבד (reinforcement learning, או RL) ללא ביצוע של fine-tuning בפיקוח אנושי כמו שקורה עם מודלים אחרים, והוא שיפר את עצמו ללא פיקוח אנושי. הוא עשה זאת בשיטת אופטימיזציה שפיתחו חוקרי DeepSeek שבמסגרתה המודל בוחן את התשובות שנתן לכל פרומפט ומחליט בעצמו מי היו מוצלחות יותר – ובכך משפר את יכולות ההיסק שלו. מודל R1 לוקח את הבסיס הזה וכולל גם הליך של fine-tuning עם כמות מידע מוגבלת יחסית של דוגמאות להיסק מוצלח בפתרון בעיות מורכבות.

עם שחרור המודלים החדשים הראו ב-DeepSeek כי R1 כמעט זהה או עוקף במקרים מסוימים את o1 של OpenAI בבנצ'מרקים מסוימים. כך למשל, בבנצ'מרק Codeforces ההבדל בין המודלים עומד על 0.3 אחוזי הצלחה (לטובת o1), כאשר בבנצ'מרק המתמטיקה MATH-500 עוקף R1 את המודל של OpenAI בכמה עשיריות האחוז וכך גם בבנצ'מרק AIME-2024 לביצועי ML. בכמה בנצ'מרקים נוספים נראה ש-o1 עוקף את R1, שוב רק בכמה עשיריות האחוז. עם השחרור של R1 עשתה DeepSeek גם משהו שלא ראינו עד כה בתחום, ושחררה 6 מודלים בקוד פתוח שכבר היו בשוק – שניים מבית מטא ושניים מבית Alibaba – שהמודל החדש שלה הצליח לבצע להם fine-tuning בעצמו. הם זמינים כבר בעמוד ה-HuggingFace של המודל.

איך הגענו לכאן

מה שמעניין אבל במודלים הללו הוא לא רק ההשוואה ל-OpenAI, אלא גם תהליך הפיתוח שלהם. המודלים של DeepSeek פותחו על גבי מספר זעום של GPUs, ובעלות נמוכה במיוחד שלא רואים בעולמות ה-AI. במאמר ששחררו החוקרים של DeepSeek-V3 בחודש שעבר עם המודל, הם ציינו כאמור שהוא אומן על כ-2,000 שבבי GPU בלבד ובעלות כוללת של כ-6 מיליון דולר. לשם השוואה, מטא הוציאה בערך פי 10 מהסכום הזה על אימון המודל האחרון שלה (לפי דיווח של NYT), ו-OpenAI הוציאה יותר מ-100 מיליון דולר לאמן את GPT-4 לפי סם אלטמן. אבל למה שהחוקרים של הסטארטאפ הסיני השתמשו בעוצמת מחשוב קטנה כל כך? התשובה נעוצה כמובן במערכת היחסים המורכבת של ארה"ב וסין – וההגבלות האגרסיביות של הממשל הקודם על ייצוא GPUs לסין. ההגבלות הללו זכו ל"שדרוג" אגרסיבי בסוף כהונת הנשיא הקודם ביידן, עם החוק שיאסור על ייצוא שבבים לעיבוד AI לסין ומדינות אויב אחרות לארה"ב (ועל הדרך גם יפגע בייצוא לישראל).

הצורך ביצירתיות הזו, והפיתוחים המודלים העוצמתיים אך הזולים של החברה גם ייצרו לה קרב מעניין נגד OpenAI מבחינת הקרב על קהל המפתחים. הסטאטראפ הסיני הצליח לתת למודל החדש שלו תג מחיר סופר-תחרותי מול o1. בזמן שב-OpenAI גובים 15 דולר למיליון טוקנים של קלט ו-60 דולר למיליון טוקנים של פלט ממודל ההיסק שלהם, DeepSeek גובה רק 55 סנט ו-2.19 דולר בהתאמה לאותה הכמות של טוקנים. מדובר בהבדלים דרמטיים בעלויות, בין אם ביצירת מוצר בעלות נמוכה משמעותית או ביצירת שולי רווח מדהימים למי שיטמיעו את המודל הסיני במוצר שלהם.

בסיליקון וואלי מתלהבים, וחוששים

"אנו חיים בעולם שבו חברה לא אמריקאית משאירה בחייים את החזון של OpenAI – מחקר פתוח אמיתי וחלוצי שמשפר את כל התעשייה", כתב ב-X ג'ים פאן – חוקר ראשי באנבידיה על המודל החדש שהציגה DeepSeek. פאן התרשם במיוחד מהמודל בזכות הפיתוח הטכנולוגי שמאחוריו, אך מהציטוט שלו ברור שהוא גם מתרשם מהעובדה שהמפתחים שלו שחררו אותו בקוד פתוח לקהל הרחב – כשגם המידע על תהליך האימון שלו חשוף לכל.

גם המגה-משקיע מארק אנדריסן מקרן a16z השתפך על R1. "מדובר באחת מפריצות הדרך המרשימות והמדהימות שראיתי בחיי", כתב אנדריסן ב-X ביום שישי. יש גם גורמים בעמק הסיליקון שכבר אומרים כי עברו להשתמש במודלים של דיפסיק על פני אלו של שחקניות אמריקאיות מוכרות, כמו OpenAI ואנת'רופיק.

המודל גם כבר מכה גלים בתוך המתחרות שלו, ועל פי הודעה שפורסמה ב-Blind הפורום האנונימי של עובדי ההייטק נראה שיש פאניקה רצינית בתוך מטא עם השחרור של המודלים הסיניים. על פי מי שהוא כנראה עובד בחטיבת ה-AI של מטא, מודל V3 שיצא בחודש שעבר כבר עוקף את Llama 4 -המודל בקוד פתוח של מטא שאפילו לא שוחרר עדיין. "מהנדסים עובדים בטירוף בניסיון לפרק לגורמים את DeepSeek ולהעתיק כל מה שאפשר ממנו", כותב אותו עובד לכאורה. טרם יצא מידע כלשהו בנושא, אך בהתחשב בהצלחה של DeepSeek כנראה שב-OpenAI מנסים להבין איך לעזאזל הצליחו להדביק את הפער מולם במהירות כזאת ובתקציב כזה.

מקור: https://www.geektime.co.il/deepseek-is-the-open-alternative-to-openai/

[חטח]

נטפרי מתכוונים לפתוח את זה מתישהו?
כבר אפשר להשתמש בזה? אם כן, אפשר קישור?
זה בחינם/יש לזה גרסה בחינם?

[2580]

@חטח כתב בבקשת מידע | DeepSeek המודל הסיני:

כבר אפשר להשתמש בזה? אם כן, אפשר קישור?
זה בחינם/יש לזה גרסה בחינם?

תכנס לכתבה עצמה (פתוח בנטפרי) יש שם את כל הקישורים הרלוונטים (הצ'אטבוט שלהם סגור לע"ע אבל הקוד הפתוח בגיטהאב קיים)

[חטח]

@2580 כתב בבקשת מידע | DeepSeek המודל הסיני:

הקוד הפתוח בגיטהאב קיים

מה יש לי לעשות עם הקוד פתוח הזה?

@2580 כתב בבקשת מידע | DeepSeek המודל הסיני:

הצ'אטבוט שלהם סגור לע"ע

שאלתי אם נטפרי מתכוונים לפתוח או שישאר תמיד ה "אופסס.."?

איפה כתוב אם זה בתשלום או בחינם?

[2580]

@חטח אם זה קוד פתוח אז לכאורה זה אמור להיות בחינם.......

@חטח כתב בבקשת מידע | DeepSeek המודל הסיני:

מה יש לי לעשות עם הקוד פתוח הזה?

אולי לך ולי לא אבל יש אנשים שיודעים מה לעשות עם זה... (אא"כ יש דרך להריץ את זה משם... לא עברתי על זה מספיק...)

[חטח]

@2580 מה זה בעצם קוד פתוח?
אפשר להוריד את זה ולהשתמש בלי האתר של זה??
לדוג' לשים את זה על אתר אחר?

[aiib]

@אלי-ויל ניסיתי.
הוא נראה לא מוגבל בשום תשלום.
מבחינה מסויימת הוא מפגר יותר מGPT וכדו' אבל הצלחתי לפתור איתו בעיה פשוטה שבכל הAI הקיימים לא הצלחתי. אבל אני לא מומחה גדול וזאת הייתה בעיה פשוטה

[חטח]

@aiib זה גם בעברית?

[aiib]

@חטח כתב בבקשת מידע | DeepSeek המודל הסיני:

@aiib זה גם בעברית?

כן

[אלף שין]

@2580 כתב בבקשת מידע | DeepSeek המודל הסיני:

אבל הקוד הפתוח בגיטהאב קיים)

מענין איזה מחשב צריך בשביל להריץ אותו....

כתוב שם כמה הוא שוקל?

[NH.LOCAL]

@אלף-שין צריך מחשב מאוד מאוד חזק, לא משהו שמתאים למחשב ביתי בכלל. גם לא מחשב לגרפיקה

אפשר להשתמש בזה בחינם באתר שלהם, אבל כרגע זה חסום בנטפרי בגלל בעיה טכנית

בעברית ובשפות באופן כללי הוא פחות טוב מ-O1 של OpenAI

[REFAEL 2]

@אלף-שין
ממה שאני מבין המודל עצמו שוקל מעל 500 GB
וצריך כמובן מחשב עוצמתי מאוד להריץ אותו

[2580]

פרק ב' בסדרה

אפקט DeepSeek: עוקף בהורדות את ChatGPT, מטא הקימה חמ"ל והנאסד"ק לא רגוע

במטא הקימו "חדרי מלחמה" והצ'אטבוט הפופולרי בעולם, ChatGPT, כבר לא במקום הראשון בהורדות. אפקט מודל דיפסיק הסיני

רק אתמול כתבנו כאן על DeepSeek, הסטארטאפ החדש שהצליח לפתח מודלי שפה ענקיים – כולל מודל היסק מוצלח – בתקציב זעום ובכח מחשוב קטן לכאורה, אבל נראה ש"שיגעון ה-DeepSeek" רק מתחיל. עכשיו נראה שהגלים, שההכרזות והכלים של דיפסיק עושים, מגיעים רחוק.

ארבעה חדרי מלחמה

אחד הדיווחים המעניינים ביממה האחרונה סביב ההשפעה של המודלים ששחרר DeepSeek מגיע ממנלו פארק. על פי דיווח של The Information, במשרדי מטא שורר מצב מתוח ודרוך במיוחד. נזכיר שהמודלים של DeepSeek מוצעים בקוד פתוח – בדיוק כמו המודלים של מטא; עם זאת, על פי מבחני ההשוואה שנערכו, הם כבר עוקפים בביצועים שלהם את Llama 4 – המודל החדש ביותר של מטא, שעדיין בפיתוח. הדיווח הזה מעניין במיוחד מכיוון שהוא מאשר פוסט אנונימי ב-Blind שעלה בסוף השבוע ולפיו "מהנדסים עובדים בטירוף בניסיון לפרק לגורמים את DeepSeek ולהעתיק כל מה שאפשר ממנו".

על פי הדיווח של The Information במשרדי מטא הקימו לא פחות מארבעה "חדרי מלחמה", במטרה לנסות לפרק לגורמים את המודלים של DeepSeek, להנדס אותם לאחור ולנסות לשחזר את "הרוטב הסודי" הזה עם לאמה 4 והמודלים הבאים של החברה. עוד דווח מפי שני עובדי מטא שאיתם שוחחו באתר האמריקאי כי מת'יו אולדהם, ראש תחום תשתיות AI של החברה, אמר למספר עובדים כי הם חוששים ש-Llama 4 לא יוכל להתחרות באלו של דיפסיק.

חשוב לציין כי "הפאניקה" הזאת במטא (כפי שהגדיר זאת עובד החברה) מגיעה בתזמון מעניין מאוד, שיכול גם להסביר את פוסט ה"למי יש יותר גדול" שפרסם מארק צוקרברג. מנכ"ל ומייסד מטא התהדר במהלך סוף השבוע בכך שמטא תוציא בין 60 ל-65 מיליארד דולר עד סוף השנה בהוצאות על שבבים וחוות שרתים ייעודיים למודלים וליישומי AI שונים: "נסיים את השנה עם 1.3 מיליון שבבים גרפיים עד סוף 2025… ונבנה חוות שרתים כל כך גדולה, שהיא תוכל לכסות חלק משמעותי ממנהטן", כתב צוקרברג בפוסט שלו. צוקרברג גם טען כי עד סוף השנה לאמה 4 יהיה "המודל המתקדם ביותר", והחברה תבנה "מהנדס AI" שיוכל לתרום משמעותית למאמצי הפיתוח של החברה.

עוקף את ChatGPT

אבל לא רק מטא. גם ב-OpenAI מביטים בדאגה ב-DeepSeek, שהצליח לרשום ביממה האחרונה הישג: האפליקציה שלו הפכה לפופולרית ביותר בהורדות בחנות האפליקציות של אפל בארצות הברית – תוך כדי שהיא עוקפת את המתחרה הגדולה, ChatGPT. בניגוד לג'בטה אגב, לפחות כרגע, כל המודלים (כולל ההיסק – reasoning) מוצעים ללא תשלום נוסף.

הזינוק של DeepSeek כבר מתחיל להעלות שאלות, ובדיחות, על הדימיון לטיקטוק – עם אפליקציה חינמית סינית שהופכת לסופר-פופולרית ברגע בארצות הברית. כתבת ה-Wall Street Journal ג'ואנה רובינסון כבר אמרה שהיא מחכה ל"חסימה שהיא לא באמת חסימה" של DeepSeek, כפי שקרה עם טיקטוק.

הבורסה מתחילה להרגיש את ההשפעות

אבל ההשפעה של DeepSeek לא נעצרת בטבלאות ההורדה של האפליקציות או במטה של מטא. החוזים העתידיים של מדד נאסד"ק 100, מכשיר כלכלי שמאפשר למשקיעים להמר על ההצלחה (או הכישלון) של חברות המדד בעתיד, ירדו ב-2% כתוצאה מההתפוצצות של DeepSeek. ההשפעה של הסטארטאפ הסיני צפויה להגיע לא רק למניות של חברות התוכנה דוגמת מטא או גוגל, אלא גם על מניות השבבים, מכיוון שהחוקרים של DeepSeek מוכיחים לכאורה כי אפשר לייצר מודלים עוצמתיים גם בלי להחזיק חוות שרתים ענקיות עם מאות אלפים משבבי הדגל של NVIDIA. כזכור, על אנבידיה הוטלו הגבלות שמונעות ממנה למכור לחברות סיניות את השבבים המתקדמים ביותר שלה, כך שאם הן מסתדרות עם שבבים זולים יותר, זה עלול להקרין על שאר השוק. גם המניות של חברה בשם Advantest – ספקית גדולה של אנבידיה – נפלו בכמעט 10% מאז פתיחת יום המסחר ביפן שם היא נסחרת, כתוצאה מההתקדמות וההייפ סביב דיפסיק. כעת נצטרך לחכות לפתיחת יום המסחר בארה"ב בשעות אחר הצהריים היום (ב') כדי לראות אם ההצלחה של דיפסיק תמשיך להשפיע על המניות – כמו אלו של אנבידיה, או שמדובר בהייפ חולף.

מקור - https://www.geektime.co.il/the-deepseek-effect-is-in-full-swing/

Spoiler

אם זה מפריע למישהו שאני מעלה את הכתבות תגידו...

[צדיק וטוב לו 0]

@2580 תחושת בטן שלי, מסתתר איזה בלוף מאחורה.

[עדלאידע]

בשבילנו המשתמשים, זה מעולה.
זה יוצר תחרות בין שני החברות DeepSeek וChatGPT
וכל אחת תתן את המירב בשביל שישתמשו בה, ואנחנו - מרוויחים.

[2580]

@צדיק-וטוב-לו-0 אצל הסינים הכל הגיוני...

דרך אגב מי שעוקב אחרי מדדי המניות פשוט מטורף מה שקורה עכשיו... יש ע"ז עוד מספר כתבות אבל זה לא כ"כ קשור לפורום... אז אני לא יעלה את זה כאן אבל מוזמנים לחגוג ברחבי הרשת...

@עדלאידע גם עלול להיות לזה היבטים כלכליים משמעותיים... נחכה ונראה לאן זה יוביל אותנו...

[אלף שין]

פוסט זה נמחק!

[אלי ויל]

מה שמעניין באופן כללי חוץ מהאימון שבו הם טוענים שהם מצליחים לעשות זאת בזול (לא ראיתי שהם הביאו ראיות)
והעובדה שהאימון שלהם עקף את גוגל ומאטה
האם גם השימוש הסדיר (טוקנים) וכוח העיבוד שצריך לזה הוזל ובכמה, כי בעצם זה אחד הדברים הכי משמעותיים כמה זה יעלה לנו המשתמשים.

[איש אמת]

@אלי-ויל כתב בבקשת מידע | DeepSeek המודל הסיני:

מה שמעניין באופן כללי חוץ מהאימון שבו הם טוענים שהם מצליחים לעשות זאת בזול (לא ראיתי שהם הביאו ראיות)

אני אישית הבנתי למה התקציב שלהם בחצי מ ChatGPT , פשוט כי זה חסום בנטפרי... בנימה צינית כמובן..

[NH.LOCAL]

@צדיק-וטוב-לו-0 כתב בבקשת מידע | DeepSeek המודל הסיני:

@2580 תחושת בטן שלי, מסתתר איזה בלוף מאחורה.

תחושת הבטן שלך טועה בוודאות.
אפשר לזייף כוננים בעלי אקספרס אבל לא לזייף אינטליגנציה. בייחוד שזה קוד פתוח שניתן לשכפול בקלות

@אלי-ויל כתב בבקשת מידע | DeepSeek המודל הסיני:

מה שמעניין באופן כללי חוץ מהאימון שבו הם טוענים שהם מצליחים לעשות זאת בזול (לא ראיתי שהם הביאו ראיות)
והעובדה שהאימון שלהם עקף את גוגל ומאטה
האם גם השימוש הסדיר (טוקנים) וכוח העיבוד שצריך לזה הוזל ובכמה, כי בעצם זה אחד הדברים הכי משמעותיים כמה זה יעלה לנו המשתמשים.

ה-api שלהם זול פי 50 מ-o1 של OpenAI, המודל המקביל מבחינת מבנה וביצועים