שיתוף | מה חדש בבינה מלאכותית - מתעדכן

[א.מ.ד.]

DeepSeek • DeepSeek-V4.1-Flash-1017

חברת DeepSeek משחררת את DeepSeek-V4.1-Flash-1017, גרסה משופרת של מודל הדגל הפתוח שהושק בחודש שעבר. למרות שמדובר רק בעדכון למודל קיים, הוא מביא שיפור משמעותי ביכולות התכנות, החשיבה והפעלת הסוכנים, לצד קיצור זמני הביצוע והפחתת כמות הטוקנים הנדרשת למשימות מורכבות.

המודל שומר על ארכיטקטורת ה-MoE של קודמו, הכוללת 552 מיליארד פרמטרים בליבת המודל, עם 8 מיליארד פרמטרים פעילים בעיבוד הקלט ו-16 מיליארד ביצירת הפלט. בנוסף, הוא כולל מנגנון זיכרון n-gram, המביא את מספר הפרמטרים הכולל לכ-763 מיליארד.

עיקרי השיפורים:

• יכולות תכנות: שיפור משמעותי בפיתוח תוכנה, תיקון באגים, עבודה עם בסיסי קוד גדולים וביצוע משימות פיתוח עצמאיות.
• סוכני AI: שיפור במעקב אחר הוראות, הפעלת כלים וביצוע תהליכים מרובי שלבים, עם התאמות מיוחדות לסביבות סוכנים כמו DeepSeek Harness, Tencent CodeBuddy ו-WorkBuddy.
• פיתוח פרויקטים שלמים: אימון RL המבוסס על משוב עצמי, שנועד לשפר את יכולת המודל ליצור פרויקטים מורכבים מאפס, כולל משחקי מחשב, מודלים תלת-ממדיים ויישומי אינטרנט.
• יעילות ומהירות: קיצור זמני השלמת המשימות והפחתת כמות הטוקנים שהמודל מייצר, כך שגם ללא שינוי במחיר הטוקנים, העלות הכוללת של משימות סוכניות עשויה לרדת.
• יכולות מולטימודליות: שיפור בהבנת תמונות ובמשימות המשלבות עיבוד חזותי, לצד תמיכה בחלון הקשר של מיליון טוקנים.
• ארכיטקטורה חסכונית: שמירה על מנגנוני דחיסת ה-KV Cache והארכיטקטורה הא-סימטרית של V4.1, המאפשרים לצמצם משמעותית את צריכת הזיכרון במהלך העיבוד.

מדדים:
על פי הבדיקות שפרסמה DeepSeek, הגרסה החדשה מציגה שיפור ניכר לעומת קודמתה:

• DeepSWE 1.1: ציון 77 לעומת 74.2 בדור הקודם, ואף גבוה מ-74 של Claude Opus 5 באותה השוואה.
• Terminal-Bench 4.0: ציון 42.3 לעומת 31.2, שיפור של יותר מ-35%.
• Automation-Bench: ציון 60.5 לעומת 54.8, וגם גבוה מ-50.3 של Claude Opus 5.
• Agents' Last Exam: ציון 35.4 לעומת 31.8.
• Humanity's Last Exam: ציון 42.6 לעומת 36.8.
• ProgramBench: ציון 29.1 לעומת 20.3.

במספר מדדי תכנות וסוכנים המודל כבר עוקף מודלים סגורים מובילים, אם כי במבחנים אחרים, כמו HLE ו-Terminal-Bench, מודלי הדגל הגדולים עדיין מובילים.

זמינות:
המודל שוחרר במשקלים פתוחים תחת רישיון MIT, והוא זמין להורדה ב-Hugging Face. קיימות גם גרסאות GGUF ופורמטים מכומתים נוספים, אך בשל גודלו העצום הוא דורש חומרה עתירת זיכרון גם בכימותים נמוכים.

הגרסה החדשה כבר החליפה את קודמתה באתר DeepSeek, באפליקציה וב-API הרשמי, באמצעות שם המודל deepseek-flash, ללא שינוי במחירי השימוש.

קישורים:

• הודעת השחרור הרשמית:
  https://api-docs.deepseek.com/news/news261017/
• כרטיס המודל ב-Hugging Face:
  https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017
• גרסת GGUF של Unsloth:
  https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF
• התנסות במודל:
  https://chat.deepseek.com/

[רוטב שום]

אנתרופיק פתחה את OSS Scanner,
שירות סריקות אבטחה בחינם לפרויקטים מרכזיים בקוד פתוח.
פרויקטים שיתקבלו יקבלו סריקות תקופתיות מהמודלים של החברה, עם דוחות על חולשות והצעות תיקון כשאפשר. הדוחות נשלחים בלי בדיקה אנושית מוקדמת, ולכן המתחזקים צריכים לבדוק אותם לפני שילוב תיקון.
https://www.anthropic.com/research/launching-opt-in-vuln-finding-service-for-open-source?utm_source=chatgpt.com

[א.מ.ד.]

Mistral AI • Voxtral 3

חברת Mistral הצרפתית משחררת את Voxtral 3, דור חדש של מודלי AI לדיבור, הכולל מודלים לתמלול, זיהוי דוברים ויצירת קול טבעי, לצד SDK חדש לבניית סוכנים קוליים בזמן אמת.

הסדרה מיועדת לאפשר פיתוח עוזרים קוליים המסוגלים להאזין למשתמש, להבין בקשות מורכבות, להפעיל כלים ולענות בקול טבעי, תוך השהיה נמוכה במיוחד ותמיכה בעשרות שפות.

המודלים החדשים:

• Voxtral Small Transcribe 3: מודל התמלול המתקדם בסדרה, התומך ביותר מ-50 שפות, בזיהוי דוברים ובהתאמת התמלול למונחים מקצועיים.
• Voxtral Mini Transcribe 3: מודל תמלול חסכוני בגודל 4B, המציע יכולות דומות במחיר נמוך יותר.
• Voxtral Mini Transcribe Realtime 3: מודל לתמלול שיחות בזמן אמת, עם השהיה הניתנת להגדרה החל מ-80 אלפיות השנייה, זיהוי דוברים וזיהוי אוטומטי של סיום תור הדיבור.
• Voxtral TTS 3: מודל חדש ליצירת דיבור טבעי, התומך ביותר מ-35 שפות ו-50 ניבים, עם יכולות מתקדמות להתאמת קול, רגש וקצב דיבור.

עיקרי החידושים:

• סוכנים קוליים בזמן אמת: SDK חדש המבוסס על LiveKit ומשלב תמלול, מודל שפה, הפעלת כלים ויצירת קול בצינור עיבוד רציף. לטענת החברה, ניתן להגיע לזמן תגובה כולל של פחות משנייה, כולל תמיכה בקטיעת דברי הסוכן כשהמשתמש מתחיל לדבר.
• תמלול רב-לשוני: הרחבת התמיכה ליותר מ-50 שפות, עם שיפורים משמעותיים בדיוק התמלול, בזיהוי דוברים ובהתמודדות עם מבטאים שונים.
• Context Biasing: אפשרות להזין שמות, מונחים מקצועיים ומידע הקשרי כדי לשפר את דיוק התמלול, ללא צורך באימון נוסף.
• יצירת קול טבעי: מודל ה-TTS החדש מתאים את האינטונציה, הרגש, ההדגשות וקצב הדיבור לתוכן השיחה. קיימת גם אפשרות לשליטה מפורשת באופן ההגייה ובסגנון הדיבור.
• שיבוט קול: תמיכה ב-Zero-shot Voice Cloning, לצד אפשרות Pro Voice המאפשרת להתאים קול מקצועי על בסיס הקלטה של כ-30 דקות, כולל מאפייני הדיבור והסגנון הייחודיים של הדובר.
• ארכיטקטורה מודולרית: ניתן להחליף בנפרד את מודל התמלול, מודל השפה ומודל יצירת הקול, ולהריץ את המערכת באמצעות ה-API של Mistral או בתשתית פרטית.

מדדים:
לפי המדדים שפרסמה Mistral, גרסת Small Transcribe 3 מציגה תוצאות מובילות בתמלול רב-לשוני ובזיהוי דוברים, ועוקפת במבחנים שנערכו את Whisper large-v3, את Scribe v2 ואת Gemini 3.5 Transcribe.

גם גרסת Realtime מציגה תוצאות תחרותיות במיוחד בתמלול רציף, תוך שמירה על השהיה נמוכה מ-500 אלפיות השנייה.

ביצועי התמלול נבדקו בין היתר במדדי FLEURS ובמדד WER העצמאי של Artificial Analysis.

זמינות ומחירים:
כל המודלים זמינים כעת באמצעות ה-API של Mistral:

• Mini Transcribe 3: מחיר של 0.0035 דולר לדקת אודיו.
• Small Transcribe 3: מחיר של 0.004 דולר לדקה.
• Realtime Transcribe 3: מחיר של 0.008 דולר לדקה.
• Voxtral TTS 3: מחיר של 13 דולר למיליון תווים.

Mistral מציעה גם אפשרות לפריסה פרטית של המערכת בתיאום עם החברה. בשלב זה לא פורסמו משקלים להורדה חופשית ב-Hugging Face עבור מודלי Voxtral 3.

קישורים:

• הודעת השחרור הרשמית והמדדים:
  https://mistral.ai/news/voxtral-3/
• התנסות במודלים:
  https://console.mistral.ai/

[פרוזי]

OpenAI‌​‌‌​‌​​​​​‌ מוסיפה מטמון ל־12 שעות ב־API

OpenAI הוסיפה אפשרות לשמור הקשר במטמון למשך 12 שעות לפחות ב־Responses API, במודלים התומכים בכך. כך אפשר ליהנות מתעריף קלט מוזל גם כשהבקשות מגיעות בהפרש של שעות. OpenAI API

מה זה נותן בפועל?

סוכן שחוזר שוב ושוב לאותן הוראות, הגדרות כלים וחומרי רקע יכול להשתמש מחדש בחישובים שנשמרו עבור החלק הזהה בתחילת הקלט.

בפרויקטים ארוכים עם הרבה קוד והקשר, השימוש החוזר עשוי לקצר את ההמתנה ולהפחית את עלויות הקלט, גם כשחוזרים לעבודה אחרי הפסקה.

ומה המחיר?

כתיבת המטמון ל־12 שעות עולה פי 2.5 מתעריף הקלט הרגיל עבור הטוקנים שנכתבים למטמון. זהו התעריף הכולל לכתיבה, ולא תוספת למחיר הרגיל.

החיסכון מגיע בקריאות החוזרות מהמטמון, שמחויבות בתעריף מוזל. לכן הכדאיות תלויה בכמות ההקשר שנעשה בו שימוש חוזר ובמספר הפעמים שמשתמשים בו. OpenAI API

ומה לגבי Codex ו־Work?

הטענה שלפיה המטמון נשמר ללא הגבלת זמן למשתמשים מחוברים ב־Codex וב־Work דורשת מקור נוסף. התיעוד המקושר כאן מתייחס למטמון ב־API ואינו מאשר אותה.

לפרטים המלאים — תיעוד OpenAI הרשמי בנושא Prompt Caching

[יודע ספר]

סוף כל סוף כל סוף זה הגיע..

הודעות פוש על תשובות מגימיני ישירות בדפדפן!!

[יודע ספר]

אנת'רופיק חושפת עוזר AI חדש, Claude Duet, שיעבוד במקומכם!!

-אחרי ההצלחה של Muse, Instinct ו-Grok Bot, גם אנת'רופיק מצטרפת למרוץ הסוכנים האישיים עם כלי חדש שירוץ ברקע, יטפל במשימות שלכם ויידע מתי להפריע לכם-

כל הפרטים בספויילר:

Spoiler

מחפשים עוזר AI שיעשה בשבילכם עבודה? אחרי Instinct, Muse, Dots ו-Grok Bot, גם אנת'רופיק מצטרפת למירוץ ומשיקה את Duet. בניגוד לצ'אטבוטים רגילים, הסוכן החדש שלה לא מחכה לפקודות – הוא פשוט עובד ברקע, סורק מיילים, בונה דשבורדים ואפילו מעביר את האשראי כשצריך. אבל לפני שאתם רצים לפתוח חשבון, כדאי שתכירו את האותיות הקטנות.

מה הוא יעשה?
אנת'רופיק חשפה אמש את הסוכן החדש שלא רק מחכה שתכתבו לו פקודות, אלא יוזם פעולות, עוקב אחרי מה שחשוב לכם וממשיך לעבוד גם כשאתם בכלל לא מול המסך. דואט מגיע באפליקציה חדשה שנבנתה סביב המודל החזק ביותר של החברה, קלוד אופוס 5.5. בניגוד לצ'אטבוט קלאסי, דואט אמור לפנות אליכם בעצמו. הוא יכול להכין עבורכם בכל בוקר בריף קצר עם הדברים החשובים ביותר שדורשים תשומת לב, על בסיס מידע מהחשבונות שחיברתם אליו, וימשיך להתריע במהלך היום כשמשהו דורש התייחסות דחופה.

בנייה של דשבורדים ותשלום באשראי
היכולות של דואט לא נגמרות בתזכורות פשוטות. באנת'רופיק מסבירים שתוכלו לסנג'ר אותו עם משימות מורכבות כמו ניהול יומן ומיילים, בניית דשבורדים, יצירת תשקיפים לתיק השקעות, פיתוח אבות-טיפוס ואפילו בניית אפליקציות ווב. הסוכן מסוגל להיעזר ביותר מ-6,000 חיבורים ותוספים הזמינים כיום ב-Claude Marketplace, בהם ג'ימייל, סלאק, סטרייפ, האבספוט, שופיפיי, קנבה ועוד.

היתרון הגדול הוא שהסוכן לא מתחיל מאפס. הוא נשען על הזיכרון והיכולות שכבר הגדרתם בחשבון הקיים שלכם, כך שהוא פונה אליכם רק במה שרלוונטי ללא תהליך חפיפה ארוך. השיחה מתנהלת בשרשור מתמשך, בטקסט או בקול, כשלסוכן יש מחשב וירטואלי משלו בענן הכולל דפדפן, כך שהוא עובד גם כשהמכשירים שלכם כבויים. בנוסף, הסוכן יכול לבצע רכישות עבור העסק באמצעות הארנק הדיגיטלי של סטרייפ עם כרטיס וירטואלי, כדי לא לחשוף את פרטי האשראי האמיתיים שלכם, ותומך גם בתשלומים דרך Shop Pay. בהמשך צפויה להתווסף תמיכה ב-1Password להתחברות מאובטחת לאתרים.

שכבות הגנה והתחרות בשוק מבחינת אבטחה, באנת'רופיק טוענים שדואט לא רואה ישירות את הסיסמאות שלכם, וכל פעולה רגישה כמו תשלום או מחיקת מידע דורשת אישור מפורש מראש. מערכת סיווג מיוחדת מנסה למנוע הדלפת מידע רגיש כמו כרטיסי אשראי, ופעולות מסוימות חסומות מראש לחלוטין, כמו מסחר בניירות ערך.

דואט נכנס לשוק תחרותי. מיוז של מטא ואינסטינקט מתמקדים יותר בחיים האישיים ובסידורים דרך אפליקציות מסרים כמו וואטסאפ. מנגד, מתחרים כמו גרוק בוט של xAI ו-Dots מתמקדים בשוק העבודה ומאפשרים יצירת צוותי סוכנים שלמים שעובדים במקביל – בעוד דואט מספק סוכן אחד.

הכוכביות
קראתם, התלהבתם, והגיע הזמן לשחק עם דואט, נכון? לא בדיוק. אנת'רופיק משחררת את Claude Duet כרגע בגרסת Research Preview בלבד, והגישה אליו מוגבלת למנויי Pro ו-Max בארצות הברית שנרשמים לרשימת המתנה. הסוכן זמין כאפליקציה נפרדת לאייפון ולאנדרואיד וגם דרך claude.ai, אך עדיין לא משולב באפליקציית Claude הרגילה. אנת'רופיק גם מודה כי בגרסה הנוכחית הסוכן עלול לפספס מידע בשיחה או להעריך לא נכון מה דחוף, וכי הוא עדיין פחות מוצלח במשימות אישיות כמו הזמנת כרטיסים. בנוסף, לפחות כרגע, אין למשתמשים אפשרות לצפות בדפדפן שבו הסוכן עובד כפי שניתן לעשות עם המתחרים שלו.

כוכבית נוספת היא המכסה של הסוכן. בניגוד למיוז ואחרים שכרגע מקבלים מכסת שימוש נפרדת (וגם דורשים מינוי בתשלום כדי להרחיב אותה), דואט יהיה חלק ממכסת הטוקנים של המינוי שלכם – הכוללת אותו, את השיחות שלכם קלוד בצ'אט וכמובן קלוד קוד. בגלל ההחלטה הזאת, באנת'רופיק מציינים כי הסוכן יוכל לבדוק חשבונות שאתם מחברים אליו אחת לכמה שעות, ולא באופן רציף, כדי לוודא שהוא לא חורך לכם את מכסת הטוקנים.
מקור:
https://www.geektime.co.il/anthropic-launches-claude-duet-ai-agent/

[יוסף מאיר וייס]

הושק Kimi K3.1 Pro עם ציונים טובים מאוד

[א.מ.ד.]

@יוסף-מאיר-וייס

פרטים נוספים על Moonshot AI • Kimi K3.1 Pro

חברת Moonshot AI הסינית משחררת את Kimi K3.1 Pro, מודל הדגל החדש שלה, המהווה שדרוג משמעותי ל-Kimi K3 ומתחרה ישירות במודלים הסגורים המובילים של OpenAI ואנת'רופיק.

המודל מבוסס על ארכיטקטורת MoE הכוללת כ-2.8 טריליון פרמטרים, מתוכם 104 מיליארד פעילים בכל טוקן, והוא מציג שיפורים ניכרים ביכולות תכנות, הפעלת סוכנים, יצירת מודלים תלת-ממדיים ומשימות מקצועיות מורכבות.

עיקרי החידושים:

• אימון RL בהיקף נרחב: הגדלה משמעותית של משאבי האימון לאחר ה-Pre-training, עם אימון על מאות סוגי משימות וסביבות עבודה. החברה מדווחת על שיפורים נרחבים ביכולות המודל, ללא שינוי מהותי בארכיטקטורה הבסיסית של K3.
• תכנות ופיתוח פרויקטים: יכולות מתקדמות בפיתוח פרויקטים שלמים, עבודה עם בסיסי קוד, תיקון תקלות ושימוש בכלים. המודל מסוגל לפתח משחקים וסביבות אינטראקטיביות באמצעות Unity, Unreal Engine ו-Godot.
• יצירת מודלים תלת-ממדיים: יכולת ליצור ולערוך מודלים ב-Blender ובתוכנות CAD, באמצעות כתיבה והרצה של סקריפטים. החברה השיקה גם את Kimi 3D Make, המאפשר ליצור מודלים מתיאור טקסטואלי או מתמונה, ולייצא אותם להדפסת תלת-ממד.
• משימות פיננסיות ומשרדיות: שיפור בניתוח מסמכים פיננסיים, בניית גיליונות חישוב, מחקר השקעות וביצוע תהליכים מורכבים הכוללים הצלבת מידע ממקורות שונים.
• דיוק עובדתי: במבחן פנימי של החברה, שיעור הטענות השגויות ירד מ-23.4% בדור הקודם ל-8.3% בגרסה החדשה, שיפור של כ-65%.
• יכולות מולטימודליות והקשר ארוך: תמיכה בקלט של טקסט, תמונות ווידאו, לצד חלון הקשר של מיליון טוקנים.
• גרסת Highspeed: לצד המודל הרגיל הושקה גרסה מהירה במיוחד, המספקת מהירות גבוהה פי 2-3, עם אותן יכולות בסיסיות.

מדדים:
על פי המדדים שפרסמה Moonshot, המודל מתחרה ישירות ב-Claude Opus 5.5 וב-GPT-6 Astra, ואף מוביל בחלק ממבחני הסוכנים והתכנות.

• Terminal-Bench 4.0: ציון 65.7, לעומת 66.4 של Claude Opus 5.5 ו-58.2 של GPT-6 Astra.
• SWE-Marathon: ציון 51.7, לעומת 46.3 של Claude Opus 5.5.
• BrowseComp: ציון 92.1, לעומת 90.8 של Claude Opus 5.5.
• HLE עם כלים: ציון 70, לעומת 67.7 של Claude Opus 5.5.
• BenchCAD: ציון 92.7 ביצירת מודלים תלת-ממדיים באמצעות כלים.

גם במדדים העצמאיים של Artificial Analysis המודל מציג תוצאות מרשימות במיוחד, עם ציון 55 במדד Intelligence Index, לעומת 58 ל-Claude Opus 5.5. מדובר באחד הציונים הגבוהים ביותר שנמדדו למודל המיועד לשחרור במשקלים פתוחים.

עם זאת, במבחנים מסוימים, בעיקר בתכנות מדעי ובפתרון בעיות מורכבות, המודלים הסגורים עדיין מציגים יתרון משמעותי.

ניתן לראות את המדדים הויזואליים שהעלה @יוסף-מאיר-וייס .

זמינות ומחירים:
המודל זמין כבר כעת באתר Kimi, ב-Kimi Code, ב-Kimi Work וב-API הרשמי.

מחיר השימוש ב-API:

• קלט: 2 דולר למיליון טוקנים.
• פלט: 10 דולר למיליון טוקנים.
• קלט ממטמון: 0.20 דולר למיליון טוקנים.

גרסת Highspeed עולה 4 דולר למיליון טוקני קלט ו-20 דולר למיליון טוקני פלט.

המשקלים עדיין לא פורסמו, אך החברה התחייבה לשחרר אותם עד 4 בנובמבר 2026. עד לפרסומם אין גרסת GGUF זמינה של המודל החדש.

קישורים:

• הודעת השחרור הרשמית והמדדים:
  https://www.kimi.com/en/blog/kimi-k3-1-pro
• עמוד המודלים של Moonshot ב-Hugging Face, לקראת פרסום המשקלים:
  https://huggingface.co/moonshotai
• התנסות במודל:
  https://www.kimi.com/

[א.מ.ד.]

OpenAI ו-Google משתפות פעולה - מודלי GPT-6 מגיעים ל-Google Cloud ול-Antigravity!

כבר עכשיו המודלים זמינים ללקוחות ארגוניים, ובהמשך הגישה תיפתח לכלל המנויים.

מקורות:
https://openai.com/index/openai-models-google-cloud/
https://cloud.google.com/blog/products/ai-machine-learning/google-cloud-brings-openai-models-to-customers

[לשכת הרב]

משתמשי נטפרי בגיפיטי?

מעתה יתווסף לכם על אתרים/תוכנות שתעשו בגיפיטי
הזרקה של ההודעה הבאה:

[YAHBDK]

פוסט זה נמחק!

[יותר גדול ממך]

פוסט זה נמחק!

[ביוס]

פוסט זה נמחק!

[יודע ספר]

פוסט זה נמחק!

[יותר גדול ממך]

פוסט זה נמחק!

[אריה AI]

פוסט זה נמחק!

[לשכת הרב]

פוסט זה נמחק!

[יודע ספר]

OpenAI קיצרה פי 12 את זמן קריאת הנתונים מאחורי ChatGPT

OpenAI חושפת כיצד הרחיבה את פלטפורמת האחסון Habitat, המבוססת על Azure Cosmos DB ומחזיקה יותר מ-500 פטה-בייט. אחרי מעבר מריבוי דיירים לבידוד וחזרה, שיתוף פעולה הנדסי הדוק עם מיקרוסופט, שכבת מטמון ושכתוב ב-Rust הורידו את זמן הקריאה החציוני מכ-120 לכ-10 אלפיות שנייה. בהמשך מתוכננת מערכת אחסון פנימית בקנה מידה של אקסה-בייט.
פרטים מלאים בספויילר:

Spoiler

מאחורי כל שיחה ב-ChatGPT עומדת פלטפורמת אחסון פנימית בשם Habitat, שנדרשת להגיב בתוך אלפיות שנייה ליותר ממיליארד משתמשים ב-40 אזורים גאוגרפיים, ומחזיקה כיום יותר מ-500 פטה-בייט של נתונים. בפוסט הנדסי חדש, החלק השני בסדרה, מתארים מהנדסי OpenAI כיצד הרחיבו את רכיב האחסון שבבסיס הפלטפורמה: מסד הנתונים Azure Cosmos DB של מיקרוסופט. החלק הראשון עסק במעבר של Habitat מספריית לקוח בשפת Python לשירות עצמאי.
לפי החברה, סדר העדיפויות היה קבוע: קודם אמינות לתעבורה קריטית, אחר כך ביצועים למשתמשים ברחבי העולם, ולבסוף יעילות תפעולית בקנה מידה עצום.
בשלב הראשון כל העומסים רוכזו במכל (container) משותף אחד בכל חשבון, בהסתמך על מגבלת 10,000 יחידות בקשה לשנייה לכל מפתח מחיצה לוגי. בפועל, המגבלה נאכפת ברמת המחיצה הפיזית, כך שמפתחות שונים שחולקים מחיצה פיזית פגעו זה בזה. עומסים של פיצ'רים שוליים שיבשו לעיתים תהליכי התחברות והרשמה. בעיה נוספת: כשהנתונים גדלים, מחיצות מתפצלות והתפוקה הזמינה לכל מחיצה מצטמצמת, גם אם היקף הבקשות לא השתנה.
בשלב השני עברה OpenAI למכלים ייעודיים לכל שירות או פיצ'ר מרכזי. הבידוד צמצם תקלות כלל-אתריות, אבל הוליד בעיה ארגונית: כל צוות מוצר נדרש לתכנן קיבולת בעצמו. השקה שקפצה מאלף בקשות בבדיקות עומס למיליון בקשות ביום ההשקה יכלה לבלוע 5% מהמרווח במכל משותף גדול, אך לחרוג פי מאה מקיבולת מכל ייעודי קטן. לדברי המחברים, צוותים שכחו להגדיל מראש את הקיבולת, והמהנדסים מצאו את עצמם בחדרי תקלות ביום ההשקה.
בשלב השלישי חזרה החברה לריבוי דיירים כברירת מחדל, הפעם עם פתרונות שפותחו יחד עם צוות Azure: האטה של המפתחות החמים ביותר קודם, תיעדוף בקשות כך שעומסים לא-מקוונים מואטים לפני בקשות של משתמשי קצה, ומצב serverless משופר שנבנה עבור OpenAI ומאפשר לכל מחיצה פיזית להגיע ל-10,000 יחידות בקשה ולהתפצל גם לפי צריכה ולא רק לפי נפח. לפי החברה, מאז לא נרשמו תקלות של רעש שכנים או הקצאה.
כששירות מנוהל מפסיק להיות מנוהל
החשבון הגדול ביותר של OpenAI ב-Cosmos DB מאחסן עשרות פטה-בייט ומשרת יותר מ-20 מיליון בקשות בשנייה, ולטענת החברה אין פריסה אחרת בהיקף כזה. בסוף 2024 הפסקת חשמל באזור ענן מרכזי חשפה שהעברה לאזור משני של החשבונות הגדולים נמשכת כמה שעות, תרחיש שלא נבדק בקנה מידה זה. כחודש לאחר מכן, החזרה לאזור המקורי גרמה לנחשול חיבורים שהפיל את שער הגישה של המסד.
בעקבות זאת עברו הצוותים למודל של הנדסה משותפת: ניטור משותף של כל השכבות, סביבת בדיקות בגודל ייצור, פיתוח משותף של ערכות פיתוח וערוץ ישיר להזעקת מהנדסים בלי לעבור דרך מוקדי תמיכה.
ירידה פי 12 בזמן התגובה:
קריאות מהוות יותר מ-90% מהבקשות ל-Habitat, ולכן המאמץ ב-2026 התמקד בהן. האסטרטגיה כוללת אחסון נתונים קרוב למשתמשים כשהקיבולת מאפשרת, שכפול נרחב רק של מאגרים קטנים ורגישים במיוחד כמו נתוני אימות, ושכבת מטמון מבוזרת מבוססת Valkey. כדי לשמור על רעננות המטמון, החברה נשענת על לכידת שינויים (CDC) מתוך מסד הנתונים, שמפיצה פקודות ביטול גלובליות בתוך שניות, בהשראת מערכת TAO של Meta. במקביל נכתב שירות Habitat מחדש ב-Rust במקום Python.
התוצאה: זמן התגובה החציוני לקריאות ירד מכ-120 אלפיות שנייה לכ-10 אלפיות שנייה. מערך ה-CDC עצמו מעבד מיליוני שינויים בשנייה דרך יותר ממאה נושאי Kafka, ומזין גם אינדקסים משניים, צינורות העברת נתונים ואנליטיקה.
יותר מ-90%
שיעור הקריאות מכלל הבקשות ל-Habitat
כ-10 אלפיות שנייה
זמן התגובה החציוני לקריאות לאחר השיפור
מערכת אחסון פנימית בקנה מידה של אקסה-בייט
לקראת מיליארד המשתמשים הבא, OpenAI מפתחת מערכת אחסון פנימית בקנה מידה של אקסה-בייט, המיועדת לסוגי הנתונים הכבדים של Habitat. המערכת משלבת את ליבת RocksDB Cloud של Rockset עם שכפול מבוסס Raft, ושומרת על מודל המסמכים של Cosmos DB. לפי החברה, היא מפרידה בין אחסון לעיבוד ומשתמשת בשכפול פיזי כדי לחסוך בנפח זיכרון הבזק, במחיר של תפוקת שיא נמוכה יותר.

[בינארי חכם]

פוסט זה נמחק!