שיתוף | מה חדש בבינה מלאכותית - מתעדכן
-
אנתרופיק פתחה את OSS Scanner,
שירות סריקות אבטחה בחינם לפרויקטים מרכזיים בקוד פתוח.
פרויקטים שיתקבלו יקבלו סריקות תקופתיות מהמודלים של החברה, עם דוחות על חולשות והצעות תיקון כשאפשר. הדוחות נשלחים בלי בדיקה אנושית מוקדמת, ולכן המתחזקים צריכים לבדוק אותם לפני שילוב תיקון.
https://www.anthropic.com/research/launching-opt-in-vuln-finding-service-for-open-source?utm_source=chatgpt.com -
Mistral AI • Voxtral 3
חברת Mistral הצרפתית משחררת את Voxtral 3, דור חדש של מודלי AI לדיבור, הכולל מודלים לתמלול, זיהוי דוברים ויצירת קול טבעי, לצד SDK חדש לבניית סוכנים קוליים בזמן אמת.
הסדרה מיועדת לאפשר פיתוח עוזרים קוליים המסוגלים להאזין למשתמש, להבין בקשות מורכבות, להפעיל כלים ולענות בקול טבעי, תוך השהיה נמוכה במיוחד ותמיכה בעשרות שפות.
המודלים החדשים:
- Voxtral Small Transcribe 3: מודל התמלול המתקדם בסדרה, התומך ביותר מ-50 שפות, בזיהוי דוברים ובהתאמת התמלול למונחים מקצועיים.
- Voxtral Mini Transcribe 3: מודל תמלול חסכוני בגודל 4B, המציע יכולות דומות במחיר נמוך יותר.
- Voxtral Mini Transcribe Realtime 3: מודל לתמלול שיחות בזמן אמת, עם השהיה הניתנת להגדרה החל מ-80 אלפיות השנייה, זיהוי דוברים וזיהוי אוטומטי של סיום תור הדיבור.
- Voxtral TTS 3: מודל חדש ליצירת דיבור טבעי, התומך ביותר מ-35 שפות ו-50 ניבים, עם יכולות מתקדמות להתאמת קול, רגש וקצב דיבור.
עיקרי החידושים:
- סוכנים קוליים בזמן אמת: SDK חדש המבוסס על LiveKit ומשלב תמלול, מודל שפה, הפעלת כלים ויצירת קול בצינור עיבוד רציף. לטענת החברה, ניתן להגיע לזמן תגובה כולל של פחות משנייה, כולל תמיכה בקטיעת דברי הסוכן כשהמשתמש מתחיל לדבר.
- תמלול רב-לשוני: הרחבת התמיכה ליותר מ-50 שפות, עם שיפורים משמעותיים בדיוק התמלול, בזיהוי דוברים ובהתמודדות עם מבטאים שונים.
- Context Biasing: אפשרות להזין שמות, מונחים מקצועיים ומידע הקשרי כדי לשפר את דיוק התמלול, ללא צורך באימון נוסף.
- יצירת קול טבעי: מודל ה-TTS החדש מתאים את האינטונציה, הרגש, ההדגשות וקצב הדיבור לתוכן השיחה. קיימת גם אפשרות לשליטה מפורשת באופן ההגייה ובסגנון הדיבור.
- שיבוט קול: תמיכה ב-Zero-shot Voice Cloning, לצד אפשרות Pro Voice המאפשרת להתאים קול מקצועי על בסיס הקלטה של כ-30 דקות, כולל מאפייני הדיבור והסגנון הייחודיים של הדובר.
- ארכיטקטורה מודולרית: ניתן להחליף בנפרד את מודל התמלול, מודל השפה ומודל יצירת הקול, ולהריץ את המערכת באמצעות ה-API של Mistral או בתשתית פרטית.
מדדים:
לפי המדדים שפרסמה Mistral, גרסת Small Transcribe 3 מציגה תוצאות מובילות בתמלול רב-לשוני ובזיהוי דוברים, ועוקפת במבחנים שנערכו את Whisper large-v3, את Scribe v2 ואת Gemini 3.5 Transcribe.גם גרסת Realtime מציגה תוצאות תחרותיות במיוחד בתמלול רציף, תוך שמירה על השהיה נמוכה מ-500 אלפיות השנייה.
ביצועי התמלול נבדקו בין היתר במדדי FLEURS ובמדד WER העצמאי של Artificial Analysis.
זמינות ומחירים:
כל המודלים זמינים כעת באמצעות ה-API של Mistral:- Mini Transcribe 3: מחיר של 0.0035 דולר לדקת אודיו.
- Small Transcribe 3: מחיר של 0.004 דולר לדקה.
- Realtime Transcribe 3: מחיר של 0.008 דולר לדקה.
- Voxtral TTS 3: מחיר של 13 דולר למיליון תווים.
Mistral מציעה גם אפשרות לפריסה פרטית של המערכת בתיאום עם החברה. בשלב זה לא פורסמו משקלים להורדה חופשית ב-Hugging Face עבור מודלי Voxtral 3.
קישורים:
- הודעת השחרור הרשמית והמדדים:
https://mistral.ai/news/voxtral-3/ - התנסות במודלים:
https://console.mistral.ai/
-
OpenAI מוסיפה מטמון ל־12 שעות ב־API
OpenAI הוסיפה אפשרות לשמור הקשר במטמון למשך 12 שעות לפחות ב־Responses API, במודלים התומכים בכך. כך אפשר ליהנות מתעריף קלט מוזל גם כשהבקשות מגיעות בהפרש של שעות. OpenAI API
מה זה נותן בפועל?
סוכן שחוזר שוב ושוב לאותן הוראות, הגדרות כלים וחומרי רקע יכול להשתמש מחדש בחישובים שנשמרו עבור החלק הזהה בתחילת הקלט.
בפרויקטים ארוכים עם הרבה קוד והקשר, השימוש החוזר עשוי לקצר את ההמתנה ולהפחית את עלויות הקלט, גם כשחוזרים לעבודה אחרי הפסקה.
ומה המחיר?
כתיבת המטמון ל־12 שעות עולה פי 2.5 מתעריף הקלט הרגיל עבור הטוקנים שנכתבים למטמון. זהו התעריף הכולל לכתיבה, ולא תוספת למחיר הרגיל.
החיסכון מגיע בקריאות החוזרות מהמטמון, שמחויבות בתעריף מוזל. לכן הכדאיות תלויה בכמות ההקשר שנעשה בו שימוש חוזר ובמספר הפעמים שמשתמשים בו. OpenAI API
ומה לגבי Codex ו־Work?
הטענה שלפיה המטמון נשמר ללא הגבלת זמן למשתמשים מחוברים ב־Codex וב־Work דורשת מקור נוסף. התיעוד המקושר כאן מתייחס למטמון ב־API ואינו מאשר אותה.
-
אנת'רופיק חושפת עוזר AI חדש, Claude Duet, שיעבוד במקומכם!!
-אחרי ההצלחה של Muse, Instinct ו-Grok Bot, גם אנת'רופיק מצטרפת למרוץ הסוכנים האישיים עם כלי חדש שירוץ ברקע, יטפל במשימות שלכם ויידע מתי להפריע לכם-

כל הפרטים בספויילר:
מחפשים עוזר AI שיעשה בשבילכם עבודה? אחרי Instinct, Muse, Dots ו-Grok Bot, גם אנת'רופיק מצטרפת למירוץ ומשיקה את Duet. בניגוד לצ'אטבוטים רגילים, הסוכן החדש שלה לא מחכה לפקודות – הוא פשוט עובד ברקע, סורק מיילים, בונה דשבורדים ואפילו מעביר את האשראי כשצריך. אבל לפני שאתם רצים לפתוח חשבון, כדאי שתכירו את האותיות הקטנות.
מה הוא יעשה?
אנת'רופיק חשפה אמש את הסוכן החדש שלא רק מחכה שתכתבו לו פקודות, אלא יוזם פעולות, עוקב אחרי מה שחשוב לכם וממשיך לעבוד גם כשאתם בכלל לא מול המסך. דואט מגיע באפליקציה חדשה שנבנתה סביב המודל החזק ביותר של החברה, קלוד אופוס 5.5. בניגוד לצ'אטבוט קלאסי, דואט אמור לפנות אליכם בעצמו. הוא יכול להכין עבורכם בכל בוקר בריף קצר עם הדברים החשובים ביותר שדורשים תשומת לב, על בסיס מידע מהחשבונות שחיברתם אליו, וימשיך להתריע במהלך היום כשמשהו דורש התייחסות דחופה.בנייה של דשבורדים ותשלום באשראי
היכולות של דואט לא נגמרות בתזכורות פשוטות. באנת'רופיק מסבירים שתוכלו לסנג'ר אותו עם משימות מורכבות כמו ניהול יומן ומיילים, בניית דשבורדים, יצירת תשקיפים לתיק השקעות, פיתוח אבות-טיפוס ואפילו בניית אפליקציות ווב. הסוכן מסוגל להיעזר ביותר מ-6,000 חיבורים ותוספים הזמינים כיום ב-Claude Marketplace, בהם ג'ימייל, סלאק, סטרייפ, האבספוט, שופיפיי, קנבה ועוד.היתרון הגדול הוא שהסוכן לא מתחיל מאפס. הוא נשען על הזיכרון והיכולות שכבר הגדרתם בחשבון הקיים שלכם, כך שהוא פונה אליכם רק במה שרלוונטי ללא תהליך חפיפה ארוך. השיחה מתנהלת בשרשור מתמשך, בטקסט או בקול, כשלסוכן יש מחשב וירטואלי משלו בענן הכולל דפדפן, כך שהוא עובד גם כשהמכשירים שלכם כבויים. בנוסף, הסוכן יכול לבצע רכישות עבור העסק באמצעות הארנק הדיגיטלי של סטרייפ עם כרטיס וירטואלי, כדי לא לחשוף את פרטי האשראי האמיתיים שלכם, ותומך גם בתשלומים דרך Shop Pay. בהמשך צפויה להתווסף תמיכה ב-1Password להתחברות מאובטחת לאתרים.
שכבות הגנה והתחרות בשוק מבחינת אבטחה, באנת'רופיק טוענים שדואט לא רואה ישירות את הסיסמאות שלכם, וכל פעולה רגישה כמו תשלום או מחיקת מידע דורשת אישור מפורש מראש. מערכת סיווג מיוחדת מנסה למנוע הדלפת מידע רגיש כמו כרטיסי אשראי, ופעולות מסוימות חסומות מראש לחלוטין, כמו מסחר בניירות ערך.
דואט נכנס לשוק תחרותי. מיוז של מטא ואינסטינקט מתמקדים יותר בחיים האישיים ובסידורים דרך אפליקציות מסרים כמו וואטסאפ. מנגד, מתחרים כמו גרוק בוט של xAI ו-Dots מתמקדים בשוק העבודה ומאפשרים יצירת צוותי סוכנים שלמים שעובדים במקביל – בעוד דואט מספק סוכן אחד.
הכוכביות
קראתם, התלהבתם, והגיע הזמן לשחק עם דואט, נכון? לא בדיוק. אנת'רופיק משחררת את Claude Duet כרגע בגרסת Research Preview בלבד, והגישה אליו מוגבלת למנויי Pro ו-Max בארצות הברית שנרשמים לרשימת המתנה. הסוכן זמין כאפליקציה נפרדת לאייפון ולאנדרואיד וגם דרך claude.ai, אך עדיין לא משולב באפליקציית Claude הרגילה. אנת'רופיק גם מודה כי בגרסה הנוכחית הסוכן עלול לפספס מידע בשיחה או להעריך לא נכון מה דחוף, וכי הוא עדיין פחות מוצלח במשימות אישיות כמו הזמנת כרטיסים. בנוסף, לפחות כרגע, אין למשתמשים אפשרות לצפות בדפדפן שבו הסוכן עובד כפי שניתן לעשות עם המתחרים שלו.כוכבית נוספת היא המכסה של הסוכן. בניגוד למיוז ואחרים שכרגע מקבלים מכסת שימוש נפרדת (וגם דורשים מינוי בתשלום כדי להרחיב אותה), דואט יהיה חלק ממכסת הטוקנים של המינוי שלכם – הכוללת אותו, את השיחות שלכם קלוד בצ'אט וכמובן קלוד קוד. בגלל ההחלטה הזאת, באנת'רופיק מציינים כי הסוכן יוכל לבדוק חשבונות שאתם מחברים אליו אחת לכמה שעות, ולא באופן רציף, כדי לוודא שהוא לא חורך לכם את מכסת הטוקנים.
מקור:
https://www.geektime.co.il/anthropic-launches-claude-duet-ai-agent/
-
אנת'רופיק חושפת עוזר AI חדש, Claude Duet, שיעבוד במקומכם!!
-אחרי ההצלחה של Muse, Instinct ו-Grok Bot, גם אנת'רופיק מצטרפת למרוץ הסוכנים האישיים עם כלי חדש שירוץ ברקע, יטפל במשימות שלכם ויידע מתי להפריע לכם-

כל הפרטים בספויילר:
מחפשים עוזר AI שיעשה בשבילכם עבודה? אחרי Instinct, Muse, Dots ו-Grok Bot, גם אנת'רופיק מצטרפת למירוץ ומשיקה את Duet. בניגוד לצ'אטבוטים רגילים, הסוכן החדש שלה לא מחכה לפקודות – הוא פשוט עובד ברקע, סורק מיילים, בונה דשבורדים ואפילו מעביר את האשראי כשצריך. אבל לפני שאתם רצים לפתוח חשבון, כדאי שתכירו את האותיות הקטנות.
מה הוא יעשה?
אנת'רופיק חשפה אמש את הסוכן החדש שלא רק מחכה שתכתבו לו פקודות, אלא יוזם פעולות, עוקב אחרי מה שחשוב לכם וממשיך לעבוד גם כשאתם בכלל לא מול המסך. דואט מגיע באפליקציה חדשה שנבנתה סביב המודל החזק ביותר של החברה, קלוד אופוס 5.5. בניגוד לצ'אטבוט קלאסי, דואט אמור לפנות אליכם בעצמו. הוא יכול להכין עבורכם בכל בוקר בריף קצר עם הדברים החשובים ביותר שדורשים תשומת לב, על בסיס מידע מהחשבונות שחיברתם אליו, וימשיך להתריע במהלך היום כשמשהו דורש התייחסות דחופה.בנייה של דשבורדים ותשלום באשראי
היכולות של דואט לא נגמרות בתזכורות פשוטות. באנת'רופיק מסבירים שתוכלו לסנג'ר אותו עם משימות מורכבות כמו ניהול יומן ומיילים, בניית דשבורדים, יצירת תשקיפים לתיק השקעות, פיתוח אבות-טיפוס ואפילו בניית אפליקציות ווב. הסוכן מסוגל להיעזר ביותר מ-6,000 חיבורים ותוספים הזמינים כיום ב-Claude Marketplace, בהם ג'ימייל, סלאק, סטרייפ, האבספוט, שופיפיי, קנבה ועוד.היתרון הגדול הוא שהסוכן לא מתחיל מאפס. הוא נשען על הזיכרון והיכולות שכבר הגדרתם בחשבון הקיים שלכם, כך שהוא פונה אליכם רק במה שרלוונטי ללא תהליך חפיפה ארוך. השיחה מתנהלת בשרשור מתמשך, בטקסט או בקול, כשלסוכן יש מחשב וירטואלי משלו בענן הכולל דפדפן, כך שהוא עובד גם כשהמכשירים שלכם כבויים. בנוסף, הסוכן יכול לבצע רכישות עבור העסק באמצעות הארנק הדיגיטלי של סטרייפ עם כרטיס וירטואלי, כדי לא לחשוף את פרטי האשראי האמיתיים שלכם, ותומך גם בתשלומים דרך Shop Pay. בהמשך צפויה להתווסף תמיכה ב-1Password להתחברות מאובטחת לאתרים.
שכבות הגנה והתחרות בשוק מבחינת אבטחה, באנת'רופיק טוענים שדואט לא רואה ישירות את הסיסמאות שלכם, וכל פעולה רגישה כמו תשלום או מחיקת מידע דורשת אישור מפורש מראש. מערכת סיווג מיוחדת מנסה למנוע הדלפת מידע רגיש כמו כרטיסי אשראי, ופעולות מסוימות חסומות מראש לחלוטין, כמו מסחר בניירות ערך.
דואט נכנס לשוק תחרותי. מיוז של מטא ואינסטינקט מתמקדים יותר בחיים האישיים ובסידורים דרך אפליקציות מסרים כמו וואטסאפ. מנגד, מתחרים כמו גרוק בוט של xAI ו-Dots מתמקדים בשוק העבודה ומאפשרים יצירת צוותי סוכנים שלמים שעובדים במקביל – בעוד דואט מספק סוכן אחד.
הכוכביות
קראתם, התלהבתם, והגיע הזמן לשחק עם דואט, נכון? לא בדיוק. אנת'רופיק משחררת את Claude Duet כרגע בגרסת Research Preview בלבד, והגישה אליו מוגבלת למנויי Pro ו-Max בארצות הברית שנרשמים לרשימת המתנה. הסוכן זמין כאפליקציה נפרדת לאייפון ולאנדרואיד וגם דרך claude.ai, אך עדיין לא משולב באפליקציית Claude הרגילה. אנת'רופיק גם מודה כי בגרסה הנוכחית הסוכן עלול לפספס מידע בשיחה או להעריך לא נכון מה דחוף, וכי הוא עדיין פחות מוצלח במשימות אישיות כמו הזמנת כרטיסים. בנוסף, לפחות כרגע, אין למשתמשים אפשרות לצפות בדפדפן שבו הסוכן עובד כפי שניתן לעשות עם המתחרים שלו.כוכבית נוספת היא המכסה של הסוכן. בניגוד למיוז ואחרים שכרגע מקבלים מכסת שימוש נפרדת (וגם דורשים מינוי בתשלום כדי להרחיב אותה), דואט יהיה חלק ממכסת הטוקנים של המינוי שלכם – הכוללת אותו, את השיחות שלכם קלוד בצ'אט וכמובן קלוד קוד. בגלל ההחלטה הזאת, באנת'רופיק מציינים כי הסוכן יוכל לבדוק חשבונות שאתם מחברים אליו אחת לכמה שעות, ולא באופן רציף, כדי לוודא שהוא לא חורך לכם את מכסת הטוקנים.
מקור:
https://www.geektime.co.il/anthropic-launches-claude-duet-ai-agent/
הושק Kimi K3.1 Pro עם ציונים טובים מאוד


-
הושק Kimi K3.1 Pro עם ציונים טובים מאוד


פרטים נוספים על Moonshot AI • Kimi K3.1 Pro
חברת Moonshot AI הסינית משחררת את Kimi K3.1 Pro, מודל הדגל החדש שלה, המהווה שדרוג משמעותי ל-Kimi K3 ומתחרה ישירות במודלים הסגורים המובילים של OpenAI ואנת'רופיק.
המודל מבוסס על ארכיטקטורת MoE הכוללת כ-2.8 טריליון פרמטרים, מתוכם 104 מיליארד פעילים בכל טוקן, והוא מציג שיפורים ניכרים ביכולות תכנות, הפעלת סוכנים, יצירת מודלים תלת-ממדיים ומשימות מקצועיות מורכבות.
עיקרי החידושים:
- אימון RL בהיקף נרחב: הגדלה משמעותית של משאבי האימון לאחר ה-Pre-training, עם אימון על מאות סוגי משימות וסביבות עבודה. החברה מדווחת על שיפורים נרחבים ביכולות המודל, ללא שינוי מהותי בארכיטקטורה הבסיסית של K3.
- תכנות ופיתוח פרויקטים: יכולות מתקדמות בפיתוח פרויקטים שלמים, עבודה עם בסיסי קוד, תיקון תקלות ושימוש בכלים. המודל מסוגל לפתח משחקים וסביבות אינטראקטיביות באמצעות Unity, Unreal Engine ו-Godot.
- יצירת מודלים תלת-ממדיים: יכולת ליצור ולערוך מודלים ב-Blender ובתוכנות CAD, באמצעות כתיבה והרצה של סקריפטים. החברה השיקה גם את Kimi 3D Make, המאפשר ליצור מודלים מתיאור טקסטואלי או מתמונה, ולייצא אותם להדפסת תלת-ממד.
- משימות פיננסיות ומשרדיות: שיפור בניתוח מסמכים פיננסיים, בניית גיליונות חישוב, מחקר השקעות וביצוע תהליכים מורכבים הכוללים הצלבת מידע ממקורות שונים.
- דיוק עובדתי: במבחן פנימי של החברה, שיעור הטענות השגויות ירד מ-23.4% בדור הקודם ל-8.3% בגרסה החדשה, שיפור של כ-65%.
- יכולות מולטימודליות והקשר ארוך: תמיכה בקלט של טקסט, תמונות ווידאו, לצד חלון הקשר של מיליון טוקנים.
- גרסת Highspeed: לצד המודל הרגיל הושקה גרסה מהירה במיוחד, המספקת מהירות גבוהה פי 2-3, עם אותן יכולות בסיסיות.
מדדים:
על פי המדדים שפרסמה Moonshot, המודל מתחרה ישירות ב-Claude Opus 5.5 וב-GPT-6 Astra, ואף מוביל בחלק ממבחני הסוכנים והתכנות.- Terminal-Bench 4.0: ציון 65.7, לעומת 66.4 של Claude Opus 5.5 ו-58.2 של GPT-6 Astra.
- SWE-Marathon: ציון 51.7, לעומת 46.3 של Claude Opus 5.5.
- BrowseComp: ציון 92.1, לעומת 90.8 של Claude Opus 5.5.
- HLE עם כלים: ציון 70, לעומת 67.7 של Claude Opus 5.5.
- BenchCAD: ציון 92.7 ביצירת מודלים תלת-ממדיים באמצעות כלים.
גם במדדים העצמאיים של Artificial Analysis המודל מציג תוצאות מרשימות במיוחד, עם ציון 55 במדד Intelligence Index, לעומת 58 ל-Claude Opus 5.5. מדובר באחד הציונים הגבוהים ביותר שנמדדו למודל המיועד לשחרור במשקלים פתוחים.
עם זאת, במבחנים מסוימים, בעיקר בתכנות מדעי ובפתרון בעיות מורכבות, המודלים הסגורים עדיין מציגים יתרון משמעותי.
ניתן לראות את המדדים הויזואליים שהעלה @יוסף-מאיר-וייס
.זמינות ומחירים:
המודל זמין כבר כעת באתר Kimi, ב-Kimi Code, ב-Kimi Work וב-API הרשמי.מחיר השימוש ב-API:
- קלט: 2 דולר למיליון טוקנים.
- פלט: 10 דולר למיליון טוקנים.
- קלט ממטמון: 0.20 דולר למיליון טוקנים.
גרסת Highspeed עולה 4 דולר למיליון טוקני קלט ו-20 דולר למיליון טוקני פלט.
המשקלים עדיין לא פורסמו, אך החברה התחייבה לשחרר אותם עד 4 בנובמבר 2026. עד לפרסומם אין גרסת GGUF זמינה של המודל החדש.
קישורים:
- הודעת השחרור הרשמית והמדדים:
https://www.kimi.com/en/blog/kimi-k3-1-pro - עמוד המודלים של Moonshot ב-Hugging Face, לקראת פרסום המשקלים:
https://huggingface.co/moonshotai - התנסות במודל:
https://www.kimi.com/
-
OpenAI ו-Google משתפות פעולה - מודלי GPT-6 מגיעים ל-Google Cloud ול-Antigravity!
כבר עכשיו המודלים זמינים ללקוחות ארגוניים, ובהמשך הגישה תיפתח לכלל המנויים.
מקורות:
https://openai.com/index/openai-models-google-cloud/
https://cloud.google.com/blog/products/ai-machine-learning/google-cloud-brings-openai-models-to-customers -
משתמשי נטפרי בגיפיטי?
מעתה יתווסף לכם על אתרים/תוכנות שתעשו בגיפיטי
הזרקה של ההודעה הבאה:
-
מאחר ובכל פעם שיוצא מודל או כלי AI חדש, או עדכון כלשהו למודל קיים מייד תוך כמה שעות מישהו ידאג להעלות נושא חדש עם ציטוט ארוך מאתר טכנולוגיה מזדמן המבשר באריכות על השקת המודל ויכולותיו, חשבתי פשוט ליצור נושא מתעדכן שבו יוכלו המשתמשים להעלות פוסטים קצרים ומתומצתים אודות המודלים החדשים והעדכונים, כך שכל המידע יהיה מרוכז במקום אחד, בקצרה ללא צורך לצטט כתבות שלמות כדי להצדיק פתיחת נושא חדש, ובכך למנוע הספמה של הפורום, כשלעיתים נפתחים במקביל 3 ויותר נושאים המבשרים על השקת מודל חדש...
נא לא להגיב על פוסטים אלא להעלות אך ורק עדכוני AI על מודלים וכלים חדשים וכדומה, בניסוח אנושי ומתומצת בלבד, בלי לפתוח דיונים.
מומלץ להגדיר את הנושא "במעקב" כדי להתעדכן מייד על כל פוסט שעולה.פוסט זה נמחק! -
משתמשי נטפרי בגיפיטי?
מעתה יתווסף לכם על אתרים/תוכנות שתעשו בגיפיטי
הזרקה של ההודעה הבאה:
-
פוסט זה נמחק!
-
משתמשי נטפרי בגיפיטי?
מעתה יתווסף לכם על אתרים/תוכנות שתעשו בגיפיטי
הזרקה של ההודעה הבאה:
-
OpenAI קיצרה פי 12 את זמן קריאת הנתונים מאחורי ChatGPT
OpenAI חושפת כיצד הרחיבה את פלטפורמת האחסון Habitat, המבוססת על Azure Cosmos DB ומחזיקה יותר מ-500 פטה-בייט. אחרי מעבר מריבוי דיירים לבידוד וחזרה, שיתוף פעולה הנדסי הדוק עם מיקרוסופט, שכבת מטמון ושכתוב ב-Rust הורידו את זמן הקריאה החציוני מכ-120 לכ-10 אלפיות שנייה. בהמשך מתוכננת מערכת אחסון פנימית בקנה מידה של אקסה-בייט.
פרטים מלאים בספויילר:
מאחורי כל שיחה ב-ChatGPT עומדת פלטפורמת אחסון פנימית בשם Habitat, שנדרשת להגיב בתוך אלפיות שנייה ליותר ממיליארד משתמשים ב-40 אזורים גאוגרפיים, ומחזיקה כיום יותר מ-500 פטה-בייט של נתונים. בפוסט הנדסי חדש, החלק השני בסדרה, מתארים מהנדסי OpenAI כיצד הרחיבו את רכיב האחסון שבבסיס הפלטפורמה: מסד הנתונים Azure Cosmos DB של מיקרוסופט. החלק הראשון עסק במעבר של Habitat מספריית לקוח בשפת Python לשירות עצמאי.
לפי החברה, סדר העדיפויות היה קבוע: קודם אמינות לתעבורה קריטית, אחר כך ביצועים למשתמשים ברחבי העולם, ולבסוף יעילות תפעולית בקנה מידה עצום.
בשלב הראשון כל העומסים רוכזו במכל (container) משותף אחד בכל חשבון, בהסתמך על מגבלת 10,000 יחידות בקשה לשנייה לכל מפתח מחיצה לוגי. בפועל, המגבלה נאכפת ברמת המחיצה הפיזית, כך שמפתחות שונים שחולקים מחיצה פיזית פגעו זה בזה. עומסים של פיצ'רים שוליים שיבשו לעיתים תהליכי התחברות והרשמה. בעיה נוספת: כשהנתונים גדלים, מחיצות מתפצלות והתפוקה הזמינה לכל מחיצה מצטמצמת, גם אם היקף הבקשות לא השתנה.
בשלב השני עברה OpenAI למכלים ייעודיים לכל שירות או פיצ'ר מרכזי. הבידוד צמצם תקלות כלל-אתריות, אבל הוליד בעיה ארגונית: כל צוות מוצר נדרש לתכנן קיבולת בעצמו. השקה שקפצה מאלף בקשות בבדיקות עומס למיליון בקשות ביום ההשקה יכלה לבלוע 5% מהמרווח במכל משותף גדול, אך לחרוג פי מאה מקיבולת מכל ייעודי קטן. לדברי המחברים, צוותים שכחו להגדיל מראש את הקיבולת, והמהנדסים מצאו את עצמם בחדרי תקלות ביום ההשקה.
בשלב השלישי חזרה החברה לריבוי דיירים כברירת מחדל, הפעם עם פתרונות שפותחו יחד עם צוות Azure: האטה של המפתחות החמים ביותר קודם, תיעדוף בקשות כך שעומסים לא-מקוונים מואטים לפני בקשות של משתמשי קצה, ומצב serverless משופר שנבנה עבור OpenAI ומאפשר לכל מחיצה פיזית להגיע ל-10,000 יחידות בקשה ולהתפצל גם לפי צריכה ולא רק לפי נפח. לפי החברה, מאז לא נרשמו תקלות של רעש שכנים או הקצאה.
כששירות מנוהל מפסיק להיות מנוהל
החשבון הגדול ביותר של OpenAI ב-Cosmos DB מאחסן עשרות פטה-בייט ומשרת יותר מ-20 מיליון בקשות בשנייה, ולטענת החברה אין פריסה אחרת בהיקף כזה. בסוף 2024 הפסקת חשמל באזור ענן מרכזי חשפה שהעברה לאזור משני של החשבונות הגדולים נמשכת כמה שעות, תרחיש שלא נבדק בקנה מידה זה. כחודש לאחר מכן, החזרה לאזור המקורי גרמה לנחשול חיבורים שהפיל את שער הגישה של המסד.
בעקבות זאת עברו הצוותים למודל של הנדסה משותפת: ניטור משותף של כל השכבות, סביבת בדיקות בגודל ייצור, פיתוח משותף של ערכות פיתוח וערוץ ישיר להזעקת מהנדסים בלי לעבור דרך מוקדי תמיכה.
ירידה פי 12 בזמן התגובה:
קריאות מהוות יותר מ-90% מהבקשות ל-Habitat, ולכן המאמץ ב-2026 התמקד בהן. האסטרטגיה כוללת אחסון נתונים קרוב למשתמשים כשהקיבולת מאפשרת, שכפול נרחב רק של מאגרים קטנים ורגישים במיוחד כמו נתוני אימות, ושכבת מטמון מבוזרת מבוססת Valkey. כדי לשמור על רעננות המטמון, החברה נשענת על לכידת שינויים (CDC) מתוך מסד הנתונים, שמפיצה פקודות ביטול גלובליות בתוך שניות, בהשראת מערכת TAO של Meta. במקביל נכתב שירות Habitat מחדש ב-Rust במקום Python.
התוצאה: זמן התגובה החציוני לקריאות ירד מכ-120 אלפיות שנייה לכ-10 אלפיות שנייה. מערך ה-CDC עצמו מעבד מיליוני שינויים בשנייה דרך יותר ממאה נושאי Kafka, ומזין גם אינדקסים משניים, צינורות העברת נתונים ואנליטיקה.
יותר מ-90%
שיעור הקריאות מכלל הבקשות ל-Habitat
כ-10 אלפיות שנייה
זמן התגובה החציוני לקריאות לאחר השיפור
מערכת אחסון פנימית בקנה מידה של אקסה-בייט
לקראת מיליארד המשתמשים הבא, OpenAI מפתחת מערכת אחסון פנימית בקנה מידה של אקסה-בייט, המיועדת לסוגי הנתונים הכבדים של Habitat. המערכת משלבת את ליבת RocksDB Cloud של Rockset עם שכפול מבוסס Raft, ושומרת על מודל המסמכים של Cosmos DB. לפי החברה, היא מפרידה בין אחסון לעיבוד ומשתמשת בשכפול פיזי כדי לחסוך בנפח זיכרון הבזק, במחיר של תפוקת שיא נמוכה יותר. -
פוסט זה נמחק!
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות
