שיתוף | מה חדש בבינה מלאכותית - מתעדכן
-
משתמשי נטפרי בגיפיטי?
מעתה יתווסף לכם על אתרים/תוכנות שתעשו בגיפיטי
הזרקה של ההודעה הבאה:
-
מאחר ובכל פעם שיוצא מודל או כלי AI חדש, או עדכון כלשהו למודל קיים מייד תוך כמה שעות מישהו ידאג להעלות נושא חדש עם ציטוט ארוך מאתר טכנולוגיה מזדמן המבשר באריכות על השקת המודל ויכולותיו, חשבתי פשוט ליצור נושא מתעדכן שבו יוכלו המשתמשים להעלות פוסטים קצרים ומתומצתים אודות המודלים החדשים והעדכונים, כך שכל המידע יהיה מרוכז במקום אחד, בקצרה ללא צורך לצטט כתבות שלמות כדי להצדיק פתיחת נושא חדש, ובכך למנוע הספמה של הפורום, כשלעיתים נפתחים במקביל 3 ויותר נושאים המבשרים על השקת מודל חדש...
נא לא להגיב על פוסטים אלא להעלות אך ורק עדכוני AI על מודלים וכלים חדשים וכדומה, בניסוח אנושי ומתומצת בלבד, בלי לפתוח דיונים.
מומלץ להגדיר את הנושא "במעקב" כדי להתעדכן מייד על כל פוסט שעולה.פוסט זה נמחק! -
משתמשי נטפרי בגיפיטי?
מעתה יתווסף לכם על אתרים/תוכנות שתעשו בגיפיטי
הזרקה של ההודעה הבאה: -
פוסט זה נמחק!
-
משתמשי נטפרי בגיפיטי?
מעתה יתווסף לכם על אתרים/תוכנות שתעשו בגיפיטי
הזרקה של ההודעה הבאה: -
OpenAI קיצרה פי 12 את זמן קריאת הנתונים מאחורי ChatGPT
OpenAI חושפת כיצד הרחיבה את פלטפורמת האחסון Habitat, המבוססת על Azure Cosmos DB ומחזיקה יותר מ-500 פטה-בייט. אחרי מעבר מריבוי דיירים לבידוד וחזרה, שיתוף פעולה הנדסי הדוק עם מיקרוסופט, שכבת מטמון ושכתוב ב-Rust הורידו את זמן הקריאה החציוני מכ-120 לכ-10 אלפיות שנייה. בהמשך מתוכננת מערכת אחסון פנימית בקנה מידה של אקסה-בייט.
פרטים מלאים בספויילר:
מאחורי כל שיחה ב-ChatGPT עומדת פלטפורמת אחסון פנימית בשם Habitat, שנדרשת להגיב בתוך אלפיות שנייה ליותר ממיליארד משתמשים ב-40 אזורים גאוגרפיים, ומחזיקה כיום יותר מ-500 פטה-בייט של נתונים. בפוסט הנדסי חדש, החלק השני בסדרה, מתארים מהנדסי OpenAI כיצד הרחיבו את רכיב האחסון שבבסיס הפלטפורמה: מסד הנתונים Azure Cosmos DB של מיקרוסופט. החלק הראשון עסק במעבר של Habitat מספריית לקוח בשפת Python לשירות עצמאי.
לפי החברה, סדר העדיפויות היה קבוע: קודם אמינות לתעבורה קריטית, אחר כך ביצועים למשתמשים ברחבי העולם, ולבסוף יעילות תפעולית בקנה מידה עצום.
בשלב הראשון כל העומסים רוכזו במכל (container) משותף אחד בכל חשבון, בהסתמך על מגבלת 10,000 יחידות בקשה לשנייה לכל מפתח מחיצה לוגי. בפועל, המגבלה נאכפת ברמת המחיצה הפיזית, כך שמפתחות שונים שחולקים מחיצה פיזית פגעו זה בזה. עומסים של פיצ'רים שוליים שיבשו לעיתים תהליכי התחברות והרשמה. בעיה נוספת: כשהנתונים גדלים, מחיצות מתפצלות והתפוקה הזמינה לכל מחיצה מצטמצמת, גם אם היקף הבקשות לא השתנה.
בשלב השני עברה OpenAI למכלים ייעודיים לכל שירות או פיצ'ר מרכזי. הבידוד צמצם תקלות כלל-אתריות, אבל הוליד בעיה ארגונית: כל צוות מוצר נדרש לתכנן קיבולת בעצמו. השקה שקפצה מאלף בקשות בבדיקות עומס למיליון בקשות ביום ההשקה יכלה לבלוע 5% מהמרווח במכל משותף גדול, אך לחרוג פי מאה מקיבולת מכל ייעודי קטן. לדברי המחברים, צוותים שכחו להגדיל מראש את הקיבולת, והמהנדסים מצאו את עצמם בחדרי תקלות ביום ההשקה.
בשלב השלישי חזרה החברה לריבוי דיירים כברירת מחדל, הפעם עם פתרונות שפותחו יחד עם צוות Azure: האטה של המפתחות החמים ביותר קודם, תיעדוף בקשות כך שעומסים לא-מקוונים מואטים לפני בקשות של משתמשי קצה, ומצב serverless משופר שנבנה עבור OpenAI ומאפשר לכל מחיצה פיזית להגיע ל-10,000 יחידות בקשה ולהתפצל גם לפי צריכה ולא רק לפי נפח. לפי החברה, מאז לא נרשמו תקלות של רעש שכנים או הקצאה.
כששירות מנוהל מפסיק להיות מנוהל
החשבון הגדול ביותר של OpenAI ב-Cosmos DB מאחסן עשרות פטה-בייט ומשרת יותר מ-20 מיליון בקשות בשנייה, ולטענת החברה אין פריסה אחרת בהיקף כזה. בסוף 2024 הפסקת חשמל באזור ענן מרכזי חשפה שהעברה לאזור משני של החשבונות הגדולים נמשכת כמה שעות, תרחיש שלא נבדק בקנה מידה זה. כחודש לאחר מכן, החזרה לאזור המקורי גרמה לנחשול חיבורים שהפיל את שער הגישה של המסד.
בעקבות זאת עברו הצוותים למודל של הנדסה משותפת: ניטור משותף של כל השכבות, סביבת בדיקות בגודל ייצור, פיתוח משותף של ערכות פיתוח וערוץ ישיר להזעקת מהנדסים בלי לעבור דרך מוקדי תמיכה.
ירידה פי 12 בזמן התגובה:
קריאות מהוות יותר מ-90% מהבקשות ל-Habitat, ולכן המאמץ ב-2026 התמקד בהן. האסטרטגיה כוללת אחסון נתונים קרוב למשתמשים כשהקיבולת מאפשרת, שכפול נרחב רק של מאגרים קטנים ורגישים במיוחד כמו נתוני אימות, ושכבת מטמון מבוזרת מבוססת Valkey. כדי לשמור על רעננות המטמון, החברה נשענת על לכידת שינויים (CDC) מתוך מסד הנתונים, שמפיצה פקודות ביטול גלובליות בתוך שניות, בהשראת מערכת TAO של Meta. במקביל נכתב שירות Habitat מחדש ב-Rust במקום Python.
התוצאה: זמן התגובה החציוני לקריאות ירד מכ-120 אלפיות שנייה לכ-10 אלפיות שנייה. מערך ה-CDC עצמו מעבד מיליוני שינויים בשנייה דרך יותר ממאה נושאי Kafka, ומזין גם אינדקסים משניים, צינורות העברת נתונים ואנליטיקה.
יותר מ-90%
שיעור הקריאות מכלל הבקשות ל-Habitat
כ-10 אלפיות שנייה
זמן התגובה החציוני לקריאות לאחר השיפור
מערכת אחסון פנימית בקנה מידה של אקסה-בייט
לקראת מיליארד המשתמשים הבא, OpenAI מפתחת מערכת אחסון פנימית בקנה מידה של אקסה-בייט, המיועדת לסוגי הנתונים הכבדים של Habitat. המערכת משלבת את ליבת RocksDB Cloud של Rockset עם שכפול מבוסס Raft, ושומרת על מודל המסמכים של Cosmos DB. לפי החברה, היא מפרידה בין אחסון לעיבוד ומשתמשת בשכפול פיזי כדי לחסוך בנפח זיכרון הבזק, במחיר של תפוקת שיא נמוכה יותר. -
פוסט זה נמחק!
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}