Mistral AI • Voxtral 3
חברת Mistral הצרפתית משחררת את Voxtral 3, דור חדש של מודלי AI לדיבור, הכולל מודלים לתמלול, זיהוי דוברים ויצירת קול טבעי, לצד SDK חדש לבניית סוכנים קוליים בזמן אמת.
הסדרה מיועדת לאפשר פיתוח עוזרים קוליים המסוגלים להאזין למשתמש, להבין בקשות מורכבות, להפעיל כלים ולענות בקול טבעי, תוך השהיה נמוכה במיוחד ותמיכה בעשרות שפות.
המודלים החדשים:
Voxtral Small Transcribe 3: מודל התמלול המתקדם בסדרה, התומך ביותר מ-50 שפות, בזיהוי דוברים ובהתאמת התמלול למונחים מקצועיים.
Voxtral Mini Transcribe 3: מודל תמלול חסכוני בגודל 4B, המציע יכולות דומות במחיר נמוך יותר.
Voxtral Mini Transcribe Realtime 3: מודל לתמלול שיחות בזמן אמת, עם השהיה הניתנת להגדרה החל מ-80 אלפיות השנייה, זיהוי דוברים וזיהוי אוטומטי של סיום תור הדיבור.
Voxtral TTS 3: מודל חדש ליצירת דיבור טבעי, התומך ביותר מ-35 שפות ו-50 ניבים, עם יכולות מתקדמות להתאמת קול, רגש וקצב דיבור.
עיקרי החידושים:
סוכנים קוליים בזמן אמת: SDK חדש המבוסס על LiveKit ומשלב תמלול, מודל שפה, הפעלת כלים ויצירת קול בצינור עיבוד רציף. לטענת החברה, ניתן להגיע לזמן תגובה כולל של פחות משנייה, כולל תמיכה בקטיעת דברי הסוכן כשהמשתמש מתחיל לדבר.
תמלול רב-לשוני: הרחבת התמיכה ליותר מ-50 שפות, עם שיפורים משמעותיים בדיוק התמלול, בזיהוי דוברים ובהתמודדות עם מבטאים שונים.
Context Biasing: אפשרות להזין שמות, מונחים מקצועיים ומידע הקשרי כדי לשפר את דיוק התמלול, ללא צורך באימון נוסף.
יצירת קול טבעי: מודל ה-TTS החדש מתאים את האינטונציה, הרגש, ההדגשות וקצב הדיבור לתוכן השיחה. קיימת גם אפשרות לשליטה מפורשת באופן ההגייה ובסגנון הדיבור.
שיבוט קול: תמיכה ב-Zero-shot Voice Cloning, לצד אפשרות Pro Voice המאפשרת להתאים קול מקצועי על בסיס הקלטה של כ-30 דקות, כולל מאפייני הדיבור והסגנון הייחודיים של הדובר.
ארכיטקטורה מודולרית: ניתן להחליף בנפרד את מודל התמלול, מודל השפה ומודל יצירת הקול, ולהריץ את המערכת באמצעות ה-API של Mistral או בתשתית פרטית.
מדדים:
לפי המדדים שפרסמה Mistral, גרסת Small Transcribe 3 מציגה תוצאות מובילות בתמלול רב-לשוני ובזיהוי דוברים, ועוקפת במבחנים שנערכו את Whisper large-v3, את Scribe v2 ואת Gemini 3.5 Transcribe.
גם גרסת Realtime מציגה תוצאות תחרותיות במיוחד בתמלול רציף, תוך שמירה על השהיה נמוכה מ-500 אלפיות השנייה.
ביצועי התמלול נבדקו בין היתר במדדי FLEURS ובמדד WER העצמאי של Artificial Analysis.
זמינות ומחירים:
כל המודלים זמינים כעת באמצעות ה-API של Mistral:
Mini Transcribe 3: מחיר של 0.0035 דולר לדקת אודיו.
Small Transcribe 3: מחיר של 0.004 דולר לדקה.
Realtime Transcribe 3: מחיר של 0.008 דולר לדקה.
Voxtral TTS 3: מחיר של 13 דולר למיליון תווים.
Mistral מציעה גם אפשרות לפריסה פרטית של המערכת בתיאום עם החברה. בשלב זה לא פורסמו משקלים להורדה חופשית ב-Hugging Face עבור מודלי Voxtral 3.
קישורים:
הודעת השחרור הרשמית והמדדים:
https://mistral.ai/news/voxtral-3/
התנסות במודלים:
https://console.mistral.ai/
4
1
4
5
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}