המלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...
-
@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@י.-פל. חסום באתרוג. אם זה מעניין - אודה לך מאוד אם תוכל להעלותה כאן.
בתמיכת אנבידיה: דיקטה מכניסה את ארון הספרים היהודי ל-AI
העמותה הישראלית השיקה שלושה מודלי קוד פתוח שמאומנים על מאות מיליארדי טוקנים בעברית ובאנגלית, ומציבים סטנדרט חדש ליכולות AI מקומיות; טכנולוגיות האימון שבו השתמשה היא של אנבידיה
בזמן שמודלי השפה הגדולים ממשיכים להתקדם במהירות ברחבי העולם, רובם עדיין נשענים על אנגלית כשפה מרכזית, ורק בהמשך מקבלים עדכוני התאמה לשפות אחרות. היום מציגה דיקטה חלופה יוצאת דופן: סדרת Dicta-LM 3.0, אוסף מודלים גדולים וריבוניים בקוד פתוח, שתוכננו לספק יכולות עומק בעברית כבר משלב האימון הראשוני, לא כתוספת, אלא כבסיס.
בניגוד למודלי שפה בינלאומיים שנשענים כמעט לחלוטין על גופי מידע באנגלית, המודל של דיקטה מאומן מראש על מאגר דיגיטלי עצום של טקסטים עבריים, הכוללים מקורות פומביים, ארכיונים, אוספי תכנים מהספרייה הלאומית, חומרים שנמסרו לעמותה בידי גופים ציבוריים ופרטיים, ונתונים עבריים ייעודיים שפותחו במיוחד לצורכי המחקר. שילובם עם דאטה איכותי באנגלית יוצר מודלים שמבינים עברית ברמת עומק תרבותית ולשונית, תוך שמירה על יכולות ההסקה והידע הגלובלי של המודלים הבסיסיים שעליהם הותאמו.
ברמה הטכנית, מדובר באחת ההשקות החשובות ביותר בתחום ה-AI המקומי: מודלים במשקל 24 מיליארד (על בסיס Mistral), 12 מיליארד (על בסיס מודל בסיסי של אנבידיה) ו-1.7 מיליארד פרמטרים (שמיועד גם למכשירי קצה אישיים). המודלים הללו הוכשרו על כ-150 מיליארד טוקנים (כ-75% עברית, 25% אנגלית), תוך הרחבת חלון ההקשר המקורי של המודלים לכ-65 אלף טוקנים, כלומר כ-26 אלף מילים בעברית. כל שלושת המודלים זמינים לשימוש חופשי, ניתנים להורדה ישירות מ-HuggingFace, וניתנים להרצה הן בתצורה מלאה והן בגרסאות דחוסות כמו FP8 ו-4bit.
בנוסף, המודל הקטן זמין גם דרך אתר דיקטה.
שלושה מודלים - שלוש מטרות
כאמור, המודל המוביל של הסדרה החדשה מבוסס על Mistral Small 3.1, והוא מותאם להנמקה מתקדמת ולשיחה ארוכת־טווח. בנוסף אליו, ישנו דגם קל משקל המבוסס על ארכיטקטורת אנבידיה Nemotron Nano V2, המאפשר חלון הקשר ארוך משמעותית וצריכת זיכרון נמוכה.המודל הקטן יותר, מיועד להרצה על חומרה צרכנית, כולל מחשבים אישיים ואפילו מכשירי קצה. בכל הדגמים ניתן למצוא תמיכה מובנית ב-tool calling, המאפשרת חיבור לכלים חיצוניים, API וסביבות מידע בזמן ריצה. השילוב הזה אמור להיות אטרקטיבי לארגונים ישראליים, עם פתרונות AI ריבוניים שיכולים לרוץ on-prem על תשתיות קיימות, מבלי להסתמך על ענן זר או העברת מידע רגיש לחו״ל.
האימון כשילוב של דאטה מקומי ויכולות בינלאומיות
בניגוד למודלי שפה בינלאומיים שמושתתים כמעט לגמרי על טקסטים באנגלית, כבר בשלב האימון הראשוני (Pretraining), המודל “קורא” מיליארדי מילים ומפתח הבנה בסיסית של עברית ואנגלית מתוך הקורפוס הזה. לאחר מכן מגיע שלב ההתאמה (Fine-tuning), שבו מלמדים את המודל כיצד להתנהג בשיחה אמיתית: לענות ישירות, להבין הקשרים ולספק מידע שימושי. בסוף מתבצע גם שלב חיזוק (RL), שבו המודל מקבל משוב חכם על איכות התשובות שלו ומשתפר בהתאם. כל תהליך האימון מתבצע באמצעות מסגרת NeMo של NVIDIA, תוכנה ייעודית המאפשרת לאמן מודלים גדולים על תשתיות מחשוב מתקדמות, ומבטיחה שמודלי דיקטה ישלבו עומק לשוני עברי עם יכולות הסקה וידע כלליות ברמה בינלאומית.המפתחים מדגישים כי המטרה לא הייתה ליצור מודל שמתחרה ישירות במודלי הענק המסחריים (כמו GPT-5, קלוד או ג'מיני), אלא מודל ריבוני מוגדר היטב, שמסוגל לספק פלט איכותי בעברית, ובמידת הצורך להיות מותאם למצבי שימוש בתחומים משפטיים, פיננסיים, ציבוריים ורגולטוריים. העובדה שהמודלים פתוחים לחלוטין מאפשרת לכל ארגון לבצע fine-tuning על בסיס מאגרי מידע פרטיים, מבלי לחלוק אותם עם גורם חיצוני.
ההשקה של דיקטה מגיעה בזמן שבו אנבידיה מכריזה באירופה על תכנית רחבה לבניית "מודלים ריבוניים" לשפות מקומיות, יוזמה הכוללת שותפויות עם מוסדות בצרפת, איטליה, ספרד, שוודיה, פולין, סלובקיה, מדינות הבלקן וישראל. מטרת היוזמה היא לאפשר למדינות ולארגונים לפתח ולפרוס מודלי AI חזקים בתוך גבולותיהם, תוך שמירה על ריבונות נתונים, התאמה שפתית ומקומית מלאה, וצריכת משאבי מחשוב יעילה.
במסגרת היוזמה, המודלים של דיקטה עוברים שדרוג בעזרת טכנולוגיות של אנבידיה, Neural Architecture Search (NAS) – תהליך אוטומטי שבודק אינספור אפשרויות כדי למצוא את מבנה המודל היעיל ביותר. בנוסף נעשה שימוש בדאטא סינתטי, ובהמשך מבצעים גם אופטימיזציה ל-inference, שהוא שלב התגובה של המודל בזמן אמת, כך שהתשובות יהיו מהירות יותר וידרשו פחות כוח מחשוב. לאחר כל אלה, המודלים נארזים כ-NVIDIA NIM microservices, שהם למעשה שירותי AI מוכנים להפעלה, ומוטמעים גם במנוע החיפוש של פרפלקסיטי כדי לאפשר תמיכה טובה ומדויקת יותר בשפות מקומיות כמו עברית.
ובפועל, כשמשתמשים במודל, הוא אמנם מפגין הבנה עמוקה של העברית, אך עם תגובה איטית בהשוואה למודלים הפופולריים, ויש יותר צורך לבקש הבהרות או הרחבות. עם זאת, ההתנסות מדגישה את יתרון המודל: הוא אינו מיועד להיות מהיר יותר או "גמיש" יותר, אלא להיות מודל עברי יסודי, מפוקס, בטוח לפריסה עצמאית, ופתוח לשיפור על ידי הקהילה.
לצד פעילותה בתחום מודלי השפה, עמותת דיקטה מפעילה מגוון כלים חינמיים לעיבוד וטיפול בטקסטים בעברית, בהם כלי ניתוח לשוני, ערוך חיפוש מורכב בתנ"ך ובתלמוד, להשוות בין עדי נוסח, למצוא שיבוצים בטקסט ועוד. דיקטה, הפועלת כעמותה ללא מטרת רווח, מקדמת מחקר ופיתוח בטכנולוגיות שפה עבריות ומספקת פתרונות חדשניים לקהל הרחב, לאקדמיה ולמגזר הציבורי. שילוב הכלים והמחקר שבבסיסם הוא שמאפשר לעמותה להוביל יוזמות כמו Dicta-LM 3.0 ולהרחיב את גבולות ה-AI העברי.
-
@בנימין-מחשבים איך מאכזב? דווקא אצלי עובד מעולה. תשווה לאתר הרשמי: chat.dicta.org.il, אמור להיות אותו דבר...
-
@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@א.מ.ד. ניסיתי את המודל 24B בגרסת gguf שלהם והוא מאוד מאוד מאכזב!
ג'מה 3 12B הרבה יותר טוב...מעניין... בצ'אט באתר שלהם התוצאות דווקא טובות...
-
@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@א.מ.ד. ניסיתי את המודל 24B בגרסת gguf שלהם והוא מאוד מאוד מאכזב!
ג'מה 3 12B הרבה יותר טוב...מעניין... בצ'אט באתר שלהם התוצאות דווקא טובות...
@א.מ.ד. גם לי באתר התוצאות היו מצוינות. הורדתי 2 גרסאות של 24B ומשתיהם הייתי מאוד לא מרוצה
(אם כי תמיד זה יכול להיות באשמת המחשב שלי...)
-
@א.מ.ד. גם לי באתר התוצאות היו מצוינות. הורדתי 2 גרסאות של 24B ומשתיהם הייתי מאוד לא מרוצה
(אם כי תמיד זה יכול להיות באשמת המחשב שלי...)
@בנימין-מחשבים יש דוגמאות?
ספוילר: אני מדיקטה
-
@בנימין-מחשבים יש דוגמאות?
ספוילר: אני מדיקטה@ש.צ.ש לא. התעצבנתי עליו ומחקתי את המודל... (אני לא אוריד עוד פעם 15 ג'יגה בשביל זה...)
עריכה- מצאתי בכל אופן תגובה אחת שלו די מטומטמת-בספוליר
-
@ש.צ.ש לא. התעצבנתי עליו ומחקתי את המודל... (אני לא אוריד עוד פעם 15 ג'יגה בשביל זה...)
עריכה- מצאתי בכל אופן תגובה אחת שלו די מטומטמת-בספוליר @בנימין-מחשבים באיזה תוכנה אתה משתמש? LM Studio?
-
@בנימין-מחשבים באיזה תוכנה אתה משתמש? LM Studio?
@ש.צ.ש אכן.
-
@ש.צ.ש אכן.
@בנימין-מחשבים אני כבר רואה שיש בעייה - המודל הזה הוא מודל חושב, ולכן הוא אמור לחשוב לפני שהוא עונה.
זה בעייה של "Chat Template" - איך שהוא הופך הודעות לטקסט רציף של המודל.אני רואה שהורדת את גירסת ה-4 ביט של vLLM, שלא מתאים לLM Studio.
עדיף להוריד את הגרסה מכאן: unsloth/DictaLM-3.0-24B-Thinking-GGUF
-
@בנימין-מחשבים אני כבר רואה שיש בעייה - המודל הזה הוא מודל חושב, ולכן הוא אמור לחשוב לפני שהוא עונה.
זה בעייה של "Chat Template" - איך שהוא הופך הודעות לטקסט רציף של המודל.אני רואה שהורדת את גירסת ה-4 ביט של vLLM, שלא מתאים לLM Studio.
עדיף להוריד את הגרסה מכאן: unsloth/DictaLM-3.0-24B-Thinking-GGUF
@ש.צ.ש יש מצב קצת פירוט?
למה לא להוריד ישירות מתוך הממשק של LM Studio, ואם כן-איזה בדיוק להוריד (האופציות בספוילר)
והאם יש צורך בהגדרות מיוחדות כדי שזה יפעל טוב.האופציות להורדה-
המודל שאני כל כך מרוצה ממנו הוא זה-
-
@ש.צ.ש יש מצב קצת פירוט?
למה לא להוריד ישירות מתוך הממשק של LM Studio, ואם כן-איזה בדיוק להוריד (האופציות בספוילר)
והאם יש צורך בהגדרות מיוחדות כדי שזה יפעל טוב.האופציות להורדה-
המודל שאני כל כך מרוצה ממנו הוא זה-
@בנימין-מחשבים כל הגרסאות שנוצרו ע"י VRDate הם לוקות בחסר, ולא מכילים את כל פרטי המודל ככה שאתה מקבל פלט לא טוב.
בשורה הראשונה יש את הגרסה שנוצרה ע"י Unsloth - זאת הגרסה הרשמית עבור המודל שלנו. אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0, ואז אמור לעבוד כמו שצריך.
עריכה: אני רואה עם הגרסה הזאת בעיות, אעדכן.
-
@בנימין-מחשבים כל הגרסאות שנוצרו ע"י VRDate הם לוקות בחסר, ולא מכילים את כל פרטי המודל ככה שאתה מקבל פלט לא טוב.
בשורה הראשונה יש את הגרסה שנוצרה ע"י Unsloth - זאת הגרסה הרשמית עבור המודל שלנו. אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0, ואז אמור לעבוד כמו שצריך.
עריכה: אני רואה עם הגרסה הזאת בעיות, אעדכן.
@ש.צ.ש לא יכול ללייק-אבל ממש תודה!
אני די חדש בתחום של מודלים AI באופליין, ועכשיו אני מתחיל להבין את ההבדלים בין מודלים
שוב תודה - אשמח לעדכונים. -
@בנימין-מחשבים כל הגרסאות שנוצרו ע"י VRDate הם לוקות בחסר, ולא מכילים את כל פרטי המודל ככה שאתה מקבל פלט לא טוב.
בשורה הראשונה יש את הגרסה שנוצרה ע"י Unsloth - זאת הגרסה הרשמית עבור המודל שלנו. אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0, ואז אמור לעבוד כמו שצריך.
עריכה: אני רואה עם הגרסה הזאת בעיות, אעדכן.
-
@א.מ.ד. 1.7B כבר יש
@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@א.מ.ד. 1.7B כבר יש
אני מחכה לגרסאות של Unsloth, שהן הקוונטיזציות הכי יעילות עם כמה שפחות ירידה באיכות.
-
@בנימין-מחשבים כל הגרסאות שנוצרו ע"י VRDate הם לוקות בחסר, ולא מכילים את כל פרטי המודל ככה שאתה מקבל פלט לא טוב.
בשורה הראשונה יש את הגרסה שנוצרה ע"י Unsloth - זאת הגרסה הרשמית עבור המודל שלנו. אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0, ואז אמור לעבוד כמו שצריך.
עריכה: אני רואה עם הגרסה הזאת בעיות, אעדכן.
@ש.צ.ש כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0
לא עדיף את הברירת מחדל? -
unsloth : DictaLM 3.0 24B Thinking GGUF Q4_K_S -
@ש.צ.ש כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0
לא עדיף את הברירת מחדל? -
unsloth : DictaLM 3.0 24B Thinking GGUF Q4_K_S@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@ש.צ.ש כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0
לא עדיף את הברירת מחדל? -
unsloth : DictaLM 3.0 24B Thinking GGUF Q4_K_Sזה פחות טוב
-
לכל המבינים,
מה למעשה הכי מומלץ? צריך לצאטים בעיקר, קצת לסיכומי חומר.
מחשב בסיסי, מעבד I5, זיכרון 8G
יישר כח@106 כלום לא מומלץ. לא נראה לי שעם 8 ראם ובלי GPU תוכל להוציא מזה משהו
-
@106 כלום לא מומלץ. לא נראה לי שעם 8 ראם ובלי GPU תוכל להוציא מזה משהו
@בנימין-מחשבים
דווקא לפני שנה היה לי מודל שעבד סביר, לא זוכר מה.
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}