המלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...
-
נשמח אם מישהו יוכל לעדכן כשהמודלים האלו יצאו בגרסת gguf (למעט 24b thinking שכן יצא)
-
נשמח אם מישהו יוכל לעדכן כשהמודלים האלו יצאו בגרסת gguf (למעט 24b thinking שכן יצא)
@בנימין-מחשבים איפה יש את 24b thinking gguf
-
@בנימין-מחשבים איפה יש את 24b thinking gguf
@דוד-משה-1 אני מריד אותו כעת...
-
@א.מ.ד. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
בשונה המודלים הקודמים של דיקטה ושל שאר חברות ה-ai המובילות, שבהם המודלים אומנו על אנגלית ורק אחר כך כווננו לשפות אחרות שבהן עברית, המודל החדש אומן מראש על קורפוס נתונים נרחב בעברית, מה שמקנה לו יכולות בשפה העברית ברמה גבוהה בהרבה ממודלים בטווח הגודל הזה ואף יותר גדולים כמו Gemma 3 27b.
לא יודע מאיפה גיקטיים הביאו את זה, זה בהחלט מבוסס על מודלים קיימים
https://dicta.org.il/dicta-lm-3#:~:text=The models were initialized from strong open-weight base models@צדיק-תמים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@א.מ.ד. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
בשונה המודלים הקודמים של דיקטה ושל שאר חברות ה-ai המובילות, שבהם המודלים אומנו על אנגלית ורק אחר כך כווננו לשפות אחרות שבהן עברית, המודל החדש אומן מראש על קורפוס נתונים נרחב בעברית, מה שמקנה לו יכולות בשפה העברית ברמה גבוהה בהרבה ממודלים בטווח הגודל הזה ואף יותר גדולים כמו Gemma 3 27b.
לא יודע מאיפה גיקטיים הביאו את זה, זה בהחלט מבוסס על מודלים קיימים
https://dicta.org.il/dicta-lm-3#:~:text=The models were initialized from strong open-weight base models@צדיק-וטוב-לו-0 דיקטה אימנו מחדש את המודלים המקוריים עם טקסט גדול בעברית. יש לעשות כוונון עדין, שזה מה שהם עשו עד עכשיו, ויש לשחזר את תהליך האימון מאפס עם מערכי נתונים וטקסט מותאמים לעברית.
-
@י.-פל. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@לא-מתייאש
יש לזה סכוי בשביל התוכנה שלך?כן אם אני בונה agent לוקלי אז זה ה-7b thinking לכאוראה יהיה הכי טוב, רק צריך להמיר אותו שאני אוכל להשתמש בו עם npu אבל נראה, אוליי יהיה כבר מודל חדש שאגיע לזה
@לא-מתייאש כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@י.-פל. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@לא-מתייאש
יש לזה סכוי בשביל התוכנה שלך?כן אם אני בונה agent לוקלי אז זה ה-7b thinking לכאוראה יהיה הכי טוב, רק צריך להמיר אותו שאני אוכל להשתמש בו עם npu אבל נראה, אוליי יהיה כבר מודל חדש שאגיע לזה
אין 7B Thinking, רק 1.7B שזה לכאורה קטן מידי ולא ייקלוט את הפרנציפ, או 12B שלכאורה גדול מידי למחשבים סטנדרטיים.
אם זה למטרת חיפוש טקסט, אולי כדאי לך לנסות לעבוד עם gemma3 embedding 300m - מודל הטמעת טקסט שמצויין גם בעברית. זה בעצם מחפש טקסט לפי הקירבה הווקטורית של משמעות המילה (וככה בעצם עובד כיום חיפוש גוגל), כך שהמילה "דלת" קרובה יותר במרחב הווקטורי ל"חלון" מאשר למילה "חתול" ותוכל להציג תוצאות חיפוש מקורבות.
-
נשמח אם מישהו יוכל לעדכן כשהמודלים האלו יצאו בגרסת gguf (למעט 24b thinking שכן יצא)
@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
נשמח אם מישהו יוכל לעדכן כשהמודלים האלו יצאו בגרסת gguf (למעט 24b thinking שכן יצא)
אני מנסה להמיר בעצמי ל-gguf, נראה אם אצליח אעדכן.
-
@אלי-ויל כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
לא ברור מה העניין הרי גמיני יותר חזק בעברית לפי הערכה שלהם עצמם
https://huggingface.co/spaces/hebrew-llm-leaderboard/chat-leaderboard
מוזר רגב שהשופט שלהם נשאר O4הם לא מתחרים עם gemini, אבל אם אתה צריך להריץ מודל קטן, נגיד אתה צריך agent בשביל קופת חולים (שיסביך לך בנעימות שזמן ההמתנה ארוך מן הרגיל), אז במקום לשלם לgemini הון, אתה יכול להריץ את המודל שלך ובמודלים הקטנים הם וודאי הרבה הרבה יותר טובים מהאחרים וזה יספיק להרבה הרבה שימושים,
-
עוד כתבה מעניינת...
https://www.bizportal.co.il/BizTech/news/article/20024547 -
עוד כתבה מעניינת...
https://www.bizportal.co.il/BizTech/news/article/20024547 -
@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@י.-פל. חסום באתרוג. אם זה מעניין - אודה לך מאוד אם תוכל להעלותה כאן.
בתמיכת אנבידיה: דיקטה מכניסה את ארון הספרים היהודי ל-AI
העמותה הישראלית השיקה שלושה מודלי קוד פתוח שמאומנים על מאות מיליארדי טוקנים בעברית ובאנגלית, ומציבים סטנדרט חדש ליכולות AI מקומיות; טכנולוגיות האימון שבו השתמשה היא של אנבידיה
בזמן שמודלי השפה הגדולים ממשיכים להתקדם במהירות ברחבי העולם, רובם עדיין נשענים על אנגלית כשפה מרכזית, ורק בהמשך מקבלים עדכוני התאמה לשפות אחרות. היום מציגה דיקטה חלופה יוצאת דופן: סדרת Dicta-LM 3.0, אוסף מודלים גדולים וריבוניים בקוד פתוח, שתוכננו לספק יכולות עומק בעברית כבר משלב האימון הראשוני, לא כתוספת, אלא כבסיס.
בניגוד למודלי שפה בינלאומיים שנשענים כמעט לחלוטין על גופי מידע באנגלית, המודל של דיקטה מאומן מראש על מאגר דיגיטלי עצום של טקסטים עבריים, הכוללים מקורות פומביים, ארכיונים, אוספי תכנים מהספרייה הלאומית, חומרים שנמסרו לעמותה בידי גופים ציבוריים ופרטיים, ונתונים עבריים ייעודיים שפותחו במיוחד לצורכי המחקר. שילובם עם דאטה איכותי באנגלית יוצר מודלים שמבינים עברית ברמת עומק תרבותית ולשונית, תוך שמירה על יכולות ההסקה והידע הגלובלי של המודלים הבסיסיים שעליהם הותאמו.
ברמה הטכנית, מדובר באחת ההשקות החשובות ביותר בתחום ה-AI המקומי: מודלים במשקל 24 מיליארד (על בסיס Mistral), 12 מיליארד (על בסיס מודל בסיסי של אנבידיה) ו-1.7 מיליארד פרמטרים (שמיועד גם למכשירי קצה אישיים). המודלים הללו הוכשרו על כ-150 מיליארד טוקנים (כ-75% עברית, 25% אנגלית), תוך הרחבת חלון ההקשר המקורי של המודלים לכ-65 אלף טוקנים, כלומר כ-26 אלף מילים בעברית. כל שלושת המודלים זמינים לשימוש חופשי, ניתנים להורדה ישירות מ-HuggingFace, וניתנים להרצה הן בתצורה מלאה והן בגרסאות דחוסות כמו FP8 ו-4bit.
בנוסף, המודל הקטן זמין גם דרך אתר דיקטה.
שלושה מודלים - שלוש מטרות
כאמור, המודל המוביל של הסדרה החדשה מבוסס על Mistral Small 3.1, והוא מותאם להנמקה מתקדמת ולשיחה ארוכת־טווח. בנוסף אליו, ישנו דגם קל משקל המבוסס על ארכיטקטורת אנבידיה Nemotron Nano V2, המאפשר חלון הקשר ארוך משמעותית וצריכת זיכרון נמוכה.המודל הקטן יותר, מיועד להרצה על חומרה צרכנית, כולל מחשבים אישיים ואפילו מכשירי קצה. בכל הדגמים ניתן למצוא תמיכה מובנית ב-tool calling, המאפשרת חיבור לכלים חיצוניים, API וסביבות מידע בזמן ריצה. השילוב הזה אמור להיות אטרקטיבי לארגונים ישראליים, עם פתרונות AI ריבוניים שיכולים לרוץ on-prem על תשתיות קיימות, מבלי להסתמך על ענן זר או העברת מידע רגיש לחו״ל.
האימון כשילוב של דאטה מקומי ויכולות בינלאומיות
בניגוד למודלי שפה בינלאומיים שמושתתים כמעט לגמרי על טקסטים באנגלית, כבר בשלב האימון הראשוני (Pretraining), המודל “קורא” מיליארדי מילים ומפתח הבנה בסיסית של עברית ואנגלית מתוך הקורפוס הזה. לאחר מכן מגיע שלב ההתאמה (Fine-tuning), שבו מלמדים את המודל כיצד להתנהג בשיחה אמיתית: לענות ישירות, להבין הקשרים ולספק מידע שימושי. בסוף מתבצע גם שלב חיזוק (RL), שבו המודל מקבל משוב חכם על איכות התשובות שלו ומשתפר בהתאם. כל תהליך האימון מתבצע באמצעות מסגרת NeMo של NVIDIA, תוכנה ייעודית המאפשרת לאמן מודלים גדולים על תשתיות מחשוב מתקדמות, ומבטיחה שמודלי דיקטה ישלבו עומק לשוני עברי עם יכולות הסקה וידע כלליות ברמה בינלאומית.המפתחים מדגישים כי המטרה לא הייתה ליצור מודל שמתחרה ישירות במודלי הענק המסחריים (כמו GPT-5, קלוד או ג'מיני), אלא מודל ריבוני מוגדר היטב, שמסוגל לספק פלט איכותי בעברית, ובמידת הצורך להיות מותאם למצבי שימוש בתחומים משפטיים, פיננסיים, ציבוריים ורגולטוריים. העובדה שהמודלים פתוחים לחלוטין מאפשרת לכל ארגון לבצע fine-tuning על בסיס מאגרי מידע פרטיים, מבלי לחלוק אותם עם גורם חיצוני.
ההשקה של דיקטה מגיעה בזמן שבו אנבידיה מכריזה באירופה על תכנית רחבה לבניית "מודלים ריבוניים" לשפות מקומיות, יוזמה הכוללת שותפויות עם מוסדות בצרפת, איטליה, ספרד, שוודיה, פולין, סלובקיה, מדינות הבלקן וישראל. מטרת היוזמה היא לאפשר למדינות ולארגונים לפתח ולפרוס מודלי AI חזקים בתוך גבולותיהם, תוך שמירה על ריבונות נתונים, התאמה שפתית ומקומית מלאה, וצריכת משאבי מחשוב יעילה.
במסגרת היוזמה, המודלים של דיקטה עוברים שדרוג בעזרת טכנולוגיות של אנבידיה, Neural Architecture Search (NAS) – תהליך אוטומטי שבודק אינספור אפשרויות כדי למצוא את מבנה המודל היעיל ביותר. בנוסף נעשה שימוש בדאטא סינתטי, ובהמשך מבצעים גם אופטימיזציה ל-inference, שהוא שלב התגובה של המודל בזמן אמת, כך שהתשובות יהיו מהירות יותר וידרשו פחות כוח מחשוב. לאחר כל אלה, המודלים נארזים כ-NVIDIA NIM microservices, שהם למעשה שירותי AI מוכנים להפעלה, ומוטמעים גם במנוע החיפוש של פרפלקסיטי כדי לאפשר תמיכה טובה ומדויקת יותר בשפות מקומיות כמו עברית.
ובפועל, כשמשתמשים במודל, הוא אמנם מפגין הבנה עמוקה של העברית, אך עם תגובה איטית בהשוואה למודלים הפופולריים, ויש יותר צורך לבקש הבהרות או הרחבות. עם זאת, ההתנסות מדגישה את יתרון המודל: הוא אינו מיועד להיות מהיר יותר או "גמיש" יותר, אלא להיות מודל עברי יסודי, מפוקס, בטוח לפריסה עצמאית, ופתוח לשיפור על ידי הקהילה.
לצד פעילותה בתחום מודלי השפה, עמותת דיקטה מפעילה מגוון כלים חינמיים לעיבוד וטיפול בטקסטים בעברית, בהם כלי ניתוח לשוני, ערוך חיפוש מורכב בתנ"ך ובתלמוד, להשוות בין עדי נוסח, למצוא שיבוצים בטקסט ועוד. דיקטה, הפועלת כעמותה ללא מטרת רווח, מקדמת מחקר ופיתוח בטכנולוגיות שפה עבריות ומספקת פתרונות חדשניים לקהל הרחב, לאקדמיה ולמגזר הציבורי. שילוב הכלים והמחקר שבבסיסם הוא שמאפשר לעמותה להוביל יוזמות כמו Dicta-LM 3.0 ולהרחיב את גבולות ה-AI העברי.
-
@בנימין-מחשבים איך מאכזב? דווקא אצלי עובד מעולה. תשווה לאתר הרשמי: chat.dicta.org.il, אמור להיות אותו דבר...
-
@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@א.מ.ד. ניסיתי את המודל 24B בגרסת gguf שלהם והוא מאוד מאוד מאכזב!
ג'מה 3 12B הרבה יותר טוב...מעניין... בצ'אט באתר שלהם התוצאות דווקא טובות...
-
@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@א.מ.ד. ניסיתי את המודל 24B בגרסת gguf שלהם והוא מאוד מאוד מאכזב!
ג'מה 3 12B הרבה יותר טוב...מעניין... בצ'אט באתר שלהם התוצאות דווקא טובות...
@א.מ.ד. גם לי באתר התוצאות היו מצוינות. הורדתי 2 גרסאות של 24B ומשתיהם הייתי מאוד לא מרוצה
(אם כי תמיד זה יכול להיות באשמת המחשב שלי...)
-
@א.מ.ד. גם לי באתר התוצאות היו מצוינות. הורדתי 2 גרסאות של 24B ומשתיהם הייתי מאוד לא מרוצה
(אם כי תמיד זה יכול להיות באשמת המחשב שלי...)
@בנימין-מחשבים יש דוגמאות?
ספוילר: אני מדיקטה
-
@בנימין-מחשבים יש דוגמאות?
ספוילר: אני מדיקטה@ש.צ.ש לא. התעצבנתי עליו ומחקתי את המודל... (אני לא אוריד עוד פעם 15 ג'יגה בשביל זה...)
עריכה- מצאתי בכל אופן תגובה אחת שלו די מטומטמת-בספוליר
-
@ש.צ.ש לא. התעצבנתי עליו ומחקתי את המודל... (אני לא אוריד עוד פעם 15 ג'יגה בשביל זה...)
עריכה- מצאתי בכל אופן תגובה אחת שלו די מטומטמת-בספוליר @בנימין-מחשבים באיזה תוכנה אתה משתמש? LM Studio?
-
@בנימין-מחשבים באיזה תוכנה אתה משתמש? LM Studio?
@ש.צ.ש אכן.
-
@ש.צ.ש אכן.
@בנימין-מחשבים אני כבר רואה שיש בעייה - המודל הזה הוא מודל חושב, ולכן הוא אמור לחשוב לפני שהוא עונה.
זה בעייה של "Chat Template" - איך שהוא הופך הודעות לטקסט רציף של המודל.אני רואה שהורדת את גירסת ה-4 ביט של vLLM, שלא מתאים לLM Studio.
עדיף להוריד את הגרסה מכאן: unsloth/DictaLM-3.0-24B-Thinking-GGUF
-
@בנימין-מחשבים אני כבר רואה שיש בעייה - המודל הזה הוא מודל חושב, ולכן הוא אמור לחשוב לפני שהוא עונה.
זה בעייה של "Chat Template" - איך שהוא הופך הודעות לטקסט רציף של המודל.אני רואה שהורדת את גירסת ה-4 ביט של vLLM, שלא מתאים לLM Studio.
עדיף להוריד את הגרסה מכאן: unsloth/DictaLM-3.0-24B-Thinking-GGUF
@ש.צ.ש יש מצב קצת פירוט?
למה לא להוריד ישירות מתוך הממשק של LM Studio, ואם כן-איזה בדיוק להוריד (האופציות בספוילר)
והאם יש צורך בהגדרות מיוחדות כדי שזה יפעל טוב.האופציות להורדה-
המודל שאני כל כך מרוצה ממנו הוא זה-
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}