המלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...

[א.מ.ד.]

חברת דיקטה הישראלית השיקה היום את משפחת מודלי DictaLM 3.0, המאומנת מראש על מערכי נתונים עצומים בעברית, וכוללת בתוכה מודלים בשלושה גדלים - 24b, 12b ו-1.7b פרמטרים, כשבכל רמת גודל קיימים מודל בסיס (השלמת טקסט), מודל צ'אט פשוט מודל חשיבה.

מודל ה-24b מבוסס על ארכיטקטורת mistral small 3.1 24b, מודל ה-12b על ארכיטקטורת nemotron של Nvidia ומודל ה-1.7b מבוסס על ארכיטקטורת qwen3.

בשונה המודלים הקודמים של דיקטה ושל שאר חברות ה-ai המובילות, שבהם המודלים אומנו על אנגלית ורק אחר כך כווננו לשפות אחרות שבהן עברית, המודל החדש אומן מראש על קורפוס נתונים נרחב בעברית, מה שמקנה לו יכולות בשפה העברית ברמה גבוהה בהרבה ממודלים בטווח הגודל הזה ואף יותר גדולים כמו Gemma 3 27b.
כמובן שהמודל לא מתקרב ליכולות של gpt 5 או gemini 3.0, אבל מדובר בפריצת דרך משמעותית, ודאי ביחס לגדלי המודל.

אפשר להתנסות במודל ה-24b כאן:
https://chat.dicta.org.il

או להוריד את כלל המודלים מכאן:
https://huggingface.co/collections/dicta-il/dictalm-30-collection

מקור: גיקטיים

[צדיק וטוב לו 0]

@א.מ.ד. אשמח אם מישהו יסביר מה המטרה שלהם במודלים האלו.
הם שואפים שיום אחד זה יהיה יותר טוב (בעברית) מהמודלים המוכרים?
אולי @NH.LOCAL יאיר את עיני.

[NH.LOCAL]

@צדיק-וטוב-לו-0 כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@א.מ.ד. אשמח אם מישהו יסביר מה המטרה שלהם במודלים האלו.
הם שואפים שיום אחד זה יהיה יותר טוב (בעברית) מהמודלים המוכרים?
אולי @NH.LOCAL יאיר את עיני.

השאלה למעשה היא למה בכלל מייצרים מודלים פתוחים, לא רק ביחד לדיקטה

מודל פתוח הוא לרוב הרבה יותר זול ממודל סגור, וגם מאפשר לשמור על פרטיות

[א.מ.ד.]

@צדיק-וטוב-לו-0 כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@א.מ.ד. אשמח אם מישהו יסביר מה המטרה שלהם במודלים האלו.
הם שואפים שיום אחד זה יהיה יותר טוב (בעברית) מהמודלים המוכרים?
אולי @NH.LOCAL יאיר את עיני.

אני לא חושב שהם מנסים להתעלות על המודלים הגדולים, אבל יש מקרי שימוש רבים שבהם מספיק מודל קטן שרק יודע טוב את השפה.
יש לדיקטה כמה כלים שמבוססים על המודלים שלהם, כמו נקדן - שמנקד אוטומטית טקסטים בעברית, או רב דיקטה ש"פוסק" בשאלות הלכתיות. בלי להיכנס לנכונות התשובה, זה מרשים שזה מופעל על מודל של 7b.
וזה בלי לדבר על החשיבות של מודלים שמשוחררים בקוד פתוח עם רישיון מלא לשימוש פרטי ומסחרי, כך שהם ניתנים להפעלה חינמית לכל צורך, ועל החשיבות של מודלים זעירים שמסוגלים לרוץ על מכשירי קצה...
אני מחכה שתצא גרסת ה-gguf של מודל ה-1.7b שתוכל לרוץ בקלות גם על מכשירי אנדרואיד חלשים בעברית מלאה...

[צדיק תמים]

@א.מ.ד. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

יש לדיקטה כמה כלים שמבוססים על המודלים שלהם, כמו נקדן - שמנקד אוטומטית טקסטים בעברית, או רב דיקטה ש"פוסק" בשאלות הלכתיות. בלי להיכנס לנכונות התשובה, זה מרשים שזה מופעל על מודל של 7b.

רב דיקטה זה קלוד (לפחות ככה היה בהשקה), ונקדן זה בכלל לא LLM

[צדיק תמים]

@א.מ.ד. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

בשונה המודלים הקודמים של דיקטה ושל שאר חברות ה-ai המובילות, שבהם המודלים אומנו על אנגלית ורק אחר כך כווננו לשפות אחרות שבהן עברית, המודל החדש אומן מראש על קורפוס נתונים נרחב בעברית, מה שמקנה לו יכולות בשפה העברית ברמה גבוהה בהרבה ממודלים בטווח הגודל הזה ואף יותר גדולים כמו Gemma 3 27b.

לא יודע מאיפה גיקטיים הביאו את זה, זה בהחלט מבוסס על מודלים קיימים
https://dicta.org.il/dicta-lm-3#:~:text=The models were initialized from strong open-weight base models

[צדיק וטוב לו 0]

@צדיק-תמים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@א.מ.ד. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

בשונה המודלים הקודמים של דיקטה ושל שאר חברות ה-ai המובילות, שבהם המודלים אומנו על אנגלית ורק אחר כך כווננו לשפות אחרות שבהן עברית, המודל החדש אומן מראש על קורפוס נתונים נרחב בעברית, מה שמקנה לו יכולות בשפה העברית ברמה גבוהה בהרבה ממודלים בטווח הגודל הזה ואף יותר גדולים כמו Gemma 3 27b.

לא יודע מאיפה גיקטיים הביאו את זה, זה בהחלט מבוסס על מודלים קיימים
https://dicta.org.il/dicta-lm-3#:~:text=The models were initialized from strong open-weight base models

זה בדיוק מה שכתוב בגיקטיים:

המודל הבסיסי שעליו אומן דיקטה 3.0 הגדול הוא מודל פתוח באנגלית (Mistral 24B), בזמן שהמודל השני אומן על מודל הנימוטרון הבסיסי של אנבידיה עם 12 מיליארד פרמטרים.

וכנראה לזה התכוון הרב @א.מ.ד. :

@א.מ.ד. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

מודל ה-24b מבוסס על ארכיטקטורת mistral small 3.1 24b, מודל ה-12b על ארכיטקטורת nemotron של Nvidia ומודל ה-1.7b מבוסס על ארכיטקטורת qwen3.

[חובבן מקצועי]

@א.מ.ד. זה מגיע אבל ביחס איכות לGPT 3.5? (וגמיני 2)

[לא-מתייאש]

@א.מ.ד. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

חברת דיקטה הישראלית השיקה היום את משפחת מודלי DictaLM 3.0, המאומנת מראש על מערכי נתונים עצומים בעברית, וכוללת בתוכה מודלים בשלושה גדלים - 24b, 12b ו-1.7b פרמטרים, כשבכל רמת גודל קיימים מודל בסיס (השלמת טקסט), מודל צ'אט פשוט מודל חשיבה.

מודל ה-24b מבוסס על ארכיטקטורת mistral small 3.1 24b, מודל ה-12b על ארכיטקטורת nemotron של Nvidia ומודל ה-1.7b מבוסס על ארכיטקטורת qwen3.

בשונה המודלים הקודמים של דיקטה ושל שאר חברות ה-ai המובילות, שבהם המודלים אומנו על אנגלית ורק אחר כך כווננו לשפות אחרות שבהן עברית, המודל החדש אומן מראש על קורפוס נתונים נרחב בעברית, מה שמקנה לו יכולות בשפה העברית ברמה גבוהה בהרבה ממודלים בטווח הגודל הזה ואף יותר גדולים כמו Gemma 3 27b.
כמובן שהמודל לא מתקרב ליכולות של gpt 5 או gemini 3.0, אבל מדובר בפריצת דרך משמעותית, ודאי ביחס לגדלי המודל.

אפשר להתנסות במודל ה-24b כאן:
https://chat.dicta.org.il

או להוריד את כלל המודלים מכאן:
https://huggingface.co/collections/dicta-il/dictalm-30-collection

מקור: גיקטיים

פצצה !

[אלי ויל]

לא ברור מה העניין הרי גמיני יותר חזק בעברית לפי הערכה שלהם עצמם
https://huggingface.co/spaces/hebrew-llm-leaderboard/chat-leaderboard
מוזר שהשופט שלהם נשאר O4

[לא-מתייאש]

@אלי-ויל כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

לא ברור מה העניין הרי גמיני יותר חזק בעברית לפי הערכה שלהם עצמם
https://huggingface.co/spaces/hebrew-llm-leaderboard/chat-leaderboard
מוזר רגב שהשופט שלהם נשאר O4

הם לא מתחרים עם gemini, אבל אם אתה צריך להריץ מודל קטן, נגיד אתה צריך agent בשביל קופת חולים (שיסביך לך בנעימות שזמן ההמתנה ארוך מן הרגיל), אז במקום לשלם לgemini הון, אתה יכול להריץ את המודל שלך ובמודלים הקטנים הם וודאי הרבה הרבה יותר טובים מהאחרים וזה יספיק להרבה הרבה שימושים,

[י. פל.]

@לא-מתייאש
יש לזה סכוי בשביל התוכנה שלך?

[NH.LOCAL]

@אלי-ויל כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

לא ברור מה העניין הרי גמיני יותר חזק בעברית לפי הערכה שלהם עצמם
https://huggingface.co/spaces/hebrew-llm-leaderboard/chat-leaderboard
מוזר שהשופט שלהם נשאר O4

תתחיל בזה שזה יכול לקצץ בעלויות פי 100 ואולי יותר

[לא-מתייאש]

@י.-פל. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@לא-מתייאש
יש לזה סכוי בשביל התוכנה שלך?

כן אם אני בונה agent לוקלי אז זה ה-7b thinking לכאוראה יהיה הכי טוב, רק צריך להמיר אותו שאני אוכל להשתמש בו עם npu אבל נראה, אוליי יהיה כבר מודל חדש שאגיע לזה

[בנימין מחשבים]

נשמח אם מישהו יוכל לעדכן כשהמודלים האלו יצאו בגרסת gguf (למעט 24b thinking שכן יצא)

[דוד משה 1]

@בנימין-מחשבים איפה יש את 24b thinking gguf

[בנימין מחשבים]

@דוד-משה-1 אני מריד אותו כעת...

[א.מ.ד.]

@צדיק-תמים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@א.מ.ד. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

בשונה המודלים הקודמים של דיקטה ושל שאר חברות ה-ai המובילות, שבהם המודלים אומנו על אנגלית ורק אחר כך כווננו לשפות אחרות שבהן עברית, המודל החדש אומן מראש על קורפוס נתונים נרחב בעברית, מה שמקנה לו יכולות בשפה העברית ברמה גבוהה בהרבה ממודלים בטווח הגודל הזה ואף יותר גדולים כמו Gemma 3 27b.

לא יודע מאיפה גיקטיים הביאו את זה, זה בהחלט מבוסס על מודלים קיימים
https://dicta.org.il/dicta-lm-3#:~:text=The models were initialized from strong open-weight base models

@צדיק-וטוב-לו-0 דיקטה אימנו מחדש את המודלים המקוריים עם טקסט גדול בעברית. יש לעשות כוונון עדין, שזה מה שהם עשו עד עכשיו, ויש לשחזר את תהליך האימון מאפס עם מערכי נתונים וטקסט מותאמים לעברית.

[א.מ.ד.]

@לא-מתייאש כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@י.-פל. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@לא-מתייאש
יש לזה סכוי בשביל התוכנה שלך?

כן אם אני בונה agent לוקלי אז זה ה-7b thinking לכאוראה יהיה הכי טוב, רק צריך להמיר אותו שאני אוכל להשתמש בו עם npu אבל נראה, אוליי יהיה כבר מודל חדש שאגיע לזה

אין 7B Thinking, רק 1.7B שזה לכאורה קטן מידי ולא ייקלוט את הפרנציפ, או 12B שלכאורה גדול מידי למחשבים סטנדרטיים.

אם זה למטרת חיפוש טקסט, אולי כדאי לך לנסות לעבוד עם gemma3 embedding 300m - מודל הטמעת טקסט שמצויין גם בעברית. זה בעצם מחפש טקסט לפי הקירבה הווקטורית של משמעות המילה (וככה בעצם עובד כיום חיפוש גוגל), כך שהמילה "דלת" קרובה יותר במרחב הווקטורי ל"חלון" מאשר למילה "חתול" ותוכל להציג תוצאות חיפוש מקורבות.

[א.מ.ד.]

@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

נשמח אם מישהו יוכל לעדכן כשהמודלים האלו יצאו בגרסת gguf (למעט 24b thinking שכן יצא)

אני מנסה להמיר בעצמי ל-gguf, נראה אם אצליח אעדכן.