המלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...

[א.מ.ד.]

@ש.צ.ש יש צפי ל-GGUF עבור מודלי ה-12B וה-1.7B?

[בנימין מחשבים]

@א.מ.ד. 1.7B כבר יש

[א.מ.ד.]

@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@א.מ.ד. 1.7B כבר יש

אני מחכה לגרסאות של Unsloth, שהן הקוונטיזציות הכי יעילות עם כמה שפחות ירידה באיכות.

[בנימין מחשבים]

@ש.צ.ש כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0

לא עדיף את הברירת מחדל? -
unsloth : DictaLM 3.0 24B Thinking GGUF Q4_K_S

[א.מ.ד.]

@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@ש.צ.ש כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0

לא עדיף את הברירת מחדל? -
unsloth : DictaLM 3.0 24B Thinking GGUF Q4_K_S

זה פחות טוב

[106]

לכל המבינים,
מה למעשה הכי מומלץ? צריך לצאטים בעיקר, קצת לסיכומי חומר.
מחשב בסיסי, מעבד I5, זיכרון 8G
יישר כח

[בנימין מחשבים]

@106 כלום לא מומלץ. לא נראה לי שעם 8 ראם ובלי GPU תוכל להוציא מזה משהו

[106]

@בנימין-מחשבים
דווקא לפני שנה היה לי מודל שעבד סביר, לא זוכר מה.

[א.מ.ד.]

@106 כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

לכל המבינים,
מה למעשה הכי מומלץ? צריך לצאטים בעיקר, קצת לסיכומי חומר.
מחשב בסיסי, מעבד I5, זיכרון 8G
יישר כח

את גרסת ה-1.7B חשיבה.
אבל תחכה לגרסאות של Unsloth. ניסיתי עכשיו את הגרסה של VRDate והיא ממש גרועה ולא שימושית.

זה בעברית, בשפות אחרות יש לך מבחר עצום.

[בנימין מחשבים]

@א.מ.ד. אשמח לדעת אלו עוד חלופות יש לי מלבד LM Studio והאם זה משפיע על איכות התשובות

אגב- ב1.7B אפשר בכלל לנהל שיחה הגיונית?

[א.מ.ד.]

@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@א.מ.ד. אשמח לדעת אלו עוד חלופות יש לי מלבד LM Studio והאם זה משפיע על איכות התשובות

זה התוכנה הכי טובה כרגע.

@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

אגב- ב1.7B אפשר בכלל לנהל שיחה הגיונית?

אני מנהל שיחות הגיוניות באנגלית גם עם מודלי 350M. תנסה לדוגמא את GRANITE 4.0 H 350M.

[וואס איז נעייס]

@בנימין-מחשבים אני מריץ את זה דרך הדפדפן צורך הרבה פחות משאבים והרבה יותר מהיר

[א.מ.ד.]

@וואס-איז-נעייס כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@בנימין-מחשבים אני מריץ את זה דרך הדפדפן מורך הרבה פחות משאבים והרבה יותר מהיר

איך פחות משאבים? זה אותו דבר בדיוק

[בנימין מחשבים]

@א.מ.ד. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

אני מנהל שיחות הגיוניות באנגלית

אני לא יודע מה עדיף: שגיאות שלו בעברית או שגיאות שלי באנגלית...

[א.מ.ד.]

@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@א.מ.ד. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

אני מנהל שיחות הגיוניות באנגלית

אני לא יודע מה עדיף: שגיאות שלו בעברית או שגיאות שלי באנגלית...

תעבוד עם טרנסלייט

[בנימין מחשבים]

@א.מ.ד. אם יש טרנסלייט אז למה לא ג'יימיני?

[בנימין מחשבים]

@א.מ.ד. אגב, יש לי בעיה-
כשאני מוחק מודל-המקום לא מתפנה לי בדיסק. ניסיתי לחפש אותו ידנית בתיקית C:\Users\משתמש.lmstudio\models
ולא מצאתי

[וואס איז נעייס]

@א.מ.ד. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

איך פחות משאבים? זה אותו דבר בדיוק

המציאות היא שעם LM STUDIO כל המחשב שלי נהיה איטי ודרך הדפדפן הרבה יותר מהיר ופחות משפיע על המחשב, אין לי מושג למה

[א.מ.ד.]

@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@א.מ.ד. אם יש טרנסלייט אז למה לא ג'יימיני?

כי טרנסלייט יש גם באופליין

[א.מ.ד.]

@וואס-איז-נעייס כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@א.מ.ד. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

איך פחות משאבים? זה אותו דבר בדיוק

המציאות היא שעם LM STUDIO כל המחשב שלי נהיה איטי ודרך הדפדפן הרבה יותר מהיר ופחות משפיע על המחשב, אין לי מושג למה

אולי זה מודל בקוונטיזציה יותר גבוהה
או שיש לך כרטיס גרפי טוב ואתה לא משתמש בו עם LMSTUDIO