המלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...

[ש.צ.ש]

@בנימין-מחשבים כל הגרסאות שנוצרו ע"י VRDate הם לוקות בחסר, ולא מכילים את כל פרטי המודל ככה שאתה מקבל פלט לא טוב.

בשורה הראשונה יש את הגרסה שנוצרה ע"י Unsloth - זאת הגרסה הרשמית עבור המודל שלנו. אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0, ואז אמור לעבוד כמו שצריך.

עריכה: אני רואה עם הגרסה הזאת בעיות, אעדכן.

[בנימין מחשבים]

@ש.צ.ש לא יכול ללייק-אבל ממש תודה!
אני די חדש בתחום של מודלים AI באופליין, ועכשיו אני מתחיל להבין את ההבדלים בין מודלים
שוב תודה - אשמח לעדכונים.

[א.מ.ד.]

@ש.צ.ש יש צפי ל-GGUF עבור מודלי ה-12B וה-1.7B?

[בנימין מחשבים]

@א.מ.ד. 1.7B כבר יש

[א.מ.ד.]

@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@א.מ.ד. 1.7B כבר יש

אני מחכה לגרסאות של Unsloth, שהן הקוונטיזציות הכי יעילות עם כמה שפחות ירידה באיכות.

[בנימין מחשבים]

@ש.צ.ש כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0

לא עדיף את הברירת מחדל? -
unsloth : DictaLM 3.0 24B Thinking GGUF Q4_K_S

[א.מ.ד.]

@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@ש.צ.ש כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0

לא עדיף את הברירת מחדל? -
unsloth : DictaLM 3.0 24B Thinking GGUF Q4_K_S

זה פחות טוב

[106]

לכל המבינים,
מה למעשה הכי מומלץ? צריך לצאטים בעיקר, קצת לסיכומי חומר.
מחשב בסיסי, מעבד I5, זיכרון 8G
יישר כח

[בנימין מחשבים]

@106 כלום לא מומלץ. לא נראה לי שעם 8 ראם ובלי GPU תוכל להוציא מזה משהו

[106]

@בנימין-מחשבים
דווקא לפני שנה היה לי מודל שעבד סביר, לא זוכר מה.

[א.מ.ד.]

@106 כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

לכל המבינים,
מה למעשה הכי מומלץ? צריך לצאטים בעיקר, קצת לסיכומי חומר.
מחשב בסיסי, מעבד I5, זיכרון 8G
יישר כח

את גרסת ה-1.7B חשיבה.
אבל תחכה לגרסאות של Unsloth. ניסיתי עכשיו את הגרסה של VRDate והיא ממש גרועה ולא שימושית.

זה בעברית, בשפות אחרות יש לך מבחר עצום.

[בנימין מחשבים]

@א.מ.ד. אשמח לדעת אלו עוד חלופות יש לי מלבד LM Studio והאם זה משפיע על איכות התשובות

אגב- ב1.7B אפשר בכלל לנהל שיחה הגיונית?

[א.מ.ד.]

@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@א.מ.ד. אשמח לדעת אלו עוד חלופות יש לי מלבד LM Studio והאם זה משפיע על איכות התשובות

זה התוכנה הכי טובה כרגע.

@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

אגב- ב1.7B אפשר בכלל לנהל שיחה הגיונית?

אני מנהל שיחות הגיוניות באנגלית גם עם מודלי 350M. תנסה לדוגמא את GRANITE 4.0 H 350M.

[וואס איז נעייס]

@בנימין-מחשבים אני מריץ את זה דרך הדפדפן צורך הרבה פחות משאבים והרבה יותר מהיר

[א.מ.ד.]

@וואס-איז-נעייס כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@בנימין-מחשבים אני מריץ את זה דרך הדפדפן מורך הרבה פחות משאבים והרבה יותר מהיר

איך פחות משאבים? זה אותו דבר בדיוק

[בנימין מחשבים]

@א.מ.ד. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

אני מנהל שיחות הגיוניות באנגלית

אני לא יודע מה עדיף: שגיאות שלו בעברית או שגיאות שלי באנגלית...

[א.מ.ד.]

@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

@א.מ.ד. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

אני מנהל שיחות הגיוניות באנגלית

אני לא יודע מה עדיף: שגיאות שלו בעברית או שגיאות שלי באנגלית...

תעבוד עם טרנסלייט

[בנימין מחשבים]

@א.מ.ד. אם יש טרנסלייט אז למה לא ג'יימיני?

[בנימין מחשבים]

@א.מ.ד. אגב, יש לי בעיה-
כשאני מוחק מודל-המקום לא מתפנה לי בדיסק. ניסיתי לחפש אותו ידנית בתיקית C:\Users\משתמש.lmstudio\models
ולא מצאתי

[וואס איז נעייס]

@א.מ.ד. כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:

איך פחות משאבים? זה אותו דבר בדיוק

המציאות היא שעם LM STUDIO כל המחשב שלי נהיה איטי ודרך הדפדפן הרבה יותר מהיר ופחות משפיע על המחשב, אין לי מושג למה