המלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...
-
@א.מ.ד. גם לי באתר התוצאות היו מצוינות. הורדתי 2 גרסאות של 24B ומשתיהם הייתי מאוד לא מרוצה
(אם כי תמיד זה יכול להיות באשמת המחשב שלי...)
@בנימין-מחשבים יש דוגמאות?
ספוילר: אני מדיקטה
-
@בנימין-מחשבים יש דוגמאות?
ספוילר: אני מדיקטה@ש.צ.ש לא. התעצבנתי עליו ומחקתי את המודל... (אני לא אוריד עוד פעם 15 ג'יגה בשביל זה...)
עריכה- מצאתי בכל אופן תגובה אחת שלו די מטומטמת-בספוליר
-
@ש.צ.ש לא. התעצבנתי עליו ומחקתי את המודל... (אני לא אוריד עוד פעם 15 ג'יגה בשביל זה...)
עריכה- מצאתי בכל אופן תגובה אחת שלו די מטומטמת-בספוליר @בנימין-מחשבים באיזה תוכנה אתה משתמש? LM Studio?
-
@בנימין-מחשבים באיזה תוכנה אתה משתמש? LM Studio?
@ש.צ.ש אכן.
-
@ש.צ.ש אכן.
@בנימין-מחשבים אני כבר רואה שיש בעייה - המודל הזה הוא מודל חושב, ולכן הוא אמור לחשוב לפני שהוא עונה.
זה בעייה של "Chat Template" - איך שהוא הופך הודעות לטקסט רציף של המודל.אני רואה שהורדת את גירסת ה-4 ביט של vLLM, שלא מתאים לLM Studio.
עדיף להוריד את הגרסה מכאן: unsloth/DictaLM-3.0-24B-Thinking-GGUF
-
@בנימין-מחשבים אני כבר רואה שיש בעייה - המודל הזה הוא מודל חושב, ולכן הוא אמור לחשוב לפני שהוא עונה.
זה בעייה של "Chat Template" - איך שהוא הופך הודעות לטקסט רציף של המודל.אני רואה שהורדת את גירסת ה-4 ביט של vLLM, שלא מתאים לLM Studio.
עדיף להוריד את הגרסה מכאן: unsloth/DictaLM-3.0-24B-Thinking-GGUF
@ש.צ.ש יש מצב קצת פירוט?
למה לא להוריד ישירות מתוך הממשק של LM Studio, ואם כן-איזה בדיוק להוריד (האופציות בספוילר)
והאם יש צורך בהגדרות מיוחדות כדי שזה יפעל טוב.האופציות להורדה-
המודל שאני כל כך מרוצה ממנו הוא זה-
-
@ש.צ.ש יש מצב קצת פירוט?
למה לא להוריד ישירות מתוך הממשק של LM Studio, ואם כן-איזה בדיוק להוריד (האופציות בספוילר)
והאם יש צורך בהגדרות מיוחדות כדי שזה יפעל טוב.האופציות להורדה-
המודל שאני כל כך מרוצה ממנו הוא זה-
@בנימין-מחשבים כל הגרסאות שנוצרו ע"י VRDate הם לוקות בחסר, ולא מכילים את כל פרטי המודל ככה שאתה מקבל פלט לא טוב.
בשורה הראשונה יש את הגרסה שנוצרה ע"י Unsloth - זאת הגרסה הרשמית עבור המודל שלנו. אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0, ואז אמור לעבוד כמו שצריך.
עריכה: אני רואה עם הגרסה הזאת בעיות, אעדכן.
-
@בנימין-מחשבים כל הגרסאות שנוצרו ע"י VRDate הם לוקות בחסר, ולא מכילים את כל פרטי המודל ככה שאתה מקבל פלט לא טוב.
בשורה הראשונה יש את הגרסה שנוצרה ע"י Unsloth - זאת הגרסה הרשמית עבור המודל שלנו. אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0, ואז אמור לעבוד כמו שצריך.
עריכה: אני רואה עם הגרסה הזאת בעיות, אעדכן.
@ש.צ.ש לא יכול ללייק-אבל ממש תודה!
אני די חדש בתחום של מודלים AI באופליין, ועכשיו אני מתחיל להבין את ההבדלים בין מודלים
שוב תודה - אשמח לעדכונים. -
@בנימין-מחשבים כל הגרסאות שנוצרו ע"י VRDate הם לוקות בחסר, ולא מכילים את כל פרטי המודל ככה שאתה מקבל פלט לא טוב.
בשורה הראשונה יש את הגרסה שנוצרה ע"י Unsloth - זאת הגרסה הרשמית עבור המודל שלנו. אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0, ואז אמור לעבוד כמו שצריך.
עריכה: אני רואה עם הגרסה הזאת בעיות, אעדכן.
-
@א.מ.ד. 1.7B כבר יש
@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@א.מ.ד. 1.7B כבר יש
אני מחכה לגרסאות של Unsloth, שהן הקוונטיזציות הכי יעילות עם כמה שפחות ירידה באיכות.
-
@בנימין-מחשבים כל הגרסאות שנוצרו ע"י VRDate הם לוקות בחסר, ולא מכילים את כל פרטי המודל ככה שאתה מקבל פלט לא טוב.
בשורה הראשונה יש את הגרסה שנוצרה ע"י Unsloth - זאת הגרסה הרשמית עבור המודל שלנו. אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0, ואז אמור לעבוד כמו שצריך.
עריכה: אני רואה עם הגרסה הזאת בעיות, אעדכן.
@ש.צ.ש כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0
לא עדיף את הברירת מחדל? -
unsloth : DictaLM 3.0 24B Thinking GGUF Q4_K_S -
@ש.צ.ש כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0
לא עדיף את הברירת מחדל? -
unsloth : DictaLM 3.0 24B Thinking GGUF Q4_K_S@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@ש.צ.ש כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0
לא עדיף את הברירת מחדל? -
unsloth : DictaLM 3.0 24B Thinking GGUF Q4_K_Sזה פחות טוב
-
לכל המבינים,
מה למעשה הכי מומלץ? צריך לצאטים בעיקר, קצת לסיכומי חומר.
מחשב בסיסי, מעבד I5, זיכרון 8G
יישר כח@106 כלום לא מומלץ. לא נראה לי שעם 8 ראם ובלי GPU תוכל להוציא מזה משהו
-
@106 כלום לא מומלץ. לא נראה לי שעם 8 ראם ובלי GPU תוכל להוציא מזה משהו
@בנימין-מחשבים
דווקא לפני שנה היה לי מודל שעבד סביר, לא זוכר מה. -
לכל המבינים,
מה למעשה הכי מומלץ? צריך לצאטים בעיקר, קצת לסיכומי חומר.
מחשב בסיסי, מעבד I5, זיכרון 8G
יישר כח@106 כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
לכל המבינים,
מה למעשה הכי מומלץ? צריך לצאטים בעיקר, קצת לסיכומי חומר.
מחשב בסיסי, מעבד I5, זיכרון 8G
יישר כחאת גרסת ה-1.7B חשיבה.
אבל תחכה לגרסאות של Unsloth. ניסיתי עכשיו את הגרסה של VRDate והיא ממש גרועה ולא שימושית.זה בעברית, בשפות אחרות יש לך מבחר עצום.
-
@106 כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
לכל המבינים,
מה למעשה הכי מומלץ? צריך לצאטים בעיקר, קצת לסיכומי חומר.
מחשב בסיסי, מעבד I5, זיכרון 8G
יישר כחאת גרסת ה-1.7B חשיבה.
אבל תחכה לגרסאות של Unsloth. ניסיתי עכשיו את הגרסה של VRDate והיא ממש גרועה ולא שימושית.זה בעברית, בשפות אחרות יש לך מבחר עצום.
@א.מ.ד. אשמח לדעת אלו עוד חלופות יש לי מלבד LM Studio והאם זה משפיע על איכות התשובות
אגב- ב1.7B אפשר בכלל לנהל שיחה הגיונית?
-
@א.מ.ד. אשמח לדעת אלו עוד חלופות יש לי מלבד LM Studio והאם זה משפיע על איכות התשובות
אגב- ב1.7B אפשר בכלל לנהל שיחה הגיונית?
@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@א.מ.ד. אשמח לדעת אלו עוד חלופות יש לי מלבד LM Studio והאם זה משפיע על איכות התשובות
זה התוכנה הכי טובה כרגע.
@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
אגב- ב1.7B אפשר בכלל לנהל שיחה הגיונית?
אני מנהל שיחות הגיוניות באנגלית גם עם מודלי 350M. תנסה לדוגמא את GRANITE 4.0 H 350M.
-
@א.מ.ד. אשמח לדעת אלו עוד חלופות יש לי מלבד LM Studio והאם זה משפיע על איכות התשובות
אגב- ב1.7B אפשר בכלל לנהל שיחה הגיונית?
@בנימין-מחשבים אני מריץ את זה דרך הדפדפן צורך הרבה פחות משאבים והרבה יותר מהיר
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}