המלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...
-
@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@א.מ.ד. ניסיתי את המודל 24B בגרסת gguf שלהם והוא מאוד מאוד מאכזב!
ג'מה 3 12B הרבה יותר טוב...מעניין... בצ'אט באתר שלהם התוצאות דווקא טובות...
מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@א.מ.ד. ניסיתי את המודל 24B בגרסת gguf שלהם והוא מאוד מאוד מאכזב!
ג'מה 3 12B הרבה יותר טוב...מעניין... בצ'אט באתר שלהם התוצאות דווקא טובות...
-
@א.מ.ד. גם לי באתר התוצאות היו מצוינות. הורדתי 2 גרסאות של 24B ומשתיהם הייתי מאוד לא מרוצה
(אם כי תמיד זה יכול להיות באשמת המחשב שלי...)
@בנימין-מחשבים יש דוגמאות?
ספוילר: אני מדיקטה
-
@בנימין-מחשבים יש דוגמאות?
ספוילר: אני מדיקטה -
@ש.צ.ש לא. התעצבנתי עליו ומחקתי את המודל... (אני לא אוריד עוד פעם 15 ג'יגה בשביל זה...)
עריכה- מצאתי בכל אופן תגובה אחת שלו די מטומטמת-בספוליר
-
@בנימין-מחשבים באיזה תוכנה אתה משתמש? LM Studio?
-
@ש.צ.ש אכן.
@בנימין-מחשבים אני כבר רואה שיש בעייה - המודל הזה הוא מודל חושב, ולכן הוא אמור לחשוב לפני שהוא עונה.
זה בעייה של "Chat Template" - איך שהוא הופך הודעות לטקסט רציף של המודל.אני רואה שהורדת את גירסת ה-4 ביט של vLLM, שלא מתאים לLM Studio.
עדיף להוריד את הגרסה מכאן: unsloth/DictaLM-3.0-24B-Thinking-GGUF
-
@בנימין-מחשבים אני כבר רואה שיש בעייה - המודל הזה הוא מודל חושב, ולכן הוא אמור לחשוב לפני שהוא עונה.
זה בעייה של "Chat Template" - איך שהוא הופך הודעות לטקסט רציף של המודל.אני רואה שהורדת את גירסת ה-4 ביט של vLLM, שלא מתאים לLM Studio.
עדיף להוריד את הגרסה מכאן: unsloth/DictaLM-3.0-24B-Thinking-GGUF
-
@ש.צ.ש יש מצב קצת פירוט?
למה לא להוריד ישירות מתוך הממשק של LM Studio, ואם כן-איזה בדיוק להוריד (האופציות בספוילר)
והאם יש צורך בהגדרות מיוחדות כדי שזה יפעל טוב.האופציות להורדה-
המודל שאני כל כך מרוצה ממנו הוא זה-
@בנימין-מחשבים כל הגרסאות שנוצרו ע"י VRDate הם לוקות בחסר, ולא מכילים את כל פרטי המודל ככה שאתה מקבל פלט לא טוב.
בשורה הראשונה יש את הגרסה שנוצרה ע"י Unsloth - זאת הגרסה הרשמית עבור המודל שלנו. אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0, ואז אמור לעבוד כמו שצריך.
עריכה: אני רואה עם הגרסה הזאת בעיות, אעדכן.
-
@בנימין-מחשבים כל הגרסאות שנוצרו ע"י VRDate הם לוקות בחסר, ולא מכילים את כל פרטי המודל ככה שאתה מקבל פלט לא טוב.
בשורה הראשונה יש את הגרסה שנוצרה ע"י Unsloth - זאת הגרסה הרשמית עבור המודל שלנו. אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0, ואז אמור לעבוד כמו שצריך.
עריכה: אני רואה עם הגרסה הזאת בעיות, אעדכן.
-
@בנימין-מחשבים כל הגרסאות שנוצרו ע"י VRDate הם לוקות בחסר, ולא מכילים את כל פרטי המודל ככה שאתה מקבל פלט לא טוב.
בשורה הראשונה יש את הגרסה שנוצרה ע"י Unsloth - זאת הגרסה הרשמית עבור המודל שלנו. אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0, ואז אמור לעבוד כמו שצריך.
עריכה: אני רואה עם הגרסה הזאת בעיות, אעדכן.
-
@א.מ.ד. 1.7B כבר יש
@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@א.מ.ד. 1.7B כבר יש
אני מחכה לגרסאות של Unsloth, שהן הקוונטיזציות הכי יעילות עם כמה שפחות ירידה באיכות.
-
@בנימין-מחשבים כל הגרסאות שנוצרו ע"י VRDate הם לוקות בחסר, ולא מכילים את כל פרטי המודל ככה שאתה מקבל פלט לא טוב.
בשורה הראשונה יש את הגרסה שנוצרה ע"י Unsloth - זאת הגרסה הרשמית עבור המודל שלנו. אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0, ואז אמור לעבוד כמו שצריך.
עריכה: אני רואה עם הגרסה הזאת בעיות, אעדכן.
@ש.צ.ש כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0
לא עדיף את הברירת מחדל? -
unsloth : DictaLM 3.0 24B Thinking GGUF Q4_K_Sיש 10 סוגים של אנשים, אלה שמבינים בינארית ואלה שלא
-
@ש.צ.ש כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0
לא עדיף את הברירת מחדל? -
unsloth : DictaLM 3.0 24B Thinking GGUF Q4_K_S@בנימין-מחשבים כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
@ש.צ.ש כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
אפשר בתוך האופציה הזאת לבחור דיוק של Q4_0
לא עדיף את הברירת מחדל? -
unsloth : DictaLM 3.0 24B Thinking GGUF Q4_K_Sזה פחות טוב
-
לכל המבינים,
מה למעשה הכי מומלץ? צריך לצאטים בעיקר, קצת לסיכומי חומר.
מחשב בסיסי, מעבד I5, זיכרון 8G
יישר כח -
@106 כלום לא מומלץ. לא נראה לי שעם 8 ראם ובלי GPU תוכל להוציא מזה משהו
@בנימין-מחשבים
דווקא לפני שנה היה לי מודל שעבד סביר, לא זוכר מה. -
לכל המבינים,
מה למעשה הכי מומלץ? צריך לצאטים בעיקר, קצת לסיכומי חומר.
מחשב בסיסי, מעבד I5, זיכרון 8G
יישר כח@106 כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
לכל המבינים,
מה למעשה הכי מומלץ? צריך לצאטים בעיקר, קצת לסיכומי חומר.
מחשב בסיסי, מעבד I5, זיכרון 8G
יישר כחאת גרסת ה-1.7B חשיבה.
אבל תחכה לגרסאות של Unsloth. ניסיתי עכשיו את הגרסה של VRDate והיא ממש גרועה ולא שימושית.זה בעברית, בשפות אחרות יש לך מבחר עצום.
מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
@106 כתב בהמלצה | דיקטה משחררת את DictaLM 3.0, והפעם כבר מדובר במשפחת מודלים...:
לכל המבינים,
מה למעשה הכי מומלץ? צריך לצאטים בעיקר, קצת לסיכומי חומר.
מחשב בסיסי, מעבד I5, זיכרון 8G
יישר כחאת גרסת ה-1.7B חשיבה.
אבל תחכה לגרסאות של Unsloth. ניסיתי עכשיו את הגרסה של VRDate והיא ממש גרועה ולא שימושית.זה בעברית, בשפות אחרות יש לך מבחר עצום.
@א.מ.ד. אשמח לדעת אלו עוד חלופות יש לי מלבד LM Studio והאם זה משפיע על איכות התשובות
אגב- ב1.7B אפשר בכלל לנהל שיחה הגיונית?
יש 10 סוגים של אנשים, אלה שמבינים בינארית ואלה שלא
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}