SparkMoE - מערכת להרצת מודלי AI גדולים ועוצמתיים באופן מקומי על חומרה חלשה, עדכון - גרסה V0.3.0!
-
@א.מ.ד. בעופן עקרוני אם יש לי מודל שרץ על המחשב
התוכנה יכולה לעזור לו לרוץ יותר מהר?
או שזה לא קשור@רוטב-שום אז אין לך עניין בתוכנה בשביל המודל הזה, אבל אם אתה ממש רוצה הוא ירוץ בה יותר מהר מ-LM Studio כי היא llama.cpp המקורי ללא ממשק אלקטרון כבד שמאט את הביצועים.
אבל בגדול התוכנה נועדה להרצת מודלי MoE שבאופן רגיל לא נכנסים ב-RAM.אגב אני מתקדם לכיוון הרצת Qwen 3.8 Flash Next שעולה על Gemini 3.7 Flash על 16 RAM בלבד.
מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
מה עם המנוטפרים איך אפשר להשיג קישור?
-
@אלוף-בקטנה בגיטהאב. אם זה חסום אין לי מה לעשות בנידון.
-
פוסט זה נמחק!
-
פוסט זה נמחק!
-
-
פוסט זה נמחק!
-
-
פוסט זה נמחק!
-
-
פוסט זה נמחק!
-
ב בנימין מחשבים התייחס לנושא זה
-
א א.מ.ד. התייחס לנושא זה
-
נ ניסיםו התייחס לנושא זה
-
@ישראל123 MTP ב-Gemma 4 קצת בעייתי. גם ב-LM STUDIO לא הצלחתי להשתמש בו. במודלים אחרים MTP עובד מצויין.
לגבי רכיב הראיה, הוא אמור לעבוד. שים אותו באותה תיקיה של המודל העיקרי.
-
@א.מ.ד.
איך אני מחבר אותו לסמראטי? -
@א.מ.ד.
איך אני מחבר אותו לסמראטי?בוחר "שרת מקומי", ומשנה את כתובת השרת לפורט 8080. כמובן כמודל טעון.
-
-
@א.מ.ד.
ומה זה מודל טעון?
ומה להגדיר בSparkMoE? -
@א.מ.ד.
ומה זה מודל טעון?
ומה להגדיר בSparkMoE?לטעון מודל ב-SparkMoE...
@א.מ.ד.
הגדרתי 8080 והוא אומר שאין מפתח API, צריך לבחור משהו במודלים?
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}