להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז
-
שחררתי בגיטהאב את הגרסה החדשה של התוכנה שלי - SparkMoE.
למי שעדיין לא מכיר מהגרסה הקודמת, מדובר בתוכנה מהפכנית שמאפשרת להריץ מודלי AI גדולים בארכיטקטורת MoE על חומרה חלשה מאוד, באמצעות טעינת מומחים לדיסק במקום ל-RAM.
לדוגמה, על החומרה שלי - 16 RAM בלבד ללא GPU, אני מקבל עם SparkMoE 5-7 טוקנים לשנייה במודלים כמו Qwen 3.6 35B ו-Gemma 4 26B.
הצלחתי אפילו להריץ באופן מקומי לחלוטין את Qwen 3.8 Flash Next - מודל של 181B, ברמת Gemini 3.8 Flash, עם 0.5 טוק' לשנייה.בין השיפורים:
- SparkMoE קיבלה חלון עצמאי, במקום לפתוח 2 כרטיסיות בדפדפן + חלון CMD.
- ה-UI של SparkMoE אוחד במלואו עם ה-UI המקורי של llama.cpp, כך שאין יותר שני מסכים נפרדים לניהול SparkMoE ולניהול llama.cpp, אלא הכל נמצא תחת אותו ממשק.
- שיפורים משמעותיים בהאצת מהירות הסקת המודלים.
- הוספת תמיכה בארכיטקטורת
qwen4exp- עבור Qwen 3.8 Flash Next (שמקבל כ-0.5 טוק' לשנייה על מחשב פשוט עם 16 RAM עם SparkMoE), ומשפחת מודלי Qwen 4 שתשוחרר בקרוב. - הוספת תמיכה בטבלאות
n-gramוטעינתם לדיסק במקום ל-RAM - רלוונטי במיוחד עבור Qwen 3.8 Flash Next ומשפחת מודלי Qwen 4 העתידיים. - ניהול נוח יותר של כלל ההגדרות, כולל הגדרה פר מודל.
- שיפורים רבים נוספים.
תמונות לדוגמה:
- ממשק הצ'אט:
- ממשק ניהול SparkMoE:
הורדה:
הפרוייקט זמין בקוד פתוח בגיטהאב, ראו כאן.
ניתן להוריד קובץ EXE להתקנה מהירה מה-releases, או גרסת ZIP ניידת (לחלץ לתיקיה ולהפעיל את SparkMoE.exe).
אל תשכחו לשים
במאגר בגיטהאב על הדרך!
(הקוד המקורי של llama.cpp ברישיון MIT, והחלקים שלי תחת רישיון לא מסחרי).
אשמח לקבל משוב, הערות והארות על SparkMoE!
-
@א.מ.ד. יש אפשרות לאנדרואיד ?
-
@א.מ.ד. יש אפשרות לאנדרואיד ?
התוכנה נועדה לווינדוס בלבד.
-
יש בתוכנה גם אפשרות של עבודה כסוכן וגם אפשרות של חיפוש באינטרנט?
יש בתוכנה גם אפשרות של עבודה כסוכן וגם אפשרות של חיפוש באינטרנט?
זו תוכנת הרצה, לא סוכן, אבל יש בה כלי חיפוש וקריאת דפי אינטרנט מובנים, ואתה יכול להוסיף לה כלי MCP כאוות נפשך.
אם אתה מעוניין, אתה יכול לחבר את התוכנה כספק AI מקומי לסמארטי, וככה תקבל סוכן מלא. -
-
@א.מ.ד. איך מעדכנים? מתקינים מחדש?
-
כמה שאלות בור:
א. למה זה באנגלית בלי אפשרות בעברית בכלל?
ב. למה כשזה עובד ברקע (מי ביקש ממנו? לא אישרתי עדיין דבר כזה בהגדרות שם) ואני לוחץ על פתיחה של הקיצור דרך בהתחל - הוא נפתח בתוך הדפדפן?
ג. מה אני עושה לא טוב שהוא לא טוען לי את המודל המקומי שיש לי? (
gemma4 - הורדתי את מה שהביא @ לא-מתייאש במתרגם אופליין
שיש לו)
תודה רבה, ותזכה למצוות!
-
כמה שאלות בור:
א. למה זה באנגלית בלי אפשרות בעברית בכלל? ב. למה כשזה עובד ברקע (מי ביקש ממנו? לא אישרתי עדיין דבר כזה בהגדרות שם) ואני לוחץ על פתיחה של הקיצור דרך בהתחל - הוא נפתח בתוך הדפדפן?
ג. מה אני עושה לא טוב שהוא לא טוען לי את המודל המקומי שיש לי? (
gemma4 - הורדתי את מה שהביא @ לא-מתייאש במתרגם אופליין
שיש לו) תודה רבה, ותזכה למצוות!
א. למה זה באנגלית בלי אפשרות בעברית בכלל?
כבר עניתי -
הממשק מבוסס על הממשק המקורי של llama.cpp, אבל אני אבדוק אם זה יהיה פשוט לעשות את זה בלי להפוך כל עדכון למורכב יותר.
ב. למה כשזה עובד ברקע (מי ביקש ממנו? לא אישרתי עדיין דבר כזה בהגדרות שם) ואני לוחץ על פתיחה של הקיצור דרך בהתחל - הוא נפתח בתוך הדפדפן?
אין לי מושג, אצלי זה עובד מעולה, ולא פועל ברקע. תוכל לשחזר לי בדיוק את השלבים שבהם הגעת לבעיה?
ג. מה אני עושה לא טוב שהוא לא טוען לי את המודל המקומי שיש לי? (
gemma4 - הורדתי את מה שהביא @ לא-מתייאש במתרגם אופליין
שיש לו)דווקא במודל הזה? המודל שלו הוא בפורמט GGUF רגיל?
אולי זה קשור להפעלה הבעייתית שלך דרך ההתחל כמו שכתבת - תנסה לעצור את התהליך ברקע ולהפעיל כרגיל.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
א. למה זה באנגלית בלי אפשרות בעברית בכלל?
כבר עניתי -
הממשק מבוסס על הממשק המקורי של llama.cpp, אבל אני אבדוק אם זה יהיה פשוט לעשות את זה בלי להפוך כל עדכון למורכב יותר.
ב. למה כשזה עובד ברקע (מי ביקש ממנו? לא אישרתי עדיין דבר כזה בהגדרות שם) ואני לוחץ על פתיחה של הקיצור דרך בהתחל - הוא נפתח בתוך הדפדפן?
אין לי מושג, אצלי זה עובד מעולה, ולא פועל ברקע. תוכל לשחזר לי בדיוק את השלבים שבהם הגעת לבעיה?
ג. מה אני עושה לא טוב שהוא לא טוען לי את המודל המקומי שיש לי? (
gemma4 - הורדתי את מה שהביא @ לא-מתייאש במתרגם אופליין
שיש לו)דווקא במודל הזה? המודל שלו הוא בפורמט GGUF רגיל?
אולי זה קשור להפעלה הבעייתית שלך דרך ההתחל כמו שכתבת - תנסה לעצור את התהליך ברקע ולהפעיל כרגיל.דווקא במודל הזה?
זה המודל היחיד שיש לי.
המודל שלו הוא בפורמט GGUF רגיל?
אין לי בדברים האלה שמץ ירוק, אני מבין יותר בהיסתברות סטטיסטית (ספויילר: לא מבין כלום בתחום) מאשר במודלי בינה מלאכותית וLLM.
אולי זה קשור להפעלה הבעייתית שלך דרך ההתחל כמו שכתבת - תנסה לעצור את התהליך ברקע ולהפעיל כרגיל
ניסיתי גם. לא עזר.
-
דווקא במודל הזה?
זה המודל היחיד שיש לי.
המודל שלו הוא בפורמט GGUF רגיל?
אין לי בדברים האלה שמץ ירוק, אני מבין יותר בהיסתברות סטטיסטית (ספויילר: לא מבין כלום בתחום) מאשר במודלי בינה מלאכותית וLLM.
אולי זה קשור להפעלה הבעייתית שלך דרך ההתחל כמו שכתבת - תנסה לעצור את התהליך ברקע ולהפעיל כרגיל
ניסיתי גם. לא עזר.
@יאיר-דניאל כתב:
אני מבין יותר בהיסתברות סטטיסטית ... מאשר במודלי בינה מלאכותית וLLM.אגב ממש - אאל"ט זה דווקא תחומים חופפים.
-
דווקא במודל הזה?
זה המודל היחיד שיש לי.
המודל שלו הוא בפורמט GGUF רגיל?
אין לי בדברים האלה שמץ ירוק, אני מבין יותר בהיסתברות סטטיסטית (ספויילר: לא מבין כלום בתחום) מאשר במודלי בינה מלאכותית וLLM.
אולי זה קשור להפעלה הבעייתית שלך דרך ההתחל כמו שכתבת - תנסה לעצור את התהליך ברקע ולהפעיל כרגיל
ניסיתי גם. לא עזר.
אין לי בדברים האלה שמץ ירוק, אני מבין יותר בהיסתברות סטטיסטית (ספויילר: לא מבין כלום בתחום) מאשר במודלי בינה מלאכותית וLLM.
לא, המודל שלו לא מתאים, ראיתי עכשיו שהוא משתמש ב-LiteRT, לא ב-GGUF. תוריד מ-HF מודל GGUF.
אבל שים לב שהיתרון של התוכנה שלי הוא לא הרצת סתם מודלים, אלא מודלי MoE גדולים. יש קישורים בפוסט הגרסה הקודמת.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
אין לי בדברים האלה שמץ ירוק, אני מבין יותר בהיסתברות סטטיסטית (ספויילר: לא מבין כלום בתחום) מאשר במודלי בינה מלאכותית וLLM.
לא, המודל שלו לא מתאים, ראיתי עכשיו שהוא משתמש ב-LiteRT, לא ב-GGUF. תוריד מ-HF מודל GGUF.
אבל שים לב שהיתרון של התוכנה שלי הוא לא הרצת סתם מודלים, אלא מודלי MoE גדולים. יש קישורים בפוסט הגרסה הקודמת. -
אין לי בדברים האלה שמץ ירוק, אני מבין יותר בהיסתברות סטטיסטית (ספויילר: לא מבין כלום בתחום) מאשר במודלי בינה מלאכותית וLLM.
לא, המודל שלו לא מתאים, ראיתי עכשיו שהוא משתמש ב-LiteRT, לא ב-GGUF. תוריד מ-HF מודל GGUF.
אבל שים לב שהיתרון של התוכנה שלי הוא לא הרצת סתם מודלים, אלא מודלי MoE גדולים. יש קישורים בפוסט הגרסה הקודמת.@א.מ.ד.
איך אני מחבר אותו לסמראטי?
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}