SparkMoE - מערכת להרצת מודלי AI גדולים ועוצמתיים באופן מקומי על חומרה חלשה, עדכון - גרסה V0.3.0!
-
זה עובד גם על אנדרואיד?
לא, אבל יש אפליקציה שראיתי, בשם BigMoeOnEdge שעושה את זה באנדרואיד, אבל היא פחות נוחה ואוניברסלית.
יש לך אנדרואיד עם 32 ג'יגה ראם??
לא צריך 32 RAM. כל הרעיון הוא שמספיקה חומרה חלשה.
מאד לא שימושי. יש למעט מאד אנשים אנדרואיד עם חומרה מספקת למודל מקומי סביר.
מה נקרא מודל סביר בעיניך? זה משתנה ממשימה למשימה...
-
-
לא מוצא את האפליקציה הזו, [אולי טעות באיות?]
זה בגיטהאב.
הנה הקישור: https://github.com/Helldez/BigMoeOnEdgeאיזה מודלים אפשר להריץ ב google AI Edge Gallery ?
ניסיתי gemma 3 עם סיומת gguf והוא לא קלט?מודלים עם סיומת ".task". חפש ב-HF.
@א.מ.ד. מה עם המודל הזה Qwen 3.8 27B הוא טוב בקידוד ? איזה רמה הוא יכול להגיע ? הוא יעבוד לי עם התוכנה שלך ? יש לי 16 ראם ומעבד אינטל i5 13 H
הוא מודל מעולה, אבל הוא לא MoE, אז אין ייתרון בתוכנה שלי לעת עתה עם המודל הזה, לפחות לעת עתה.
-
@שלץ
לא יש לי בקושי 6 ראם
אבל אולי אפשר על אותו עיקרון גם לאנדרואיד לעשות משהו ולכן שאלתי@קובי-קובי היי שבוע טוב אני עם אנדרואיד 3 ram אשמח לשמוע אם מצאת משהו מתאים אני צריך מודל שפה בסיסי שעאפשר לשאול אותו בעברית ועונה בעברית בהמלצה של מישהו הורדתי את זה DictaLM-3.0-1.7B-Thinking-Q5_K_M.gguf ואני עדיין מחפש אפליקציה מתאימה להרצה שלו אשמח אם תחכימו אותי עוד בנושא זה
-
@קובי-קובי היי שבוע טוב אני עם אנדרואיד 3 ram אשמח לשמוע אם מצאת משהו מתאים אני צריך מודל שפה בסיסי שעאפשר לשאול אותו בעברית ועונה בעברית בהמלצה של מישהו הורדתי את זה DictaLM-3.0-1.7B-Thinking-Q5_K_M.gguf ואני עדיין מחפש אפליקציה מתאימה להרצה שלו אשמח אם תחכימו אותי עוד בנושא זה
-
@אברהם-גלסר זה בתוך האימון. יש כלים כמו heretic שנועדו למנוע סירובים של המודל באמצעות אימון הפוך וכלים נוספים (חפש מודלים עם המילה heretic בסוף השם), אבל הם מורידים מעט את איכות המודל.
יש גם גרסאות מאוזנות שמפחיתות פחות מאיכות המודל, אך עדיין מסרבות לענות לפעמים. -
@א.מ.ד. אני צריך דחוף תוכנה להפעלת מודל ain אני רואה שהעלית קישורים אבל הכל חסום לי, אם תוכל לשלוח לי למייל libi67800בגי'מייל
-
-
איזה מודל עדיף עם התוכנה בשביל תיכנות בעיקר כמו קלוד תקלות ושליטה במחשב קבלת קבצים של מידע יידע טכני במחשבים וכל מה שקשור בקיצור לתוכנה משחקים שהוא יוכל ליצור ויידע כל מה שקשור למחשב ושיהיה תוכנות תיקון באגים ופתירון בעיות ועזרה בתיקון דרך שליטה במחשב לפי אישורי שיעבוד על מעבד i5 זיכרון ראם 8 ג'יגה וכונן HDD או 4-8 גיגה
איזה מודל כדאי עם זה אפשר שלא יכביד מאוד
אבל אבל אבל הוא צריך להיות חינמי ואופליין -
איזה מודל עדיף עם התוכנה בשביל תיכנות בעיקר כמו קלוד תקלות ושליטה במחשב קבלת קבצים של מידע יידע טכני במחשבים וכל מה שקשור בקיצור לתוכנה משחקים שהוא יוכל ליצור ויידע כל מה שקשור למחשב ושיהיה תוכנות תיקון באגים ופתירון בעיות ועזרה בתיקון דרך שליטה במחשב לפי אישורי שיעבוד על מעבד i5 זיכרון ראם 8 ג'יגה וכונן HDD או 4-8 גיגה
איזה מודל כדאי עם זה אפשר שלא יכביד מאוד
אבל אבל אבל הוא צריך להיות חינמי ואופלייןאיזה מודל עדיף עם התוכנה בשביל תיכנות בעיקר כמו קלוד תקלות ושליטה במחשב קבלת קבצים של מידע יידע טכני במחשבים וכל מה שקשור בקיצור לתוכנה משחקים שהוא יוכל ליצור ויידע כל מה שקשור למחשב ושיהיה תוכנות תיקון באגים ופתירון בעיות ועזרה בתיקון דרך שליטה במחשב לפי אישורי שיעבוד על מעבד i5 זיכרון ראם 8 ג'יגה וכונן HDD או 4-8 גיגה
איזה מודל כדאי עם זה אפשר שלא יכביד מאוד
אבל אבל אבל הוא צריך להיות חינמי ואופלייןהתוכנה הזאת נועדה די להכביד... היא נועדה למתוח את הגבול של מודלים הניתנים להרצה על חומרה מינימלית...
אם את רוצה בכל זאת להשתמש בתוכנה הזאת, אז את יכולה להשתמש עם Qwen 3.6 35B A3B, אבל אם את מחפשת דווקא משהו שלא מכביד אז תשתמשי ב-LM Studio או llama.cpp עם Qwen 3.5 9B, אבל כמובן שהוא חלש משמעותית. -
SparkMoE
בהשראת הפרויקט שהוזכר כאן ע"י @המלאך - בשם colibri, שבו קבוצת חוקרים הצליחו להריץ את המודל העוצמתי GLM 5.2 על חומרה ביתית, עם כמה עשרות GB RAM "בלבד" (לצורך ההרצה נטו נצרכו כ-25 RAM), החלטתי ליצור פרויקט דומה אך שונה, שיתאים לחומרה חלשה באמת ויריץ מודלי MoE בגודל בינוני, כמו Qwen 3.6 35B A3B ו-Gemma 4 26B A4B, במכשירים עם 8/16 GB RAM (לא נבדק על 8 RAM, אבל אמור לעבוד באותה מידה).
לכאורה זה אמור להתאים גם להרצת מודלי MoE גדולים מאוד של מאות B פרמטרים על חומרה בינונית (32 GB RAM ומעלה), אבל לצערי אין לי חומרה כזו כך שאין לי איך לנסות אם זה באמת עובד...הרעיון המרכזי שעומד מאחורי הפרויקט הוא השארת המודל המלא על ה-SSD (כונן האחסון), וטעינת ופריקת מומחי ה-MoE באופן דינמי ל-RAM לפי הצורך. זה מאפשר הרצת מודלים בינוניים (20-40B פרמטרים) על גבי מכשירים עם RAM צרכני קלאסי, אף ללא GPU, מכיון שלא מתבצעת טעינה מלאה של כלל המודל ל-RAM.
כרגע הצלחתי להגיע ב-SparkMoE במודל Qwen 3.6 35B A3B עם MTP מופעל לבערך 4 טוקנים לשניה - איטי אבל שמיש. בגרסאות הבאות בעז"ה אני אנסה להאיץ ככל האפשר את ההסקה.
המהירות תלויה במהירות הקריאה מה-SSD, מספר ליבות ושרשורי מעבד, רוחב פס ועוד, לכן במחשב שמצטיין באלה ההסקה תהיה מהירה יותר.שימו לב: בהרצה הראשונה של המודל לאחר הפעלת השרת המקומי, ההסקה איטית יותר, אך עם התקדמות היצירה ההסקה מאיצה, בשל כך שחלק מהמומחים שכבר היו בשימוש כבר נמצאים במטמון המהיר יותר מה-SSD.
SparkMoE תומך בכל הפונקציונליות הקיימת של פרוייקט llama.cpp המקורי, כמו MTP, שרת OpenAI מקומי ועוד.
כמו כן, SparkMoE תומך גם במודלים צפופים רגילים, לא רק במודלי MoE, אבל במודלים רגילים ההסקה היא רק בגודל מודל סטנדרטי.אופן ההרצה:
כדי להריץ מודל גדול עם SparkMoE, יש להפעיל את התוכנה, ובממשק הדשבורד המופיע בדפדפן יש לבחור (בהפעלה הראשונה) בתיקיית מודלים (גם תתי-תיקיות נתמכות, כך שאפשר להשתמש בתיקיית Models של LM Studio), לבחור מודל, ואז ללחוץ על "הפעל מודל". להמתין לטעינת המודל עד שכפתור "פתיחת הצ'אט" נהיה זמין.
בלחיצה על "פתיחת הצ'אט", ייפתח בכרטיסיה חדשה בדפדפן ממשק הצ'אט של SparkMoE.
בממשק הצ'אט ניתן לשנות הגדרות רבות, כמו MTP, הודעת מערכת, פרמטרי הסקה ועוד, בלשונית "הגדרות". ניתן גם להגדיר רמת חשיבה.
תמונות לדוגמה:
ניהול השרת:
ממשק הצ'אט והגדרות ההסקה:
מודלים תואמים מומלצים:
כרגע עדיין אסור ע"פ חוקי הפורום להעלות מודלי AI באופן ישיר בשל "פריצת סינונים", אבל מצורפים כמה קישורים עבור מודלי MoE בגודל בינוני, במידה והם פתוחים בסינון המותקן אצלכם:
מומלץ להוריד את קוונטיזציית Q4 של כל מודל, או IQ4 אם קיים.
אם החומרה שברשותכם בעלת 32 GB RAM ומעלה, אפשר להתקדם למודלי MoE גדולים יותר.עדכונים:
- עדכון V0.3.0:
תוקנה תמיכה במודל Gemma 4 26B, שיפורי מהירות בכלל מודלי MoE, ותיקוני באגים.
הורדה:
הפרוייקט זמין בקוד פתוח בגיטהאב, ראו כאן.
ניתן להוריד קובץ EXE להתקנה מהירה מה-releases, או גרסת ZIP ניידת (לחלץ לתיקיה ולהפעיל את SparkMoE.exe).
אל תשכחו לשים
במאגר בגיטהאב על הדרך!
(הקוד המקורי של llama.cpp ברישיון MIT, והחלקים שלי תחת רישיון לא מסחרי).
אשמח לשמוע על המהירות והביצועים של המודלים השונים על חומרות שונות, וכן לקבל משוב על התוכנה עצמה!
- עדכון V0.3.0:
-
@א.מ.ד. בעופן עקרוני אם יש לי מודל שרץ על המחשב
התוכנה יכולה לעזור לו לרוץ יותר מהר?
או שזה לא קשור@רוטב-שום אז אין לך עניין בתוכנה בשביל המודל הזה, אבל אם אתה ממש רוצה הוא ירוץ בה יותר מהר מ-LM Studio כי היא llama.cpp המקורי ללא ממשק אלקטרון כבד שמאט את הביצועים.
אבל בגדול התוכנה נועדה להרצת מודלי MoE שבאופן רגיל לא נכנסים ב-RAM.אגב אני מתקדם לכיוון הרצת Qwen 3.8 Flash Next שעולה על Gemini 3.7 Flash על 16 RAM בלבד.
מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
מה עם המנוטפרים איך אפשר להשיג קישור?
-
@אלוף-בקטנה בגיטהאב. אם זה חסום אין לי מה לעשות בנידון.
-
פוסט זה נמחק!
-
פוסט זה נמחק!
-
-
פוסט זה נמחק!
-
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}