SparkMoE - מערכת להרצת מודלי AI גדולים ועוצמתיים באופן מקומי על חומרה חלשה, עדכון - גרסה V0.3.0!
-
@א.מ.ד. בדקתי את זה עכשיו, זה אמנם עובד באופן מצוין כלפי הטעינה החלקית לזיכרון, אבל ל-GPU זה לא טוען בכלל.
זה חשוב גם למחשבים כאלה, כי לי למשל יש VRAM של 6 GB שזה קצת באופן יחסי והשאר עובר ל-RAM מה שמאט את הביצועים משמעותית ומייתר למעשה את הכרטיס גרפי.
אם תוכל להתאים את התוכנה גם ל-GPU זה יעזור מאד.
תודה על ההשקעה
-
@אריאלל אולי זה יעזור לך.
https://github.com/lyogavin/airllm -
@המלאך מה המהירות של זה?
Kimi K3 (2.8T) — the largest open-source model released to date — on under 4GB -
@שלץ
לא יש לי בקושי 6 ראם
אבל אולי אפשר על אותו עיקרון גם לאנדרואיד לעשות משהו ולכן שאלתי@קובי-קובי
מאד לא שימושי. יש למעט מאד אנשים אנדרואיד עם חומרה מספקת למודל מקומי סביר.ולענ"ד - המעט האלה יכולים כבר להריץ על מה שיש להם או על אלטרנטיבות. לא יבנו במיוחד בשבילם גרסה לאנדרואיד.
-
זה עובד גם על אנדרואיד?
לא, אבל יש אפליקציה שראיתי, בשם BigMoeOnEdge שעושה את זה באנדרואיד, אבל היא פחות נוחה ואוניברסלית.
יש לך אנדרואיד עם 32 ג'יגה ראם??
לא צריך 32 RAM. כל הרעיון הוא שמספיקה חומרה חלשה.
מאד לא שימושי. יש למעט מאד אנשים אנדרואיד עם חומרה מספקת למודל מקומי סביר.
מה נקרא מודל סביר בעיניך? זה משתנה ממשימה למשימה...
-
זה עובד גם על אנדרואיד?
לא, אבל יש אפליקציה שראיתי, בשם BigMoeOnEdge שעושה את זה באנדרואיד, אבל היא פחות נוחה ואוניברסלית.
יש לך אנדרואיד עם 32 ג'יגה ראם??
לא צריך 32 RAM. כל הרעיון הוא שמספיקה חומרה חלשה.
מאד לא שימושי. יש למעט מאד אנשים אנדרואיד עם חומרה מספקת למודל מקומי סביר.
מה נקרא מודל סביר בעיניך? זה משתנה ממשימה למשימה...
-
-
זה עובד גם על אנדרואיד?
לא, אבל יש אפליקציה שראיתי, בשם BigMoeOnEdge שעושה את זה באנדרואיד, אבל היא פחות נוחה ואוניברסלית.
יש לך אנדרואיד עם 32 ג'יגה ראם??
לא צריך 32 RAM. כל הרעיון הוא שמספיקה חומרה חלשה.
מאד לא שימושי. יש למעט מאד אנשים אנדרואיד עם חומרה מספקת למודל מקומי סביר.
מה נקרא מודל סביר בעיניך? זה משתנה ממשימה למשימה...
-
-
לא מוצא את האפליקציה הזו, [אולי טעות באיות?]
זה בגיטהאב.
הנה הקישור: https://github.com/Helldez/BigMoeOnEdgeאיזה מודלים אפשר להריץ ב google AI Edge Gallery ?
ניסיתי gemma 3 עם סיומת gguf והוא לא קלט?מודלים עם סיומת ".task". חפש ב-HF.
@א.מ.ד. מה עם המודל הזה Qwen 3.8 27B הוא טוב בקידוד ? איזה רמה הוא יכול להגיע ? הוא יעבוד לי עם התוכנה שלך ? יש לי 16 ראם ומעבד אינטל i5 13 H
הוא מודל מעולה, אבל הוא לא MoE, אז אין ייתרון בתוכנה שלי לעת עתה עם המודל הזה, לפחות לעת עתה.
-
@שלץ
לא יש לי בקושי 6 ראם
אבל אולי אפשר על אותו עיקרון גם לאנדרואיד לעשות משהו ולכן שאלתי@קובי-קובי היי שבוע טוב אני עם אנדרואיד 3 ram אשמח לשמוע אם מצאת משהו מתאים אני צריך מודל שפה בסיסי שעאפשר לשאול אותו בעברית ועונה בעברית בהמלצה של מישהו הורדתי את זה DictaLM-3.0-1.7B-Thinking-Q5_K_M.gguf ואני עדיין מחפש אפליקציה מתאימה להרצה שלו אשמח אם תחכימו אותי עוד בנושא זה
-
@קובי-קובי היי שבוע טוב אני עם אנדרואיד 3 ram אשמח לשמוע אם מצאת משהו מתאים אני צריך מודל שפה בסיסי שעאפשר לשאול אותו בעברית ועונה בעברית בהמלצה של מישהו הורדתי את זה DictaLM-3.0-1.7B-Thinking-Q5_K_M.gguf ואני עדיין מחפש אפליקציה מתאימה להרצה שלו אשמח אם תחכימו אותי עוד בנושא זה
-
@אברהם-גלסר זה בתוך האימון. יש כלים כמו heretic שנועדו למנוע סירובים של המודל באמצעות אימון הפוך וכלים נוספים (חפש מודלים עם המילה heretic בסוף השם), אבל הם מורידים מעט את איכות המודל.
יש גם גרסאות מאוזנות שמפחיתות פחות מאיכות המודל, אך עדיין מסרבות לענות לפעמים. -
@א.מ.ד. אני צריך דחוף תוכנה להפעלת מודל ain אני רואה שהעלית קישורים אבל הכל חסום לי, אם תוכל לשלוח לי למייל libi67800בגי'מייל
-
-
איזה מודל עדיף עם התוכנה בשביל תיכנות בעיקר כמו קלוד תקלות ושליטה במחשב קבלת קבצים של מידע יידע טכני במחשבים וכל מה שקשור בקיצור לתוכנה משחקים שהוא יוכל ליצור ויידע כל מה שקשור למחשב ושיהיה תוכנות תיקון באגים ופתירון בעיות ועזרה בתיקון דרך שליטה במחשב לפי אישורי שיעבוד על מעבד i5 זיכרון ראם 8 ג'יגה וכונן HDD או 4-8 גיגה
איזה מודל כדאי עם זה אפשר שלא יכביד מאוד
אבל אבל אבל הוא צריך להיות חינמי ואופליין -
איזה מודל עדיף עם התוכנה בשביל תיכנות בעיקר כמו קלוד תקלות ושליטה במחשב קבלת קבצים של מידע יידע טכני במחשבים וכל מה שקשור בקיצור לתוכנה משחקים שהוא יוכל ליצור ויידע כל מה שקשור למחשב ושיהיה תוכנות תיקון באגים ופתירון בעיות ועזרה בתיקון דרך שליטה במחשב לפי אישורי שיעבוד על מעבד i5 זיכרון ראם 8 ג'יגה וכונן HDD או 4-8 גיגה
איזה מודל כדאי עם זה אפשר שלא יכביד מאוד
אבל אבל אבל הוא צריך להיות חינמי ואופלייןאיזה מודל עדיף עם התוכנה בשביל תיכנות בעיקר כמו קלוד תקלות ושליטה במחשב קבלת קבצים של מידע יידע טכני במחשבים וכל מה שקשור בקיצור לתוכנה משחקים שהוא יוכל ליצור ויידע כל מה שקשור למחשב ושיהיה תוכנות תיקון באגים ופתירון בעיות ועזרה בתיקון דרך שליטה במחשב לפי אישורי שיעבוד על מעבד i5 זיכרון ראם 8 ג'יגה וכונן HDD או 4-8 גיגה
איזה מודל כדאי עם זה אפשר שלא יכביד מאוד
אבל אבל אבל הוא צריך להיות חינמי ואופלייןהתוכנה הזאת נועדה די להכביד... היא נועדה למתוח את הגבול של מודלים הניתנים להרצה על חומרה מינימלית...
אם את רוצה בכל זאת להשתמש בתוכנה הזאת, אז את יכולה להשתמש עם Qwen 3.6 35B A3B, אבל אם את מחפשת דווקא משהו שלא מכביד אז תשתמשי ב-LM Studio או llama.cpp עם Qwen 3.5 9B, אבל כמובן שהוא חלש משמעותית.
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}