SparkMoE - מערכת להרצת מודלי AI גדולים ועוצמתיים באופן מקומי על חומרה חלשה, עדכון - גרסה V0.3.0!
-
@פתרון-AI אין לך צורך בתוכנה שלי בשביל מודלים בינוניים. אתה יכול להריץ אותם כרגיל עם LM Studio, במהירות מטורפת.
אני מדבר על מודלי MoE עד 40B, או מודלים צפופים עד כ-14B. אבל גם מודלים צפופים של 30B יעבדו מהר יחסית ע"י העברת חלק מהשכבות ל-GPU. אז תנסה את סדרות Gemma 4 ו-Qwen 3.6.
אם בכל זאת תרצה להריץ מודלי MoE גדולים יותר כמו Qwen 3.5 122B A10B, תוכל להשתמש בתוכנה שלי. היא אמורה לתמוך ב-GPU, אבל אני צריך לבדוק את זה, כי מלכתחילה לא התעסקתי בחומרה חזקה. בגרסה הבאה זה יובא בחשבון.
@אריאלל זה עונה גם לשאלתך.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
@פתרון-AI אין לך צורך בתוכנה שלי בשביל מודלים בינוניים. אתה יכול להריץ אותם כרגיל עם LM Studio, במהירות מטורפת.
אני מדבר על מודלי MoE עד 40B, או מודלים צפופים עד כ-14B. אבל גם מודלים צפופים של 30B יעבדו מהר יחסית ע"י העברת חלק מהשכבות ל-GPU. אז תנסה את סדרות Gemma 4 ו-Qwen 3.6.
אם בכל זאת תרצה להריץ מודלי MoE גדולים יותר כמו Qwen 3.5 122B A10B, תוכל להשתמש בתוכנה שלי. היא אמורה לתמוך ב-GPU, אבל אני צריך לבדוק את זה, כי מלכתחילה לא התעסקתי בחומרה חזקה. בגרסה הבאה זה יובא בחשבון.
@אריאלל זה עונה גם לשאלתך.@א.מ.ד. אם יש לי מחשב קלאסי עם 16 RAM עם התוכנה שלך איזה מודל הוא הכי טוב לי לשימוש יום יומי לצורך קידוד וסתם דיבורים וכו' (והאם ביחד עם התוכנה הזאת אני יוכל להריץ את התוכנה שלך (סמרטי) עם מודל אופליין גדול)?
-
@א.מ.ד. אם יש לי מחשב קלאסי עם 16 RAM עם התוכנה שלך איזה מודל הוא הכי טוב לי לשימוש יום יומי לצורך קידוד וסתם דיבורים וכו' (והאם ביחד עם התוכנה הזאת אני יוכל להריץ את התוכנה שלך (סמרטי) עם מודל אופליין גדול)?
-
@א.מ.ד. כתבתי לך בצ'אט לגבי טעינת מודלי עזר (אני רוצה ליצור PR עם מה שעשיתי ושתבדוק את זה)
-
@א.מ.ד. אם יש לי מחשב קלאסי עם 16 RAM עם התוכנה שלך איזה מודל הוא הכי טוב לי לשימוש יום יומי לצורך קידוד וסתם דיבורים וכו' (והאם ביחד עם התוכנה הזאת אני יוכל להריץ את התוכנה שלך (סמרטי) עם מודל אופליין גדול)?
-
@א.מ.ד. אם יש לי מחשב קלאסי עם 16 RAM עם התוכנה שלך איזה מודל הוא הכי טוב לי לשימוש יום יומי לצורך קידוד וסתם דיבורים וכו' (והאם ביחד עם התוכנה הזאת אני יוכל להריץ את התוכנה שלך (סמרטי) עם מודל אופליין גדול)?
@א.מ.ד. אם יש לי מחשב קלאסי עם 16 RAM עם התוכנה שלך איזה מודל הוא הכי טוב לי לשימוש יום יומי לצורך קידוד וסתם דיבורים וכו' (והאם ביחד עם התוכנה הזאת אני יוכל להריץ את התוכנה שלך (סמרטי) עם מודל אופליין גדול)?
Qwen 3.6 35B לקידוד, Gemma 4 26B לשימוש כללי.
-
@הישבשר-המלומד יש לך כרטיס מסך?
באופן כללי התוכנה שלו איטית הרבה יותר מlama.cpp,
אבל אם בכל את תרצה - כל מודל MoE נתמך.
בשבילך - Gemma 4.באופן כללי התוכנה שלו איטית הרבה יותר מlama.cpp,
ברור, כי היא מריצה את רוב המודל על האחסון במקום בראם, שטוען רק כמה שהוא יכול ותו לא. מטרת התוכנה היא לאפשר בכל זאת, אמנם באיטיות, הרצת מודלים גדולים על חומרה חלשה. אגב, מהירות של 4 טוק' לשנייה זאת מהירות סבירה יחסית לגודל והחומרה.
-
@א.מ.ד. כתבתי לך בצ'אט לגבי טעינת מודלי עזר (אני רוצה ליצור PR עם מה שעשיתי ושתבדוק את זה)
-
-
-
@א.מ.ד. אם יש לי מחשב קלאסי עם 16 RAM עם התוכנה שלך איזה מודל הוא הכי טוב לי לשימוש יום יומי לצורך קידוד וסתם דיבורים וכו' (והאם ביחד עם התוכנה הזאת אני יוכל להריץ את התוכנה שלך (סמרטי) עם מודל אופליין גדול)?
(והאם ביחד עם התוכנה הזאת אני יוכל להריץ את התוכנה שלך (סמרטי) עם מודל אופליין גדול)?
כן! כמובן באיטיות, אבל אם אין לך כרגע אינטרנט ואתה רוצה בכל זאת להשתמש בסמארטי, זה יכול להיות שימושי!
אבל כדאי שתחכה לגרסה הבאה של סמארטי, שחוסכת משמעותית בטוקנים (הצלחתי לצמצם את הנחיית המערכת לשאילתא בסיסית מכ-23,000 טוקנים לכ-5,000 טוקנים!), מה שאומר שהעיבוד יהיה מהיר בהרבה, וכוללת עוד התאמות להאצת העיבוד, והיא תכלול התאמה מיוחדת למודלים מקומיים שתצמצם עוד יותר את הנחיית המערכת ותסיר חלקים פחות חשובים.
לדוגמה מקודם השתמשתי בסמארטי עם Qwen 3.5 4B כדי לבדוק מזג אוויר, ותוך 2-3 דקות המשימה בוצעה בהצלחה (בעברית!).
-
@א.מ.ד. אם יש לי מחשב קלאסי עם 16 RAM עם התוכנה שלך איזה מודל הוא הכי טוב לי לשימוש יום יומי לצורך קידוד וסתם דיבורים וכו' (והאם ביחד עם התוכנה הזאת אני יוכל להריץ את התוכנה שלך (סמרטי) עם מודל אופליין גדול)?
Qwen 3.6 35B לקידוד, Gemma 4 26B לשימוש כללי.
-
@א.מ.ד. בשביל זה אני גם צריך את התוכנה שלך או שאני יכול להריץ לבד,
@א.מ.ד. בשביל זה אני גם צריך את התוכנה שלך או שאני יכול להריץ לבד,
אתה יכול להריץ לבד מודלים קטנים כמו Qwen 3.5 4B (אבל כמו שכתבתי גם ככה תצטרך לחכות לגרסה הבאה של סמארטי), אבל למודלים גדולים כמו Qwen 3.6 35B תצטרך את התוכנה שלי.
-
(והאם ביחד עם התוכנה הזאת אני יוכל להריץ את התוכנה שלך (סמרטי) עם מודל אופליין גדול)?
כן! כמובן באיטיות, אבל אם אין לך כרגע אינטרנט ואתה רוצה בכל זאת להשתמש בסמארטי, זה יכול להיות שימושי!
אבל כדאי שתחכה לגרסה הבאה של סמארטי, שחוסכת משמעותית בטוקנים (הצלחתי לצמצם את הנחיית המערכת לשאילתא בסיסית מכ-23,000 טוקנים לכ-5,000 טוקנים!), מה שאומר שהעיבוד יהיה מהיר בהרבה, וכוללת עוד התאמות להאצת העיבוד, והיא תכלול התאמה מיוחדת למודלים מקומיים שתצמצם עוד יותר את הנחיית המערכת ותסיר חלקים פחות חשובים.
לדוגמה מקודם השתמשתי בסמארטי עם Qwen 3.5 4B כדי לבדוק מזג אוויר, ותוך 2-3 דקות המשימה בוצעה בהצלחה (בעברית!).
@א.מ.ד. יצא לי להשתמש בתוכנה שלך, יותר נכון עברתי לתוכנה שלך מאולמה, הוא מגיב פי 1000 יותר מהר, באולמה הוא היה חושב בין דקה לשלוש דקות לפני שהוא מתחיל לענות!!!
(אני עם I7 דור 11 16 ראם) אשמח לדעת איזה מודל יתאים לדעתך.
וכן אשמח לדעת מה רמת ההזיות (נראלי מכונה 'טמפרטורה') שהגדרת לו? -
@א.מ.ד. יצא לי להשתמש בתוכנה שלך, יותר נכון עברתי לתוכנה שלך מאולמה, הוא מגיב פי 1000 יותר מהר, באולמה הוא היה חושב בין דקה לשלוש דקות לפני שהוא מתחיל לענות!!!
(אני עם I7 דור 11 16 ראם) אשמח לדעת איזה מודל יתאים לדעתך.
וכן אשמח לדעת מה רמת ההזיות (נראלי מכונה 'טמפרטורה') שהגדרת לו?יצא לי להשתמש בתוכנה שלך, יותר נכון עברתי לתוכנה שלך מאולמה, הוא מגיב פי 1000 יותר מהר, באולמה הוא היה חושב בין דקה לשלוש דקות לפני שהוא מתחיל לענות!!!
@החכם-השלם זה לא הגיוני.
יש לך nvmi?
-
@א.מ.ד. יצא לי להשתמש בתוכנה שלך, יותר נכון עברתי לתוכנה שלך מאולמה, הוא מגיב פי 1000 יותר מהר, באולמה הוא היה חושב בין דקה לשלוש דקות לפני שהוא מתחיל לענות!!!
(אני עם I7 דור 11 16 ראם) אשמח לדעת איזה מודל יתאים לדעתך.
וכן אשמח לדעת מה רמת ההזיות (נראלי מכונה 'טמפרטורה') שהגדרת לו?(אני עם I7 דור 11 16 ראם) אשמח לדעת איזה מודל יתאים לדעתך.
המודלים המומלצים שבפוסט הראשי.
וכן אשמח לדעת מה רמת ההזיות (נראלי מכונה 'טמפרטורה') שהגדרת לו?
זה מוגדר אוטומטית אני חושב בהתאם למודל, אבל אתה יכול להגדיר את זה כרצונך בהגדרות.
-
(אני עם I7 דור 11 16 ראם) אשמח לדעת איזה מודל יתאים לדעתך.
המודלים המומלצים שבפוסט הראשי.
וכן אשמח לדעת מה רמת ההזיות (נראלי מכונה 'טמפרטורה') שהגדרת לו?
זה מוגדר אוטומטית אני חושב בהתאם למודל, אבל אתה יכול להגדיר את זה כרצונך בהגדרות.
-
יצא לי להשתמש בתוכנה שלך, יותר נכון עברתי לתוכנה שלך מאולמה, הוא מגיב פי 1000 יותר מהר, באולמה הוא היה חושב בין דקה לשלוש דקות לפני שהוא מתחיל לענות!!!
@החכם-השלם זה לא הגיוני.
יש לך nvmi?
@החכם-השלם זה לא הגיוני.
זה הגיוני כי זה llama.cpp המקורי ולא Ollama שמתלבש עליו. כמובן לא פי אלף אבל כן יותר מהיר (במודלים רגילים כמובן, לא במודלי MoE שבעיקר עבורם נועדה התוכנה).
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}