SparkMoE - מערכת להרצת מודלי AI גדולים ועוצמתיים באופן מקומי על חומרה חלשה!!!
-
SparkMoE
בהשראת הפרויקט שהוזכר כאן ע"י @המלאך - בשם colibri, שבו קבוצת חוקרים הצליחו להריץ את המודל העוצמתי GLM 5.2 על חומרה ביתית, עם כמה עשרות GB RAM "בלבד" (לצורך ההרצה נטו נצרכו כ-25 RAM), החלטתי ליצור פרויקט דומה אך שונה, שיתאים לחומרה חלשה באמת ויריץ מודלי MoE בגודל בינוני, כמו Qwen 3.6 35B A3B ו-Gemma 4 26B A4B, במכשירים עם 8/16 GB RAM (לא נבדק על 8 RAM, אבל אמור לעבוד באותה מידה).
לכאורה זה אמור להתאים גם להרצת מודלי MoE גדולים מאוד של מאות B פרמטרים על חומרה בינונית (32 GB RAM ומעלה), אבל לצערי אין לי חומרה כזו כך שאין לי איך לנסות אם זה באמת עובד...הרעיון המרכזי שעומד מאחורי הפרויקט הוא השארת המודל המלא על ה-SSD (כונן האחסון), וטעינת ופריקת מומחי ה-MoE באופן דינמי ל-RAM לפי הצורך. זה מאפשר הרצת מודלים בינוניים (20-40B פרמטרים) על גבי מכשירים עם RAM צרכני קלאסי, אף ללא GPU, מכיון שלא מתבצעת טעינה מלאה של כלל המודל ל-RAM.
כרגע הצלחתי להגיע ב-SparkMoE במודל Qwen 3.6 35B A3B עם MTP מופעל לבערך 2.5 טוקנים לשניה - איטי אבל שמיש. בגרסאות הבאות בעז"ה אני אנסה להאיץ ככל האפשר את ההסקה.
המהירות תלויה במהירות הקריאה מה-SSD, מספר ליבות ושרשורי מעבד, רוחב פס ועוד, לכן במחשב שמצטיין באלה ההסקה תהיה מהירה יותר.שימו לב: בהרצה הראשונה של המודל לאחר הפעלת השרת המקומי, ההסקה איטית יותר, אך עם התקדמות היצירה ההסקה מאיצה, בשל כך שחלק מהמומחים שכבר היו בשימוש כבר נמצאים במטמון המהיר יותר מה-SSD.
SparkMoE תומך בכל הפונקציונליות הקיימת של פרוייקט llama.cpp המקורי, כמו MTP, שרת OpenAI מקומי ועוד.
כמו כן, SparkMoE תומך גם במודלים צפופים רגילים, לא רק במודלי MoE.אופן ההרצה:
כדי להריץ מודל גדול עם SparkMoE, יש להפעיל את התוכנה, ובממשק הדשבורד המופיע בדפדפן יש לבחור (בהפעלה הראשונה) בתיקיית מודלים (גם תתי-תיקיות נתמכות, כך שאפשר להשתמש בתיקיית Models של LM Studio), לבחור מודל, ואז ללחוץ על "הפעל מודל". להמתין לטעינת המודל עד שכפתור "פתיחת הצ'אט" נהיה זמין.
בלחיצה על "פתיחת הצ'אט", ייפתח בכרטיסיה חדשה בדפדפן ממשק הצ'אט של SparkMoE.
בממשק הצ'אט ניתן לשנות הגדרות רבות, כמו MTP, הודעת מערכת, פרמטרי הסקה ועוד, בלשונית "הגדרות". ניתן גם להגדיר רמת חשיבה.
תמונות לדוגמה:
ניהול השרת:
ממשק הצ'אט והגדרות ההסקה:
מודלים תואמים מומלצים:
כרגע עדיין אסור ע"פ חוקי הפורום להעלות מודלי AI באופן ישיר בשל "פריצת סינונים", אבל מצורפים כמה קישורים עבור מודלי MoE בגודל בינוני, במידה והם פתוחים בסינון המותקן אצלכם:
מומלץ להוריד את קוונטיזציית Q4 של כל מודל, או IQ4 אם קיים.
אם החומרה שברשותכם בעלת 32 GB RAM ומעלה, אפשר להתקדם למודלי MoE גדולים יותר.הורדה:
הפרוייקט זמין בקוד פתוח בגיטהאב, ראו כאן.
ניתן להוריד קובץ EXE להתקנה מהירה מה-releases, או גרסת ZIP ניידת (לחלץ לתיקיה ולהפעיל את SparkMoE.exe).
אל תשכחו לשים
בפרוייקט על הדרך!
(הקוד המקורי של llama.cpp ברישיון MIT, והחלקים שלי תחת רישיון לא מסחרי).אשמח לשמוע על המהירות והביצועים של המודלים השונים על חומרות שונות, וכן לקבל משוב על התוכנה עצמה!
-
@חד-צורבא תסתכל פה במדריך שכתב @ א.מ.ד.
ציטוט משם לקטע הרלוונטי:
כמו שכתבתי בקטע הקודם, אם יש לי במחשב 16 RAM, מתפנה לי כ-8GB עבור הרצת מודל מקומי. הבעיה היא, שמודל AI ללא כימות שוקל בערך פי שניים ממספר הפרמטרים שלו, לדוגמא מודל של 7B שוקל בערך 14GB...
למתקדמים: פרמטר הוא בעצם מספר עשרוני (לדוגמא 0.12345678-). ללא כימות הוא מורכב מ-16 ביטים (סיביות).
כל בייט (בית) באחסון מכיל 8 ביטים (סיביות), ולעומת זאת כאמור כל פרמטר במודל מורכב מ-16 ביטים, כך שכל פרמטר מורכב משני בייטים.
אם נכפיל את הפרמטרים, אז מודל של 7B יהיה מורכב מ-14 מיליארד בייטים ששווים לבערך 14GB (ליתר דיוק קצת פחות, כי בשטח אחסון הכפולות הן של 1024 ולא 1000).זה משאיר לנו להשתמש רק במודלים קטנים מאוד, בדוגמא שלנו - 4B בערך...
בשביל זה נועד הכימות, או קוונטיזציה בלועזית: דחיסה של פרמטרי המודל.
חוקרי ה-AI גילו שעיגול של הספרות האחרונות שאחרי הנקודה בכל פרמטר, עד רמה מסוימת אינו פוגע משמעותית בדיוק של המודל, אבל כתוצאה מכך המודל הופך לקטן ומהיר יותר.
לדוגמא, כימות של 8 ביט, כלומר שכל פרמטר מורכב מ-8 ביטים במקום מ-16, חותך את גודל המודל ב-50% (יחס של 1:1 בין הפרמטרים לבייטים), תוך פגיעה מינימלית בדיוק.
כימות של 4 ביט, חותך את גודל המודל ב-75% (יחס של 1:0.5) בין הפרמטרים לבייטים), תוך פגיעה בלתי מורגשת לעין אנושית בדיוק.
הסטנדרט בהרצה מקומית הוא כימות של 4 ביט. כימות חזק יותר כבר פוגע משמעותית בדיוק של המודל (ראה בסקירת המודלים השונים בהמשך אודות מודלי Bonsai החדשניים בעלי כימות של 1 ביט - חיסכון של 93% בגודל המודל!!!).ככה שאם יש לנו 8GB פנויים להרצת המודל, נוכל להריץ עליהם אפילו מודלים של 13-14B בכימות של 4 ביט!
הכימות מוצג בשם קובץ המודל אחרי האות Q (קיצור של Quantization) - כימות של 8 ביט: Q8, כימות של 4 ביט: Q4 וכן הלאה.
בנוסף לעובדה שהירידה בדיוק המודלים היא מינורית, פותחה שיטת כימות חדשה שמצמצמת את הירידה בדיוק עוד יותר: IQ (Importance Quantization = כימות לפי חשיבות).
בשיטה הזאת, הכימות אינו אגרסיבי ואחיד לכלל הפרמטרים במודל, אלא האלגוריתם, באמצעות הרצה של המודל על טקסט ארוך ומגוון מזהה אילו פרמטרים "נדלקים" הכי הרבה - מה שאומר שהם קריטיים יותר לבינה של המודל, ואילו משניים, ואז שומר על דיוק גבוה בפרמטרים החשובים, ודוחס באגרסיביות (אפילו מתחת ל-2 ביט) את הפרמטרים הפחות חשובים.
התוצאה היא מודל חכם כמו Q4, אבל תופס שטח כמו Q3.
השיטה הזאת אמנם יוצרת מודל חכם וקטן יותר, אבל קצת איטית יותר, מכיוון שתהליך הסקה של מודל מכומת עם IQ דורש מעט יותר חישובים לפיענוח הפרמטרים הדחוסים.ישנם עוד סימונים פחות משמעותיים בכימות - האותיות באנגלית שאחרי רמת הכימות, לדוגמא Q4_K_M, שמייצגות את כמות השכבות של המודל שנדחסות ל-4 ביט, לעומת מספר שכבות קריטיות שנדחסות ל-6 ביט.
בשיטת ה-IQ נראה את הייצוג XXS / XS, כלומר דחיסה קיצונית של יותר שכבות, אבל המודל בכל זאת יישמור על השכל שלו בגלל ייחודיות שיטת ה-IQ. יש גם את הייצוג NL (Non Linear = לא ליניארי), כלומר האלגוריתם משתמש בגרף עקום כדי לקבוע אילו פרמטרים חשובים יותר ולא במדרגות קבועות, מה ששומר עוד יותר על הדיוק של המודל בפרמטרים החשובים.למעשה, הכימות המומלץ לשימוש הוא 4 ביט בשיטת Q, למעט במקרים הבאים:
אם המודל שאנחנו רוצים להריץ הוא על גבול יכולת ה-RAM שלנו, נבחר בשיטת IQ כדי לחסוך כמה מאות MB ב-RAM.
במודלים קטנים - פחות מ-3B, כל ביט קריטי, ושם חשובה שיטת ה-IQ כדי לשמור על הבינה של המודל.
במודלי MoE (הסבר בהמשך), שיטת ה-IQ שומרת על פרמטרים חשובים כמו הנתב שמפעיל את הפרמטרים הרלוונטיים לכל טוקן בדיוק גבוה, ודוחסת פרמטרים פחות רלוונטיים.
בחומרה חזקה עם GPU, שאז הפרש המהירות לא מורגש, נבחר בשיטת ה-IQ.
לסיכום, אם בוחרים בשיטת Q, מומלץ לבחור ב-Q4_K_M, ואם בוחרים בשיטת IQ מומלץ לבחור ב-IQ4_NL. -
@חובבן-מקצועי כיום אין חולק שהמודל קוד פתוח הטוב ביותר הוא Glm 5.
"Code shapes logic, AI expands vision."
-
@חובבן-מקצועי כיום אין חולק שהמודל קוד פתוח הטוב ביותר הוא Glm 5.
-
@חובבן-מקצועי כיום אין חולק שהמודל קוד פתוח הטוב ביותר הוא Glm 5.
-
פוסט זה נמחק!
@חובבן-מקצועי @המלאך @חד-צורבא
אם אפשר לא לפתוח פה דיונים והשוואות בין מודלים. יש לזה שרשור ייעודי.
GLM 5.2 רלוונטי רק לחומרה חזקה מאוד, גם עם SparkMoE (נדרש 32 RAM למהירות הסקה איטית מאוד). בהרצה רגילה דורש כ-500 RAM + כרטיס מסך עוצמתי עם כ-24 VRAM. -
הרב @א.מ.ד. שיחי' , מחילה שאני משגע אותכם עם שאלות של בור בענינים האלה, עוד שאלה קטנה אני פעם הרצתי מודל של תמלול והיה איטי להחריד זה אמור לעזור ? או שאין לזה קשר לתמלול בכלל ?
מה הוא יכול לעשות (המודלים שהבאת להם קישור) לדוגמא קידוד, ממש מעניין אותי, לדוגמא אני רוצה לבנות תוסף לאוצריא (קובץ HTML) הוא יכול ליצור לי כזה דבר ? הוא ישרוד עם מאות שורות קוד ? -
הרב @א.מ.ד. שיחי' , מחילה שאני משגע אותכם עם שאלות של בור בענינים האלה, עוד שאלה קטנה אני פעם הרצתי מודל של תמלול והיה איטי להחריד זה אמור לעזור ? או שאין לזה קשר לתמלול בכלל ?
מה הוא יכול לעשות (המודלים שהבאת להם קישור) לדוגמא קידוד, ממש מעניין אותי, לדוגמא אני רוצה לבנות תוסף לאוצריא (קובץ HTML) הוא יכול ליצור לי כזה דבר ? הוא ישרוד עם מאות שורות קוד ?הרב @א.מ.ד. שיחי' , מחילה שאני משגע אותכם עם שאלות של בור בענינים האלה, עוד שאלה קטנה אני פעם הרצתי מודל של תמלול והיה איטי להחריד זה אמור לעזור ? או שאין לזה קשר לתמלול בכלל ?
אין קשר.
מה הוא יכול לעשות (המודלים שהבאת להם קישור) לדוגמא קידוד, ממש מעניין אותי, לדוגמא אני רוצה לבנות תוסף לאוצריא (קובץ HTML) הוא יכול ליצור לי כזה דבר ? הוא ישרוד עם מאות שורות קוד ?
יכול כן, אבל זה ייקח הרבה מאוד זמן. כרגע המהירות די איטית, ולא מתאימה לקידוד פרויקט שלם.
מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
הרב @א.מ.ד. שיחי' , מחילה שאני משגע אותכם עם שאלות של בור בענינים האלה, עוד שאלה קטנה אני פעם הרצתי מודל של תמלול והיה איטי להחריד זה אמור לעזור ? או שאין לזה קשר לתמלול בכלל ?
אין קשר.
מה הוא יכול לעשות (המודלים שהבאת להם קישור) לדוגמא קידוד, ממש מעניין אותי, לדוגמא אני רוצה לבנות תוסף לאוצריא (קובץ HTML) הוא יכול ליצור לי כזה דבר ? הוא ישרוד עם מאות שורות קוד ?
יכול כן, אבל זה ייקח הרבה מאוד זמן. כרגע המהירות די איטית, ולא מתאימה לקידוד פרויקט שלם.
-
SparkMoE
בהשראת הפרויקט שהוזכר כאן ע"י @המלאך - בשם colibri, שבו קבוצת חוקרים הצליחו להריץ את המודל העוצמתי GLM 5.2 על חומרה ביתית, עם כמה עשרות GB RAM "בלבד" (לצורך ההרצה נטו נצרכו כ-25 RAM), החלטתי ליצור פרויקט דומה אך שונה, שיתאים לחומרה חלשה באמת ויריץ מודלי MoE בגודל בינוני, כמו Qwen 3.6 35B A3B ו-Gemma 4 26B A4B, במכשירים עם 8/16 GB RAM (לא נבדק על 8 RAM, אבל אמור לעבוד באותה מידה).
לכאורה זה אמור להתאים גם להרצת מודלי MoE גדולים מאוד של מאות B פרמטרים על חומרה בינונית (32 GB RAM ומעלה), אבל לצערי אין לי חומרה כזו כך שאין לי איך לנסות אם זה באמת עובד...הרעיון המרכזי שעומד מאחורי הפרויקט הוא השארת המודל המלא על ה-SSD (כונן האחסון), וטעינת ופריקת מומחי ה-MoE באופן דינמי ל-RAM לפי הצורך. זה מאפשר הרצת מודלים בינוניים (20-40B פרמטרים) על גבי מכשירים עם RAM צרכני קלאסי, אף ללא GPU, מכיון שלא מתבצעת טעינה מלאה של כלל המודל ל-RAM.
כרגע הצלחתי להגיע ב-SparkMoE במודל Qwen 3.6 35B A3B עם MTP מופעל לבערך 2.5 טוקנים לשניה - איטי אבל שמיש. בגרסאות הבאות בעז"ה אני אנסה להאיץ ככל האפשר את ההסקה.
המהירות תלויה במהירות הקריאה מה-SSD, מספר ליבות ושרשורי מעבד, רוחב פס ועוד, לכן במחשב שמצטיין באלה ההסקה תהיה מהירה יותר.שימו לב: בהרצה הראשונה של המודל לאחר הפעלת השרת המקומי, ההסקה איטית יותר, אך עם התקדמות היצירה ההסקה מאיצה, בשל כך שחלק מהמומחים שכבר היו בשימוש כבר נמצאים במטמון המהיר יותר מה-SSD.
SparkMoE תומך בכל הפונקציונליות הקיימת של פרוייקט llama.cpp המקורי, כמו MTP, שרת OpenAI מקומי ועוד.
כמו כן, SparkMoE תומך גם במודלים צפופים רגילים, לא רק במודלי MoE.אופן ההרצה:
כדי להריץ מודל גדול עם SparkMoE, יש להפעיל את התוכנה, ובממשק הדשבורד המופיע בדפדפן יש לבחור (בהפעלה הראשונה) בתיקיית מודלים (גם תתי-תיקיות נתמכות, כך שאפשר להשתמש בתיקיית Models של LM Studio), לבחור מודל, ואז ללחוץ על "הפעל מודל". להמתין לטעינת המודל עד שכפתור "פתיחת הצ'אט" נהיה זמין.
בלחיצה על "פתיחת הצ'אט", ייפתח בכרטיסיה חדשה בדפדפן ממשק הצ'אט של SparkMoE.
בממשק הצ'אט ניתן לשנות הגדרות רבות, כמו MTP, הודעת מערכת, פרמטרי הסקה ועוד, בלשונית "הגדרות". ניתן גם להגדיר רמת חשיבה.
תמונות לדוגמה:
ניהול השרת:
ממשק הצ'אט והגדרות ההסקה:
מודלים תואמים מומלצים:
כרגע עדיין אסור ע"פ חוקי הפורום להעלות מודלי AI באופן ישיר בשל "פריצת סינונים", אבל מצורפים כמה קישורים עבור מודלי MoE בגודל בינוני, במידה והם פתוחים בסינון המותקן אצלכם:
מומלץ להוריד את קוונטיזציית Q4 של כל מודל, או IQ4 אם קיים.
אם החומרה שברשותכם בעלת 32 GB RAM ומעלה, אפשר להתקדם למודלי MoE גדולים יותר.הורדה:
הפרוייקט זמין בקוד פתוח בגיטהאב, ראו כאן.
ניתן להוריד קובץ EXE להתקנה מהירה מה-releases, או גרסת ZIP ניידת (לחלץ לתיקיה ולהפעיל את SparkMoE.exe).
אל תשכחו לשים בפרוייקט על הדרך!
(הקוד המקורי של llama.cpp ברישיון MIT, והחלקים שלי תחת רישיון לא מסחרי).אשמח לשמוע על המהירות והביצועים של המודלים השונים על חומרות שונות, וכן לקבל משוב על התוכנה עצמה!
-
@א.מ.ד. יש שם יותר מידי אפשרויות הורדה יש מצב לקישור ישיר וזהו?
קישור ישיר לשני מודלים בסיסיים אחד מכל סוג
תודה רבה -
@א.מ.ד. נשמע מרשים מאוד, בבינה"ז אני אנסה את זה על מחשב עם 16-VRAM ו32-RAM.
אגב, מה ההבדל בין מודל KM (Q4) ל LN? (IQ4) (או מה עדיף בעצם)@א.מ.ד. נשמע מרשים מאוד, בבינה"ז אני אנסה את זה על מחשב עם 16-VRAM ו32-RAM.
אגב, מה ההבדל בין מודל KM (Q4) ל LN? (IQ4) (או מה עדיף בעצם)אז תוכל לנסות את זה על מודלים גדולים בהרבה, כמו Qwen 3.5 122B, או אפילו Qwen 3.5 397B. אולי אפילו GLM 5.2, אבל זה כבר יהיה איטי בהרבה.
-
שאלת תם קצת קשורה:
איך עובדת החסימה או ההגבלות על מודלי אופליין?
יש קובץ של ההגבלות?
זה באימון שלו?@אברהם-גלסר זה בתוך האימון. יש כלים כמו heretic שנועדו למנוע סירובים של המודל באמצעות אימון הפוך וכלים נוספים (חפש מודלים עם המילה heretic בסוף השם), אבל הם מורידים מעט את איכות המודל.
יש גם גרסאות מאוזנות שמפחיתות פחות מאיכות המודל, אך עדיין מסרבות לענות לפעמים.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}