SparkMoE - מערכת להרצת מודלי AI גדולים ועוצמתיים באופן מקומי על חומרה חלשה, עדכון - גרסה V0.3.0!
-
@רפי-סאם אתה בטוח? הוא ממש טיפש..
עדיף לעבוד על gemma מסדרה 4. (יש לך את gemma 4 E2b שהוא שוקל 3.5 GB)@חובבן-מקצועי המהירות מפצה...
עריכה כתבתי לפני שהו כתב על גמא 4 -
@חובבן-מקצועי המהירות מפצה...
עריכה כתבתי לפני שהו כתב על גמא 4 -
@חובבן-מקצועי המהירות מפצה...
עריכה כתבתי לפני שהו כתב על גמא 4@חובבן-מקצועי המהירות מפצה...
לדעתי היא לא מפצה על כלום (לפי מה שזכור לי על המודל ההוא כשהרצתי אותו בעבר), gemma 3 בכלל - הוא מהסוג הישן - בלי חשיבה, ועוד כזה קצת פרמטרים..
-
@א.מ.ד. אני ממליץ על המודול gemma-3-1b-it-Q8_0.gguf - 1020 MiB
הוא מאוד מהיר ונוח על מחשב של 16 ראם@רפי-סאם הנה צילו"מ משאלה פשוטה, שאולי טיפה תראה את ההבדל. (גילוי נאות, המודל gemma 3 1b שיש פה הוא בכימות 4Q -
אבל לא נראה לי שזה באמת משנה.בעז"ה בהמשך אנסה על 8Q ונראה מה יהיה ההבדל..
עריכה: בדקתי 8Q אין הבדל כלשהו, גם כן עונה תשובה שגויה.)gemma 4 E2b Q5
gemma 3 1b Q4
-
@רפי-סאם הנה צילו"מ משאלה פשוטה, שאולי טיפה תראה את ההבדל. (גילוי נאות, המודל gemma 3 1b שיש פה הוא בכימות 4Q -
אבל לא נראה לי שזה באמת משנה.בעז"ה בהמשך אנסה על 8Q ונראה מה יהיה ההבדל..
עריכה: בדקתי 8Q אין הבדל כלשהו, גם כן עונה תשובה שגויה.)gemma 4 E2b Q5
gemma 3 1b Q4
-
@חובבן-מקצועי ברור שהכימות משנה.
בשאלות כאלה שדורשות סוג של ירידה לפרטים הקטנים, הדבר שכימות הכי נכשל בו.. -
@חובבן-מקצועי ברור שהכימות משנה.
בשאלות כאלה שדורשות סוג של ירידה לפרטים הקטנים, הדבר שכימות הכי נכשל בו..אבל הפער בין Q8 ל-Q4 לא משמעותי.
-
@רפי-סאם הנה צילו"מ משאלה פשוטה, שאולי טיפה תראה את ההבדל. (גילוי נאות, המודל gemma 3 1b שיש פה הוא בכימות 4Q -
אבל לא נראה לי שזה באמת משנה.בעז"ה בהמשך אנסה על 8Q ונראה מה יהיה ההבדל..
עריכה: בדקתי 8Q אין הבדל כלשהו, גם כן עונה תשובה שגויה.)gemma 4 E2b Q5
gemma 3 1b Q4
@חובבן-מקצועי אגב, יש שאלה שאני אוהב לשאול מודלים קטנים, ולראות את תגובתם - לסאלי יש 3 אחים. לכל אחד מאחיה יש 2 אחיות. כמה אחיות יש לסאלי?
התשובה היא כמובן 1, אבל רוב המודלים הקטנים עונים 6, 5 או 2...מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
@חובבן-מקצועי אגב, יש שאלה שאני אוהב לשאול מודלים קטנים, ולראות את תגובתם - לסאלי יש 3 אחים. לכל אחד מאחיה יש 2 אחיות. כמה אחיות יש לסאלי?
התשובה היא כמובן 1, אבל רוב המודלים הקטנים עונים 6, 5 או 2... -
@חובבן-מקצועי אגב, יש שאלה שאני אוהב לשאול מודלים קטנים, ולראות את תגובתם - לסאלי יש 3 אחים. לכל אחד מאחיה יש 2 אחיות. כמה אחיות יש לסאלי?
התשובה היא כמובן 1, אבל רוב המודלים הקטנים עונים 6, 5 או 2... -
@א.מ.ד. לי gemma4E4B אומר 2 (כי הוא טוען שסאלי זה שם שבן ולא מוכן להסכים איתי...) ו E2B בכלל נע בין 6\5\4\3\2
-
@CSS-0 תבדוק, אולי במקרה כיבית את מצב חשיבה? זה משפיע על התשובה.
-
@פתרון-AI אין לך צורך בתוכנה שלי בשביל מודלים בינוניים. אתה יכול להריץ אותם כרגיל עם LM Studio, במהירות מטורפת.
אני מדבר על מודלי MoE עד 40B, או מודלים צפופים עד כ-14B. אבל גם מודלים צפופים של 30B יעבדו מהר יחסית ע"י העברת חלק מהשכבות ל-GPU. אז תנסה את סדרות Gemma 4 ו-Qwen 3.6.
אם בכל זאת תרצה להריץ מודלי MoE גדולים יותר כמו Qwen 3.5 122B A10B, תוכל להשתמש בתוכנה שלי. היא אמורה לתמוך ב-GPU, אבל אני צריך לבדוק את זה, כי מלכתחילה לא התעסקתי בחומרה חזקה. בגרסה הבאה זה יובא בחשבון.
@אריאלל זה עונה גם לשאלתך.@א.מ.ד. בדקתי את זה עכשיו, זה אמנם עובד באופן מצוין כלפי הטעינה החלקית לזיכרון, אבל ל-GPU זה לא טוען בכלל.
זה חשוב גם למחשבים כאלה, כי לי למשל יש VRAM של 6 GB שזה קצת באופן יחסי והשאר עובר ל-RAM מה שמאט את הביצועים משמעותית ומייתר למעשה את הכרטיס גרפי.
אם תוכל להתאים את התוכנה גם ל-GPU זה יעזור מאד.
תודה על ההשקעה
-
@א.מ.ד. בדקתי את זה עכשיו, זה אמנם עובד באופן מצוין כלפי הטעינה החלקית לזיכרון, אבל ל-GPU זה לא טוען בכלל.
זה חשוב גם למחשבים כאלה, כי לי למשל יש VRAM של 6 GB שזה קצת באופן יחסי והשאר עובר ל-RAM מה שמאט את הביצועים משמעותית ומייתר למעשה את הכרטיס גרפי.
אם תוכל להתאים את התוכנה גם ל-GPU זה יעזור מאד.
תודה על ההשקעה
-
@אריאלל סתם ככה יש לך מעבד NPU שמותאם יותר לבינה מלאכותית, אין לי מושג אם כיום יש כלים שמנצלים אותו טוב יור מהתוצאות שהכרטיס הגרפי יביא, שווה לבדוק.
@החכם-השלם זה NPU שיצא לפני עידן ה AI הביתי.
יש לו אולי 7 TOPS, והוא נועד בעיקר לתכונות במצלמה כמו מעקב פנים וטשטוש. -
@א.מ.ד. בדקתי את זה עכשיו, זה אמנם עובד באופן מצוין כלפי הטעינה החלקית לזיכרון, אבל ל-GPU זה לא טוען בכלל.
זה חשוב גם למחשבים כאלה, כי לי למשל יש VRAM של 6 GB שזה קצת באופן יחסי והשאר עובר ל-RAM מה שמאט את הביצועים משמעותית ומייתר למעשה את הכרטיס גרפי.
אם תוכל להתאים את התוכנה גם ל-GPU זה יעזור מאד.
תודה על ההשקעה
-
@אריאלל אולי זה יעזור לך.
https://github.com/lyogavin/airllm -
@המלאך מה המהירות של זה?
Kimi K3 (2.8T) — the largest open-source model released to date — on under 4GB
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}