SparkMoE - מערכת להרצת מודלי AI גדולים ועוצמתיים באופן מקומי על חומרה חלשה, עדכון - גרסה V0.3.0!
-
-
פוסט זה נמחק!
-
-
פוסט זה נמחק!
-
ב בנימין מחשבים התייחס לנושא זה
-
א א.מ.ד. התייחס לנושא זה
-
נ ניסיםו התייחס לנושא זה
-
@ישראל123 MTP ב-Gemma 4 קצת בעייתי. גם ב-LM STUDIO לא הצלחתי להשתמש בו. במודלים אחרים MTP עובד מצויין.
לגבי רכיב הראיה, הוא אמור לעבוד. שים אותו באותה תיקיה של המודל העיקרי.
-
@א.מ.ד.
איך אני מחבר אותו לסמראטי? -
@א.מ.ד.
איך אני מחבר אותו לסמראטי?בוחר "שרת מקומי", ומשנה את כתובת השרת לפורט 8080. כמובן כמודל טעון.
-
-
@א.מ.ד.
ומה זה מודל טעון?
ומה להגדיר בSparkMoE? -
@א.מ.ד.
ומה זה מודל טעון?
ומה להגדיר בSparkMoE?לטעון מודל ב-SparkMoE...
@א.מ.ד.
הגדרתי 8080 והוא אומר שאין מפתח API, צריך לבחור משהו במודלים? -
@א.מ.ד.
ומה זה מודל טעון?
ומה להגדיר בSparkMoE?לטעון מודל ב-SparkMoE...
@א.מ.ד.
עכשיו הוא כותב
שגיאה: הבקשה שנשלחה אל השרת המקומי לא התקבלה. לרוב זה קורה כשמודל לא תומך בפרמטר מסוים או כשהיסטוריית השיחה בפורמט לא מתאים. נסה לבחור מודל אחר או לפתוח שיחה חדשה (קוד 400).
פרטים טכניים: השרת המקומי | model=gemma-4-26b-a4b-it-qat-ud-q4-k-xl | category=invalid_request | retry=none | status=400 type=exceed_context_size_error code=400 exception=BadRequestError message=request (8539 tokens) exceeds the available context size (4096 tokens), try increasing it -
@א.מ.ד.
עכשיו הוא כותב
שגיאה: הבקשה שנשלחה אל השרת המקומי לא התקבלה. לרוב זה קורה כשמודל לא תומך בפרמטר מסוים או כשהיסטוריית השיחה בפורמט לא מתאים. נסה לבחור מודל אחר או לפתוח שיחה חדשה (קוד 400).
פרטים טכניים: השרת המקומי | model=gemma-4-26b-a4b-it-qat-ud-q4-k-xl | category=invalid_request | retry=none | status=400 type=exceed_context_size_error code=400 exception=BadRequestError message=request (8539 tokens) exceeds the available context size (4096 tokens), try increasing it -
@הדיבל-המעופף תגדיל את אורך ההקשר, נניח ל-8196 או יותר.
@א.מ.ד.
איפה אני מגדיל? עריכה : מצאתי תודה -
@הדיבל-המעופף תגדיל את אורך ההקשר, נניח ל-8196 או יותר.
-
@א.מ.ד.
המחשב הזה יעבוד מהר?
-
@הדיבל-המעופף כן, יחסית.
-
@א.מ.ד.
תודה, זה משנה האם אני שם אותו על SSD?
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}