SparkMoE - מערכת להרצת מודלי AI גדולים ועוצמתיים באופן מקומי על חומרה חלשה, עדכון - גרסה V0.3.0!
-
@א.מ.ד.
ומה זה מודל טעון?
ומה להגדיר בSparkMoE?לטעון מודל ב-SparkMoE...
@א.מ.ד.
הגדרתי 8080 והוא אומר שאין מפתח API, צריך לבחור משהו במודלים? -
@א.מ.ד.
ומה זה מודל טעון?
ומה להגדיר בSparkMoE?לטעון מודל ב-SparkMoE...
@א.מ.ד.
עכשיו הוא כותב
שגיאה: הבקשה שנשלחה אל השרת המקומי לא התקבלה. לרוב זה קורה כשמודל לא תומך בפרמטר מסוים או כשהיסטוריית השיחה בפורמט לא מתאים. נסה לבחור מודל אחר או לפתוח שיחה חדשה (קוד 400).
פרטים טכניים: השרת המקומי | model=gemma-4-26b-a4b-it-qat-ud-q4-k-xl | category=invalid_request | retry=none | status=400 type=exceed_context_size_error code=400 exception=BadRequestError message=request (8539 tokens) exceeds the available context size (4096 tokens), try increasing it -
@א.מ.ד.
עכשיו הוא כותב
שגיאה: הבקשה שנשלחה אל השרת המקומי לא התקבלה. לרוב זה קורה כשמודל לא תומך בפרמטר מסוים או כשהיסטוריית השיחה בפורמט לא מתאים. נסה לבחור מודל אחר או לפתוח שיחה חדשה (קוד 400).
פרטים טכניים: השרת המקומי | model=gemma-4-26b-a4b-it-qat-ud-q4-k-xl | category=invalid_request | retry=none | status=400 type=exceed_context_size_error code=400 exception=BadRequestError message=request (8539 tokens) exceeds the available context size (4096 tokens), try increasing it -
@הדיבל-המעופף תגדיל את אורך ההקשר, נניח ל-8196 או יותר.
@א.מ.ד.
איפה אני מגדיל? עריכה : מצאתי תודה -
@הדיבל-המעופף תגדיל את אורך ההקשר, נניח ל-8196 או יותר.
-
@א.מ.ד.
המחשב הזה יעבוד מהר?
-
@הדיבל-המעופף כן, יחסית.
-
@א.מ.ד.
תודה, זה משנה האם אני שם אותו על SSD? -
@הדיבל-המעופף פשוט תבחר מודל ותזרום... זה לא כזה מורכב...
אם אתה רואה שגודל המטמון הוא בסביבות 5-6 אלף, אתה יכול להגדיל פי 2 או 3 כי יש לך הרבה ראם. אני לא זוכר אם זה מותאם אוטומטית או ידנית. -
@הדיבל-המעופף פשוט תבחר מודל ותזרום... זה לא כזה מורכב...
אם אתה רואה שגודל המטמון הוא בסביבות 5-6 אלף, אתה יכול להגדיל פי 2 או 3 כי יש לך הרבה ראם. אני לא זוכר אם זה מותאם אוטומטית או ידנית.תודה, זה משנה האם אני שם אותו על SSD?
@הדיבל-המעופף פשוט תבחר מודל ותזרום... זה לא כזה מורכב...
אם אתה רואה שגודל המטמון הוא בסביבות 5-6 אלף, אתה יכול להגדיל פי 2 או 3 כי יש לך הרבה ראם. אני לא זוכר אם זה מותאם אוטומטית או ידנית.לא קראת מה @הדיבל-המעופף שאל
-
@א.מ.ד. תודה רבה רק שתדע עשיתי ניסוי במיקום המודל על דיסק SSD ועל דיסק ישן יותר - ההפרשים היו עצומים ! בישן עד שהתחיל לענות לקח 3 דקות וב SSD זה לקח 10 שניות !!
הSSD היה 18.25 t/s
והישן בערך 3.6 t/s@א.מ.ד. תודה רבה רק שתדע עשיתי ניסוי במיקום המודל על דיסק SSD ועל דיסק ישן יותר - ההפרשים היו עצומים ! בישן עד שהתחיל לענות לקח 3 דקות וב SSD זה לקח 10 שניות !!
הSSD היה 18.25 t/s
והישן בערך 3.6 t/sאה, לא הבנתי מה כוונתך. ברור, יש הפרשים מטורפים בקצב העברת הנתונים.
תכלס נהנית? איזה מודל ניסית? -
@א.מ.ד. תודה רבה רק שתדע עשיתי ניסוי במיקום המודל על דיסק SSD ועל דיסק ישן יותר - ההפרשים היו עצומים ! בישן עד שהתחיל לענות לקח 3 דקות וב SSD זה לקח 10 שניות !!
הSSD היה 18.25 t/s
והישן בערך 3.6 t/sאה, לא הבנתי מה כוונתך. ברור, יש הפרשים מטורפים בקצב העברת הנתונים.
תכלס נהנית? איזה מודל ניסית? -
@א.מ.ד.
ניסתי את Gemma 4 26B A4B הוא די נחמד, השני יותר טוב?
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}