SparkMoE - מערכת להרצת מודלי AI גדולים ועוצמתיים באופן מקומי על חומרה חלשה, עדכון - גרסה V0.3.0!
-
@הדיבל-המעופף תגדיל את אורך ההקשר, נניח ל-8196 או יותר.
@א.מ.ד.
איפה אני מגדיל? עריכה : מצאתי תודה -
@הדיבל-המעופף תגדיל את אורך ההקשר, נניח ל-8196 או יותר.
-
@א.מ.ד.
המחשב הזה יעבוד מהר?
-
@הדיבל-המעופף כן, יחסית.
-
@א.מ.ד.
תודה, זה משנה האם אני שם אותו על SSD? -
@הדיבל-המעופף פשוט תבחר מודל ותזרום... זה לא כזה מורכב...
אם אתה רואה שגודל המטמון הוא בסביבות 5-6 אלף, אתה יכול להגדיל פי 2 או 3 כי יש לך הרבה ראם. אני לא זוכר אם זה מותאם אוטומטית או ידנית. -
@הדיבל-המעופף פשוט תבחר מודל ותזרום... זה לא כזה מורכב...
אם אתה רואה שגודל המטמון הוא בסביבות 5-6 אלף, אתה יכול להגדיל פי 2 או 3 כי יש לך הרבה ראם. אני לא זוכר אם זה מותאם אוטומטית או ידנית.תודה, זה משנה האם אני שם אותו על SSD?
@הדיבל-המעופף פשוט תבחר מודל ותזרום... זה לא כזה מורכב...
אם אתה רואה שגודל המטמון הוא בסביבות 5-6 אלף, אתה יכול להגדיל פי 2 או 3 כי יש לך הרבה ראם. אני לא זוכר אם זה מותאם אוטומטית או ידנית.לא קראת מה @הדיבל-המעופף שאל
-
@א.מ.ד. תודה רבה רק שתדע עשיתי ניסוי במיקום המודל על דיסק SSD ועל דיסק ישן יותר - ההפרשים היו עצומים ! בישן עד שהתחיל לענות לקח 3 דקות וב SSD זה לקח 10 שניות !!
הSSD היה 18.25 t/s
והישן בערך 3.6 t/s@א.מ.ד. תודה רבה רק שתדע עשיתי ניסוי במיקום המודל על דיסק SSD ועל דיסק ישן יותר - ההפרשים היו עצומים ! בישן עד שהתחיל לענות לקח 3 דקות וב SSD זה לקח 10 שניות !!
הSSD היה 18.25 t/s
והישן בערך 3.6 t/sאה, לא הבנתי מה כוונתך. ברור, יש הפרשים מטורפים בקצב העברת הנתונים.
תכלס נהנית? איזה מודל ניסית? -
@א.מ.ד. תודה רבה רק שתדע עשיתי ניסוי במיקום המודל על דיסק SSD ועל דיסק ישן יותר - ההפרשים היו עצומים ! בישן עד שהתחיל לענות לקח 3 דקות וב SSD זה לקח 10 שניות !!
הSSD היה 18.25 t/s
והישן בערך 3.6 t/sאה, לא הבנתי מה כוונתך. ברור, יש הפרשים מטורפים בקצב העברת הנתונים.
תכלס נהנית? איזה מודל ניסית? -
@א.מ.ד.
ניסתי את Gemma 4 26B A4B הוא די נחמד, השני יותר טוב?
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}