SparkMoE - מערכת להרצת מודלי AI גדולים ועוצמתיים באופן מקומי על חומרה חלשה, עדכון - גרסה V0.3.0!
-
@א.מ.ד. תודה רבה רק שתדע עשיתי ניסוי במיקום המודל על דיסק SSD ועל דיסק ישן יותר - ההפרשים היו עצומים ! בישן עד שהתחיל לענות לקח 3 דקות וב SSD זה לקח 10 שניות !!
הSSD היה 18.25 t/s
והישן בערך 3.6 t/s@א.מ.ד. תודה רבה רק שתדע עשיתי ניסוי במיקום המודל על דיסק SSD ועל דיסק ישן יותר - ההפרשים היו עצומים ! בישן עד שהתחיל לענות לקח 3 דקות וב SSD זה לקח 10 שניות !!
הSSD היה 18.25 t/s
והישן בערך 3.6 t/sאה, לא הבנתי מה כוונתך. ברור, יש הפרשים מטורפים בקצב העברת הנתונים.
תכלס נהנית? איזה מודל ניסית? -
@א.מ.ד. תודה רבה רק שתדע עשיתי ניסוי במיקום המודל על דיסק SSD ועל דיסק ישן יותר - ההפרשים היו עצומים ! בישן עד שהתחיל לענות לקח 3 דקות וב SSD זה לקח 10 שניות !!
הSSD היה 18.25 t/s
והישן בערך 3.6 t/sאה, לא הבנתי מה כוונתך. ברור, יש הפרשים מטורפים בקצב העברת הנתונים.
תכלס נהנית? איזה מודל ניסית? -
@א.מ.ד.
ניסתי את Gemma 4 26B A4B הוא די נחמד, השני יותר טוב?
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}