SparkMoE - מערכת להרצת מודלי AI גדולים ועוצמתיים באופן מקומי על חומרה חלשה, עדכון - גרסה V0.3.0!
-
@א.מ.ד. א' - שניסיתי להפעיל פשוט קרס לי המחשב (ועם מודל באיכות של q2 של Gemma 4 26B A4B והמחשב קרס עם 8RAM (וזה מחשב שדי עומד בביצועים) כולו בהתחלה האט, וגם היה שגיאה ופעם השניה שניסיתי להפעיל הוא קרס...)
-
@CSS-0 זה פחות חדיש מהNVME אבל גם מגיע למהירויות מטורפות, אולי לא מספיק לAI? אין לי מושג (יצא לי להעביר מNVME לSATA במהירות 700 מ"ב בשניה)
@החכם-השלם מה זה 'מספיק'?
גם SSD אמור לעבוד (אלא אם המנגנון העברת נתונים עצמו שונה, אני לא כל כך מבין בזה..) רק שזה יהיה איטי להחריד, כאן זה שונה כי זה קורס..
מסתמא זה בCPU או ראם, אבל מצד שני מודלים מקומיים רגילים בlama.cpp אתה טוען שאתה כן מצליח להריץ.."Code shapes logic, AI expands vision."
-
@החכם-השלם מה זה 'מספיק'?
גם SSD אמור לעבוד (אלא אם המנגנון העברת נתונים עצמו שונה, אני לא כל כך מבין בזה..) רק שזה יהיה איטי להחריד, כאן זה שונה כי זה קורס..
מסתמא זה בCPU או ראם, אבל מצד שני מודלים מקומיים רגילים בlama.cpp אתה טוען שאתה כן מצליח להריץ..@המלאך זה הלוגים, ותמיד אני מריץ עליו מודלים (אני מפעיל עליו מערכת טלפונית של AI מבוססת על מודל של 8B וזה עובד תקין וחלק בלי להאט לי את המחשב מעולם, המהירות אינטרנט זה 90MB לשניה, והמהירות שזה מחזיר למשתמש את התשובה זה ממוצע של 7 שניות, (וזה כולל המרה של הטקסט שהמודל מחזיר לשמע עם BlueTTS) אז אני לא חושב שאמור להיות בו בעיה...
בכל מקרה זה הלוגים:0.00.009.579 I cmn common_param: common_params_print_info: verbosity = 3 (adjust with the `-lv N` CLI arg) 0.00.023.223 I srv load_model: loading model 'C:\Users\USER\Downloads\gemma-4-26B-A4B-it-UD-IQ2_M.gguf' 0.01.271.513 W common_fit_params: failed to fit params to free device memory: was unable to fit model into system memory by reducing context, abort 0.02.162.598 W load: control-looking token: 212 '</s>' was not control-type; this is probably a bug in the model. its type will be overridden 0.02.165.271 W load: control-looking token: 50 '<|tool_response>' was not control-type; this is probably a bug in the model. its type will be overridden 0.02.177.253 W load: control-looking token: 1 '<eos>' was not control-type; this is probably a bug in the model. its type will be overridden 0.02.215.972 W load: special_eog_ids contains '<|tool_response>', removing '</s>' token from EOG list 1.02.461.952 W cmn common_init_: KV cache shifting is not supported for this context, disabling KV cache shiftinghttps://iosii123212-hub.github.io/ani/
-
@המלאך זה הלוגים, ותמיד אני מריץ עליו מודלים (אני מפעיל עליו מערכת טלפונית של AI מבוססת על מודל של 8B וזה עובד תקין וחלק בלי להאט לי את המחשב מעולם, המהירות אינטרנט זה 90MB לשניה, והמהירות שזה מחזיר למשתמש את התשובה זה ממוצע של 7 שניות, (וזה כולל המרה של הטקסט שהמודל מחזיר לשמע עם BlueTTS) אז אני לא חושב שאמור להיות בו בעיה...
בכל מקרה זה הלוגים:0.00.009.579 I cmn common_param: common_params_print_info: verbosity = 3 (adjust with the `-lv N` CLI arg) 0.00.023.223 I srv load_model: loading model 'C:\Users\USER\Downloads\gemma-4-26B-A4B-it-UD-IQ2_M.gguf' 0.01.271.513 W common_fit_params: failed to fit params to free device memory: was unable to fit model into system memory by reducing context, abort 0.02.162.598 W load: control-looking token: 212 '</s>' was not control-type; this is probably a bug in the model. its type will be overridden 0.02.165.271 W load: control-looking token: 50 '<|tool_response>' was not control-type; this is probably a bug in the model. its type will be overridden 0.02.177.253 W load: control-looking token: 1 '<eos>' was not control-type; this is probably a bug in the model. its type will be overridden 0.02.215.972 W load: special_eog_ids contains '<|tool_response>', removing '</s>' token from EOG list 1.02.461.952 W cmn common_init_: KV cache shifting is not supported for this context, disabling KV cache shifting -
@המלאך זה הלוגים, ותמיד אני מריץ עליו מודלים (אני מפעיל עליו מערכת טלפונית של AI מבוססת על מודל של 8B וזה עובד תקין וחלק בלי להאט לי את המחשב מעולם, המהירות אינטרנט זה 90MB לשניה, והמהירות שזה מחזיר למשתמש את התשובה זה ממוצע של 7 שניות, (וזה כולל המרה של הטקסט שהמודל מחזיר לשמע עם BlueTTS) אז אני לא חושב שאמור להיות בו בעיה...
בכל מקרה זה הלוגים:0.00.009.579 I cmn common_param: common_params_print_info: verbosity = 3 (adjust with the `-lv N` CLI arg) 0.00.023.223 I srv load_model: loading model 'C:\Users\USER\Downloads\gemma-4-26B-A4B-it-UD-IQ2_M.gguf' 0.01.271.513 W common_fit_params: failed to fit params to free device memory: was unable to fit model into system memory by reducing context, abort 0.02.162.598 W load: control-looking token: 212 '</s>' was not control-type; this is probably a bug in the model. its type will be overridden 0.02.165.271 W load: control-looking token: 50 '<|tool_response>' was not control-type; this is probably a bug in the model. its type will be overridden 0.02.177.253 W load: control-looking token: 1 '<eos>' was not control-type; this is probably a bug in the model. its type will be overridden 0.02.215.972 W load: special_eog_ids contains '<|tool_response>', removing '</s>' token from EOG list 1.02.461.952 W cmn common_init_: KV cache shifting is not supported for this context, disabling KV cache shifting -
@המלאך זה הלוגים, ותמיד אני מריץ עליו מודלים (אני מפעיל עליו מערכת טלפונית של AI מבוססת על מודל של 8B וזה עובד תקין וחלק בלי להאט לי את המחשב מעולם, המהירות אינטרנט זה 90MB לשניה, והמהירות שזה מחזיר למשתמש את התשובה זה ממוצע של 7 שניות, (וזה כולל המרה של הטקסט שהמודל מחזיר לשמע עם BlueTTS) אז אני לא חושב שאמור להיות בו בעיה...
בכל מקרה זה הלוגים:0.00.009.579 I cmn common_param: common_params_print_info: verbosity = 3 (adjust with the `-lv N` CLI arg) 0.00.023.223 I srv load_model: loading model 'C:\Users\USER\Downloads\gemma-4-26B-A4B-it-UD-IQ2_M.gguf' 0.01.271.513 W common_fit_params: failed to fit params to free device memory: was unable to fit model into system memory by reducing context, abort 0.02.162.598 W load: control-looking token: 212 '</s>' was not control-type; this is probably a bug in the model. its type will be overridden 0.02.165.271 W load: control-looking token: 50 '<|tool_response>' was not control-type; this is probably a bug in the model. its type will be overridden 0.02.177.253 W load: control-looking token: 1 '<eos>' was not control-type; this is probably a bug in the model. its type will be overridden 0.02.215.972 W load: special_eog_ids contains '<|tool_response>', removing '</s>' token from EOG list 1.02.461.952 W cmn common_init_: KV cache shifting is not supported for this context, disabling KV cache shifting -
@CSS-0 כנראה אין לך מספיק ram פנוי בשביל בפרמטרים הפעילים. תנסה לשחק עם גודל המטמון בממשק הבקרה.
-
-
@CSS-0
אולי באמת...
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}