להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז
-
יש בתוכנה גם אפשרות של עבודה כסוכן וגם אפשרות של חיפוש באינטרנט?
יש בתוכנה גם אפשרות של עבודה כסוכן וגם אפשרות של חיפוש באינטרנט?
זו תוכנת הרצה, לא סוכן, אבל יש בה כלי חיפוש וקריאת דפי אינטרנט מובנים, ואתה יכול להוסיף לה כלי MCP כאוות נפשך.
אם אתה מעוניין, אתה יכול לחבר את התוכנה כספק AI מקומי לסמארטי, וככה תקבל סוכן מלא. -
-
@א.מ.ד. איך מעדכנים? מתקינים מחדש?
-
כמה שאלות בור:
א. למה זה באנגלית בלי אפשרות בעברית בכלל?
ב. למה כשזה עובד ברקע (מי ביקש ממנו? לא אישרתי עדיין דבר כזה בהגדרות שם) ואני לוחץ על פתיחה של הקיצור דרך בהתחל - הוא נפתח בתוך הדפדפן?
ג. מה אני עושה לא טוב שהוא לא טוען לי את המודל המקומי שיש לי? (
gemma4 - הורדתי את מה שהביא @ לא-מתייאש במתרגם אופליין
שיש לו)
תודה רבה, ותזכה למצוות!
-
כמה שאלות בור:
א. למה זה באנגלית בלי אפשרות בעברית בכלל? ב. למה כשזה עובד ברקע (מי ביקש ממנו? לא אישרתי עדיין דבר כזה בהגדרות שם) ואני לוחץ על פתיחה של הקיצור דרך בהתחל - הוא נפתח בתוך הדפדפן?
ג. מה אני עושה לא טוב שהוא לא טוען לי את המודל המקומי שיש לי? (
gemma4 - הורדתי את מה שהביא @ לא-מתייאש במתרגם אופליין
שיש לו) תודה רבה, ותזכה למצוות!
א. למה זה באנגלית בלי אפשרות בעברית בכלל?
כבר עניתי -
הממשק מבוסס על הממשק המקורי של llama.cpp, אבל אני אבדוק אם זה יהיה פשוט לעשות את זה בלי להפוך כל עדכון למורכב יותר.
ב. למה כשזה עובד ברקע (מי ביקש ממנו? לא אישרתי עדיין דבר כזה בהגדרות שם) ואני לוחץ על פתיחה של הקיצור דרך בהתחל - הוא נפתח בתוך הדפדפן?
אין לי מושג, אצלי זה עובד מעולה, ולא פועל ברקע. תוכל לשחזר לי בדיוק את השלבים שבהם הגעת לבעיה?
ג. מה אני עושה לא טוב שהוא לא טוען לי את המודל המקומי שיש לי? (
gemma4 - הורדתי את מה שהביא @ לא-מתייאש במתרגם אופליין
שיש לו)דווקא במודל הזה? המודל שלו הוא בפורמט GGUF רגיל?
אולי זה קשור להפעלה הבעייתית שלך דרך ההתחל כמו שכתבת - תנסה לעצור את התהליך ברקע ולהפעיל כרגיל.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
א. למה זה באנגלית בלי אפשרות בעברית בכלל?
כבר עניתי -
הממשק מבוסס על הממשק המקורי של llama.cpp, אבל אני אבדוק אם זה יהיה פשוט לעשות את זה בלי להפוך כל עדכון למורכב יותר.
ב. למה כשזה עובד ברקע (מי ביקש ממנו? לא אישרתי עדיין דבר כזה בהגדרות שם) ואני לוחץ על פתיחה של הקיצור דרך בהתחל - הוא נפתח בתוך הדפדפן?
אין לי מושג, אצלי זה עובד מעולה, ולא פועל ברקע. תוכל לשחזר לי בדיוק את השלבים שבהם הגעת לבעיה?
ג. מה אני עושה לא טוב שהוא לא טוען לי את המודל המקומי שיש לי? (
gemma4 - הורדתי את מה שהביא @ לא-מתייאש במתרגם אופליין
שיש לו)דווקא במודל הזה? המודל שלו הוא בפורמט GGUF רגיל?
אולי זה קשור להפעלה הבעייתית שלך דרך ההתחל כמו שכתבת - תנסה לעצור את התהליך ברקע ולהפעיל כרגיל.דווקא במודל הזה?
זה המודל היחיד שיש לי.
המודל שלו הוא בפורמט GGUF רגיל?
אין לי בדברים האלה שמץ ירוק, אני מבין יותר בהיסתברות סטטיסטית (ספויילר: לא מבין כלום בתחום) מאשר במודלי בינה מלאכותית וLLM.
אולי זה קשור להפעלה הבעייתית שלך דרך ההתחל כמו שכתבת - תנסה לעצור את התהליך ברקע ולהפעיל כרגיל
ניסיתי גם. לא עזר.
-
דווקא במודל הזה?
זה המודל היחיד שיש לי.
המודל שלו הוא בפורמט GGUF רגיל?
אין לי בדברים האלה שמץ ירוק, אני מבין יותר בהיסתברות סטטיסטית (ספויילר: לא מבין כלום בתחום) מאשר במודלי בינה מלאכותית וLLM.
אולי זה קשור להפעלה הבעייתית שלך דרך ההתחל כמו שכתבת - תנסה לעצור את התהליך ברקע ולהפעיל כרגיל
ניסיתי גם. לא עזר.
@יאיר-דניאל כתב:
אני מבין יותר בהיסתברות סטטיסטית ... מאשר במודלי בינה מלאכותית וLLM.אגב ממש - אאל"ט זה דווקא תחומים חופפים.
-
דווקא במודל הזה?
זה המודל היחיד שיש לי.
המודל שלו הוא בפורמט GGUF רגיל?
אין לי בדברים האלה שמץ ירוק, אני מבין יותר בהיסתברות סטטיסטית (ספויילר: לא מבין כלום בתחום) מאשר במודלי בינה מלאכותית וLLM.
אולי זה קשור להפעלה הבעייתית שלך דרך ההתחל כמו שכתבת - תנסה לעצור את התהליך ברקע ולהפעיל כרגיל
ניסיתי גם. לא עזר.
אין לי בדברים האלה שמץ ירוק, אני מבין יותר בהיסתברות סטטיסטית (ספויילר: לא מבין כלום בתחום) מאשר במודלי בינה מלאכותית וLLM.
לא, המודל שלו לא מתאים, ראיתי עכשיו שהוא משתמש ב-LiteRT, לא ב-GGUF. תוריד מ-HF מודל GGUF.
אבל שים לב שהיתרון של התוכנה שלי הוא לא הרצת סתם מודלים, אלא מודלי MoE גדולים. יש קישורים בפוסט הגרסה הקודמת.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
אין לי בדברים האלה שמץ ירוק, אני מבין יותר בהיסתברות סטטיסטית (ספויילר: לא מבין כלום בתחום) מאשר במודלי בינה מלאכותית וLLM.
לא, המודל שלו לא מתאים, ראיתי עכשיו שהוא משתמש ב-LiteRT, לא ב-GGUF. תוריד מ-HF מודל GGUF.
אבל שים לב שהיתרון של התוכנה שלי הוא לא הרצת סתם מודלים, אלא מודלי MoE גדולים. יש קישורים בפוסט הגרסה הקודמת. -
אין לי בדברים האלה שמץ ירוק, אני מבין יותר בהיסתברות סטטיסטית (ספויילר: לא מבין כלום בתחום) מאשר במודלי בינה מלאכותית וLLM.
לא, המודל שלו לא מתאים, ראיתי עכשיו שהוא משתמש ב-LiteRT, לא ב-GGUF. תוריד מ-HF מודל GGUF.
אבל שים לב שהיתרון של התוכנה שלי הוא לא הרצת סתם מודלים, אלא מודלי MoE גדולים. יש קישורים בפוסט הגרסה הקודמת.@א.מ.ד.
איך אני מחבר אותו לסמראטי? -
איך אני מוריד מודלים אם נטפרי חוסם לי את הורדת המודל
-
איך אני מוריד מודלים אם נטפרי חוסם לי את הורדת המודל
@מחשב-קוונטי אף אחד לא יוכל לעזור לך בזה (גם אם אפשר למצוא דרך) כי זה נגד חוק הפורום.
תחפש מחשב בלי נטפרי. -
איך אני מוריד מודלים אם נטפרי חוסם לי את הורדת המודל
-
אפשר להוריד דרכה מודלים כמו בתוכנות הרגילות?
בעצם זה פורק מלא של LM סטודיו עם שיפורים שעשית?
-
@עניו-כמשה אפשר להוריד, עוד לא מספיק נוח אבל כולל חיפוש וכדומה.
זה לא פורק של lm studio כי lms היא בקוד סגור.
זה פורק של llama.cpp עם שינויים רבים. -
@א.מ.ד. הורדתי אנסה אותה
אבל איזה מודלים עובדים עליה? כל הסוגים של המשפחות? או רק אלה MOE?
והאם זה תומך גם מודלים של תמונות או רק LLM?
אבל איזה מודלים עובדים עליה? כל הסוגים של המשפחות? או רק אלה MOE?
והאם זה תומך גם מודלים של תמונות או רק LLM?
זה יכול להריץ כל מודל שפה, גם אם הוא לא MoE, אבל רק בגודל הקלאסי. מודלי MoE אתה יכול בכל גודל כל עוד הפרמטרים הפעילים בגודל המתאים.
תומך גם במודלי ראיה, לא במודלי יצירת תמונה.@א.מ.ד. האם אפשר גם להריץ על מחשב חזק מודלים יותר עוצמתיים ממה שהוא נותן בפני עצמו? עם כרטיס מסך חזק?
התוכנה עדיין לא תומכת בכרטיסי מסך (GPU). מתוכנן בעתיד. אבל ככל שיש יותר RAM אשר להריץ מודל יותר גדול וכן לקבל יותר טוקנים לשנייה.
-
מה זה אמור להיות?
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}