SparkMoE - מערכת להרצת מודלי AI גדולים ועוצמתיים באופן מקומי על חומרה חלשה, עדכון - גרסה V0.3.0!
-
@שלץ
לא יש לי בקושי 6 ראם
אבל אולי אפשר על אותו עיקרון גם לאנדרואיד לעשות משהו ולכן שאלתי@קובי-קובי
מאד לא שימושי. יש למעט מאד אנשים אנדרואיד עם חומרה מספקת למודל מקומי סביר.ולענ"ד - המעט האלה יכולים כבר להריץ על מה שיש להם או על אלטרנטיבות. לא יבנו במיוחד בשבילם גרסה לאנדרואיד.
-
זה עובד גם על אנדרואיד?
לא, אבל יש אפליקציה שראיתי, בשם BigMoeOnEdge שעושה את זה באנדרואיד, אבל היא פחות נוחה ואוניברסלית.
יש לך אנדרואיד עם 32 ג'יגה ראם??
לא צריך 32 RAM. כל הרעיון הוא שמספיקה חומרה חלשה.
מאד לא שימושי. יש למעט מאד אנשים אנדרואיד עם חומרה מספקת למודל מקומי סביר.
מה נקרא מודל סביר בעיניך? זה משתנה ממשימה למשימה...
-
זה עובד גם על אנדרואיד?
לא, אבל יש אפליקציה שראיתי, בשם BigMoeOnEdge שעושה את זה באנדרואיד, אבל היא פחות נוחה ואוניברסלית.
יש לך אנדרואיד עם 32 ג'יגה ראם??
לא צריך 32 RAM. כל הרעיון הוא שמספיקה חומרה חלשה.
מאד לא שימושי. יש למעט מאד אנשים אנדרואיד עם חומרה מספקת למודל מקומי סביר.
מה נקרא מודל סביר בעיניך? זה משתנה ממשימה למשימה...
-
-
זה עובד גם על אנדרואיד?
לא, אבל יש אפליקציה שראיתי, בשם BigMoeOnEdge שעושה את זה באנדרואיד, אבל היא פחות נוחה ואוניברסלית.
יש לך אנדרואיד עם 32 ג'יגה ראם??
לא צריך 32 RAM. כל הרעיון הוא שמספיקה חומרה חלשה.
מאד לא שימושי. יש למעט מאד אנשים אנדרואיד עם חומרה מספקת למודל מקומי סביר.
מה נקרא מודל סביר בעיניך? זה משתנה ממשימה למשימה...
-
-
לא מוצא את האפליקציה הזו, [אולי טעות באיות?]
זה בגיטהאב.
הנה הקישור: https://github.com/Helldez/BigMoeOnEdgeאיזה מודלים אפשר להריץ ב google AI Edge Gallery ?
ניסיתי gemma 3 עם סיומת gguf והוא לא קלט?מודלים עם סיומת ".task". חפש ב-HF.
@א.מ.ד. מה עם המודל הזה Qwen 3.8 27B הוא טוב בקידוד ? איזה רמה הוא יכול להגיע ? הוא יעבוד לי עם התוכנה שלך ? יש לי 16 ראם ומעבד אינטל i5 13 H
הוא מודל מעולה, אבל הוא לא MoE, אז אין ייתרון בתוכנה שלי לעת עתה עם המודל הזה, לפחות לעת עתה.
-
@שלץ
לא יש לי בקושי 6 ראם
אבל אולי אפשר על אותו עיקרון גם לאנדרואיד לעשות משהו ולכן שאלתי@קובי-קובי היי שבוע טוב אני עם אנדרואיד 3 ram אשמח לשמוע אם מצאת משהו מתאים אני צריך מודל שפה בסיסי שעאפשר לשאול אותו בעברית ועונה בעברית בהמלצה של מישהו הורדתי את זה DictaLM-3.0-1.7B-Thinking-Q5_K_M.gguf ואני עדיין מחפש אפליקציה מתאימה להרצה שלו אשמח אם תחכימו אותי עוד בנושא זה
-
@קובי-קובי היי שבוע טוב אני עם אנדרואיד 3 ram אשמח לשמוע אם מצאת משהו מתאים אני צריך מודל שפה בסיסי שעאפשר לשאול אותו בעברית ועונה בעברית בהמלצה של מישהו הורדתי את זה DictaLM-3.0-1.7B-Thinking-Q5_K_M.gguf ואני עדיין מחפש אפליקציה מתאימה להרצה שלו אשמח אם תחכימו אותי עוד בנושא זה
-
@אברהם-גלסר זה בתוך האימון. יש כלים כמו heretic שנועדו למנוע סירובים של המודל באמצעות אימון הפוך וכלים נוספים (חפש מודלים עם המילה heretic בסוף השם), אבל הם מורידים מעט את איכות המודל.
יש גם גרסאות מאוזנות שמפחיתות פחות מאיכות המודל, אך עדיין מסרבות לענות לפעמים.
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}