להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז
-
דווקא במודל הזה?
זה המודל היחיד שיש לי.
המודל שלו הוא בפורמט GGUF רגיל?
אין לי בדברים האלה שמץ ירוק, אני מבין יותר בהיסתברות סטטיסטית (ספויילר: לא מבין כלום בתחום) מאשר במודלי בינה מלאכותית וLLM.
אולי זה קשור להפעלה הבעייתית שלך דרך ההתחל כמו שכתבת - תנסה לעצור את התהליך ברקע ולהפעיל כרגיל
ניסיתי גם. לא עזר.
אין לי בדברים האלה שמץ ירוק, אני מבין יותר בהיסתברות סטטיסטית (ספויילר: לא מבין כלום בתחום) מאשר במודלי בינה מלאכותית וLLM.
לא, המודל שלו לא מתאים, ראיתי עכשיו שהוא משתמש ב-LiteRT, לא ב-GGUF. תוריד מ-HF מודל GGUF.
אבל שים לב שהיתרון של התוכנה שלי הוא לא הרצת סתם מודלים, אלא מודלי MoE גדולים. יש קישורים בפוסט הגרסה הקודמת.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
אין לי בדברים האלה שמץ ירוק, אני מבין יותר בהיסתברות סטטיסטית (ספויילר: לא מבין כלום בתחום) מאשר במודלי בינה מלאכותית וLLM.
לא, המודל שלו לא מתאים, ראיתי עכשיו שהוא משתמש ב-LiteRT, לא ב-GGUF. תוריד מ-HF מודל GGUF.
אבל שים לב שהיתרון של התוכנה שלי הוא לא הרצת סתם מודלים, אלא מודלי MoE גדולים. יש קישורים בפוסט הגרסה הקודמת. -
אין לי בדברים האלה שמץ ירוק, אני מבין יותר בהיסתברות סטטיסטית (ספויילר: לא מבין כלום בתחום) מאשר במודלי בינה מלאכותית וLLM.
לא, המודל שלו לא מתאים, ראיתי עכשיו שהוא משתמש ב-LiteRT, לא ב-GGUF. תוריד מ-HF מודל GGUF.
אבל שים לב שהיתרון של התוכנה שלי הוא לא הרצת סתם מודלים, אלא מודלי MoE גדולים. יש קישורים בפוסט הגרסה הקודמת.@א.מ.ד.
איך אני מחבר אותו לסמראטי? -
איך אני מוריד מודלים אם נטפרי חוסם לי את הורדת המודל
-
איך אני מוריד מודלים אם נטפרי חוסם לי את הורדת המודל
@מחשב-קוונטי אף אחד לא יוכל לעזור לך בזה (גם אם אפשר למצוא דרך) כי זה נגד חוק הפורום.
תחפש מחשב בלי נטפרי. -
איך אני מוריד מודלים אם נטפרי חוסם לי את הורדת המודל
-
אפשר להוריד דרכה מודלים כמו בתוכנות הרגילות?
בעצם זה פורק מלא של LM סטודיו עם שיפורים שעשית?
-
@עניו-כמשה אפשר להוריד, עוד לא מספיק נוח אבל כולל חיפוש וכדומה.
זה לא פורק של lm studio כי lms היא בקוד סגור.
זה פורק של llama.cpp עם שינויים רבים. -
@א.מ.ד. הורדתי אנסה אותה
אבל איזה מודלים עובדים עליה? כל הסוגים של המשפחות? או רק אלה MOE?
והאם זה תומך גם מודלים של תמונות או רק LLM?
אבל איזה מודלים עובדים עליה? כל הסוגים של המשפחות? או רק אלה MOE?
והאם זה תומך גם מודלים של תמונות או רק LLM?
זה יכול להריץ כל מודל שפה, גם אם הוא לא MoE, אבל רק בגודל הקלאסי. מודלי MoE אתה יכול בכל גודל כל עוד הפרמטרים הפעילים בגודל המתאים.
תומך גם במודלי ראיה, לא במודלי יצירת תמונה.@א.מ.ד. האם אפשר גם להריץ על מחשב חזק מודלים יותר עוצמתיים ממה שהוא נותן בפני עצמו? עם כרטיס מסך חזק?
התוכנה עדיין לא תומכת בכרטיסי מסך (GPU). מתוכנן בעתיד. אבל ככל שיש יותר RAM אשר להריץ מודל יותר גדול וכן לקבל יותר טוקנים לשנייה.
-
מה זה אמור להיות?
-
מה זה אמור להיות?
יש נטפרי?
-
אבל איזה מודלים עובדים עליה? כל הסוגים של המשפחות? או רק אלה MOE?
והאם זה תומך גם מודלים של תמונות או רק LLM?
זה יכול להריץ כל מודל שפה, גם אם הוא לא MoE, אבל רק בגודל הקלאסי. מודלי MoE אתה יכול בכל גודל כל עוד הפרמטרים הפעילים בגודל המתאים.
תומך גם במודלי ראיה, לא במודלי יצירת תמונה.@א.מ.ד. האם אפשר גם להריץ על מחשב חזק מודלים יותר עוצמתיים ממה שהוא נותן בפני עצמו? עם כרטיס מסך חזק?
התוכנה עדיין לא תומכת בכרטיסי מסך (GPU). מתוכנן בעתיד. אבל ככל שיש יותר RAM אשר להריץ מודל יותר גדול וכן לקבל יותר טוקנים לשנייה.
-
@א.מ.ד.
ח''ואבל חסימה אחרת
היא עדיין לא עשתה לי בעיות בתוך תוכנה או בתוך אתר שכבר פתוח -
אבל חסימה אחרת
היא עדיין לא עשתה לי בעיות בתוך תוכנה או בתוך אתר שכבר פתוחאבל המודלים חסומים להורדה.
-
@א.מ.ד. נשמע נהדר ממש
כמה טוקנים לשניה הוא מייצר במודלים 35B נאמר
או בצורה אחרת תוך כמה שניות אתה מקבל תשובה לשאלה מה שלומך
כמה טוקנים לשניה הוא מייצר במודלים 35B נאמר
5-7 טוקנים לשנייה.
או בצורה אחרת תוך כמה שניות אתה מקבל תשובה לשאלה מה שלומך
5-10 שניות, משהו כזה...
מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}