בקשה | מחפש תוכנה להרצת מודלים הכי פשוטה שיש אשמח אם משהו יעלה לי
-
בשמיים
א גרויסע מלאך...
@הישבשר-המלומד הנושא נפתר? -
@רפי-סאם טכנית זה לא מדוייק.
התוכנה של @א.מ.ד. משתמשת בשיטה שפורסמה מאוד לאחורנה של החישוב בדיסק במקום בראם, מבחינת מהירות רוב התוכנות עוקפות אותה..כאמור אם @הישבשר-המלומד ירצה מהירות הכי גבוהה שיש - שישתמש בcli או ישירות בlama.cpp
התוכנה של @א.מ.ד. משתמשת בשיטה שפורסמה מאוד לאחורנה של החישוב בדיסק במקום בראם, מבחינת מהירות רוב התוכנות עוקפות אותה..
למה? במודלים רגילים דווקא התוכנה שלי מהירה יותר מ-LMS, כי אין לה ממשק גרפי כבד כמוה. התוכנה שלי היא בעצם llama.cpp עם קצת שינויים, ולא תוכנה כבדה ואיטית כמו LMS שחלק קטן ממנה זה llama.cpp.
ובמודלי MOE גדולים, שעבורם נועדה התוכנה, התוכנה שלי מהירה בדיוק כמו האחרות.לא נראה לי יש הורדה רגילה דרך האתר.. הכל בשורת פקודה..
ההורדה הקלאסית היא בקובץ EXE...
-
@שלץ לא הוא כותב לי שגיאה שאני מייבא מודל
מה עושים? -
@הישבשר-המלומד יש לך גימיני?
לדעתי הוא ידע להדריך אותך הכי טוב -
@MAD כן אבל יש שגיאה ראית בתמונה את זה הוא לא ידע....
-
@שלץ כל דבר אני צריך לכתוב שכחתי
יש לי כבר מודל הורדתי כבר מודל יותר נכון הורדו לי -
-
התוכנה של @א.מ.ד. משתמשת בשיטה שפורסמה מאוד לאחורנה של החישוב בדיסק במקום בראם, מבחינת מהירות רוב התוכנות עוקפות אותה..
למה? במודלים רגילים דווקא התוכנה שלי מהירה יותר מ-LMS, כי אין לה ממשק גרפי כבד כמוה. התוכנה שלי היא בעצם llama.cpp עם קצת שינויים, ולא תוכנה כבדה ואיטית כמו LMS שחלק קטן ממנה זה llama.cpp.
ובמודלי MOE גדולים, שעבורם נועדה התוכנה, התוכנה שלי מהירה בדיוק כמו האחרות.לא נראה לי יש הורדה רגילה דרך האתר.. הכל בשורת פקודה..
ההורדה הקלאסית היא בקובץ EXE...
@א.מ.ד. כתבתי כבר שהמהירות נקבעת גם על ידי הממשק הגרפי ולכן הצעתי cli,
לא הוא כותב לי שגיאה שאני מייבא מודל
זה קורה אם אתה שומר בסדר לא נכון את התיקייה של המודל..
האתר שלי: https://amlaach.github.io/personal-site/
-
@א.מ.ד. כתבתי כבר שהמהירות נקבעת גם על ידי הממשק הגרפי ולכן הצעתי cli,
לא הוא כותב לי שגיאה שאני מייבא מודל
זה קורה אם אתה שומר בסדר לא נכון את התיקייה של המודל..
-
@המלאך ומה הסדר...
-
@הישבשר-המלומד כמדומני שצריך לשמור בתיקיה פנימית.
כלומר תת תיקיה. -
@המלאך טוב אני היתאשתי מזה איך א.מ.ד או אומר אין לי כוח להתעסק עם דברים שעל ההתחלה לא עובדים.
יש למישהו אולי את התוכנה השניה שכן עובדת אני מדבר על קישור ישיר לתוכנה לקובץ EXE ישירות.
אשמח ממש@הישבשר-המלומד אני הבוקר הורדתי את התוכנה מכאן https://lm-studio.en.uptodown.com/windows
והיא הורידה לי מודל בכימות 4Q וזה עובד מעולה בנטפרי -
@הישבשר-המלומד אני הבוקר הורדתי את התוכנה מכאן https://lm-studio.en.uptodown.com/windows
והיא הורידה לי מודל בכימות 4Q וזה עובד מעולה בנטפרי -
@u88 אני מנסה להוריד מכאן וזה השגיאה
-
הורדתי בסופ עם IDM לקחתי את הקישור של הקובץ תודה
עריכה לא עזר בסופובסופ זה נתקע ולא ירד כלום אחח מה אני אומר, אם יש למשהו דרך להוריד לי את זה או לחלפוי לתת לי איזה תוכנה להרצה אני אשמח,
-
@א.מ.ד. כתבתי כבר שהמהירות נקבעת גם על ידי הממשק הגרפי ולכן הצעתי cli,
לא הוא כותב לי שגיאה שאני מייבא מודל
זה קורה אם אתה שומר בסדר לא נכון את התיקייה של המודל..
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}