בקשה | מחפש תוכנה להרצת מודלים הכי פשוטה שיש אשמח אם משהו יעלה לי
-
@א.מ.ד. מה ההבדל בין התוכנה שלך לזה בתחלס שורה תחתונה אני יכול עם שניהם להירץ מודלים,?
@א.מ.ד. מה ההבדל בין התוכנה שלך לזה בתחלס שורה תחתונה אני יכול עם שניהם להירץ מודלים,?
התוכנה שלי כרגע נועדה אך ורק לדבר אחד: הרצת מודלי moe גדולים על חומרה חלשה באמצעות שימוש בדיסק במקום רק בראם. לא כתוכנה כללית להרצת מודלים, למרות שכל מודל נתמך ורץ מצויין. בעתיד הקרוב בעז"ה אני יהפוך את התוכנה לפלטפורמת הרצה כללית, בדומה ל-LMS. כרגע אני עמוס מידי ומשקיע בגרסה הבאה של סמארטי.
אז אתה יכול לנסות, ומן הסתם זה יעבוד מצויין, אבל זו לא המטרה הרשמית כרגע.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
אשמח תודה! זה די דחופ לי
@הישבשר-המלומד זה תלוי מה עדיף לך, ביצועים או נוחות.
עקרונית תוכנת cli הרבה יותר קלה ומהירה, מה שמאפשר למחשב למקד את מירב המשאבים במודל עצמו.
אם זה נוחות שימוש אז lm סטודיו הנזכרת.
אם בא לך להתפרע יש הרבה תוכנות יותר מעניינות להרצת מודלים..
בהצלחה.
האתר שלי: https://amlaach.github.io/personal-site/
-
@הישבשר-המלומד זה תלוי מה עדיף לך, ביצועים או נוחות.
עקרונית תוכנת cli הרבה יותר קלה ומהירה, מה שמאפשר למחשב למקד את מירב המשאבים במודל עצמו.
אם זה נוחות שימוש אז lm סטודיו הנזכרת.
אם בא לך להתפרע יש הרבה תוכנות יותר מעניינות להרצת מודלים..
בהצלחה.
-
@המלאך אני מחפש תוכנה שאני יכול להשיג בקלות בנטפרי
-
@הישבשר-המלומד כמדומני שזה בעיה.
כי זכור לי שנטפרי לא מאפשרים הורדת המודלים למחשב..
ובפורום אסור לעבור על חוקי נטפרי,
מה שכן תוכל לבקש במקומו אחרים ולהשיג.
אני אשמח להדריך אותך אם תצטרך עזרה..@המלאך אני לא צריך מודל אני צריך תוכנה להרצת מודלים
-
@המלאך אני לא צריך מודל אני צריך תוכנה להרצת מודלים
@הישבשר-המלומד ואיך תריץ מודל אם לא יהיה לך מודל?...
-
@המלאך אני לא צריך מודל אני צריך תוכנה להרצת מודלים
-
@המלאך אני לא צריך מודל אני צריך תוכנה להרצת מודלים
@הישבשר-המלומד אני לא יודע מה הכללים של נטפרי לגבי התוכנה, אני יכול לשער שאם הם אוסרים מודל שפה מקומי הם יאסרו גם את התוכנה שמריצה..
-
@הישבשר-המלומד ואיך תריץ מודל אם לא יהיה לך מודל?...
-
@הישבשר-המלומד ואיך תריץ מודל אם לא יהיה לך מודל?...
-
@הישבשר-המלומד התוכנה של @א.מ.ד. הכי טובה...
@רפי-סאם טכנית זה לא מדוייק.
התוכנה של @א.מ.ד. משתמשת בשיטה שפורסמה מאוד לאחורנה של החישוב בדיסק במקום בראם, מבחינת מהירות רוב התוכנות עוקפות אותה..כאמור אם @הישבשר-המלומד ירצה מהירות הכי גבוהה שיש - שישתמש בcli או ישירות בlama.cpp
האתר שלי: https://amlaach.github.io/personal-site/
-
@רפי-סאם טכנית זה לא מדוייק.
התוכנה של @א.מ.ד. משתמשת בשיטה שפורסמה מאוד לאחורנה של החישוב בדיסק במקום בראם, מבחינת מהירות רוב התוכנות עוקפות אותה..כאמור אם @הישבשר-המלומד ירצה מהירות הכי גבוהה שיש - שישתמש בcli או ישירות בlama.cpp
-
@המלאך זה מה שבאתי לכתוב יש לי את התוכנה של אמד הבעיה היא שהיא איטית רצח ויש לי גם את התוכנה הזאת koboldcpp.exe אבל אני בוחר מודל והיא נופלת למרות שבמודלים אחרים לא מוזר..
@הישבשר-המלומד נסה באתר הרשמי, הוא פתוח?
https://lmstudio.ai/
אם לא אז אולי מגיטהאב..
https://github.com/lmstudio-aiהאתר שלי: https://amlaach.github.io/personal-site/
-
@הישבשר-המלומד נסה באתר הרשמי, הוא פתוח?
https://lmstudio.ai/
אם לא אז אולי מגיטהאב..
https://github.com/lmstudio-ai -
@המלאך יש קישור לתוכנה עצמה כי היסתבכתי שם אולי בגטאב זה כן פתוח
-
@שלץ לא נבדק דהיינו חסום,
@הישבשר-המלומד זה יעבוד?
irm https://lmstudio.ai/install.ps1 | iexהכוונה להריץ בפאוורשל
-
@הישבשר-המלומד זה יעבוד?
irm https://lmstudio.ai/install.ps1 | iexהכוונה להריץ בפאוורשל
יש לי כבר מודל הורדתי כבר מודל יותר נכון הורדו לי
וד"ל
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}