המלצה | תוכנת MSTY להרצת מודלי AI לוקאלית על המחשב
-
אני יודע שהתוכנה המקובלת (בעלת ממשק גרפי) להרצת מודלי AI במחשב היא LM STUDYO, אבל אני פשוט סבלתי מהאיטיות שלה, ובמיוחד אחר העדכון האחרון שפשוט סבלתי מכל שימוש בתוכנה, גם הרבה זמן לפתיחה (גם במחשב עם מעבד טוב), וגם העובדה שהיא פשוט לא מצאה את המודלים שהיו במחשב, וכן העובדה שע"א הזיכרון גרפי זה נטען לי גם לראם.
אז חיפשתי ומצאתי תוכנה שמשום מה לא ידועה כל כך בשם MSTY שמיועדת לזה.היא רצה על OLLMA רק עם ממשק נורמלי ויפה
היא מהירה להחריד ביחס ל LM SRUDYO, אך עיקר ההבדל הוא לבעלי כרטיס גרפי
לבעלי כרטיס גרפי היא נטענת רק אליו ולא לראם, מה שמאפשר שימוש נורמלי במחשב בד בבד
יש אופציה לכמה צ'אטים בו זמנית
יש אופציה למודלי אונליין דרך API
אופציה לחיפוש באינטרנטבקיצור... תנסו ותגידו איך היה
הקישור לדף התוכנה
קצת תמונות -
נפתח בנטפרי
-
@REFAEL-2 כתב בהמלצה | תוכנת MSTY להרצת מודלי AI לוקאלית על המחשב:
משום מה כל המודלים בתוכנה הזו עונים לא לענין, בעיקר בעברית
בתוכנה הזאת דוקא?
תנסה את אותם מודלים בתוכנות אחרות .
מסתבר יותר שזה קשור למודל , כשהפעלתי את התוכנה הוא ישר הוריד לי את דיפסיק שבאמת לא יכול לענות בעברית -
האם יש אפשרות להוריד אל התוכנה הזאת את מודל דיקטה המאומן על ספרות רבנית
https://huggingface.co/dicta-il/dictalm-7b-instruct
בחלונית בחירת מודלים - דרך huggingface - הוא לא זיהה אלא את דיקטה הרגיל
-
@איש-שלו כתב בהמלצה | תוכנת MSTY להרצת מודלי AI לוקאלית על המחשב:
@אריאלל
א. לא מצאתי איפה מורידים את המודל שאומן על עברית רבנית.
ב. לא בדיוק הבנתי איפה לשים אותו כדי שהתוכנה תעבוד איתו.אם תוכל - אנא ציין לי קישורים מדוייקים וישירים.
הנה קישור ישיר להורדת המודל: https://huggingface.co/dicta-il/dictalm2.0-instruct-GGUF/resolve/main/dictalm2.0-instruct.Q4_K_M.gguf?download=true
אגב, דיקטה LM הוא פרוייקט ישראלי, וזה המודל היחיד שלהם לעת עתה. אין בו הבדלי גרסאות בנושא מערך הנתונים.@ארץ-הצבי כתב בהמלצה | תוכנת MSTY להרצת מודלי AI לוקאלית על המחשב:
@REFAEL-2
בדקת בjan?
היא מהירה יותר מLM stodyo ועונה בעברית די טובה@REFAEL-2 כתב בהמלצה | תוכנת MSTY להרצת מודלי AI לוקאלית על המחשב:
ניסיתי הרבה מודלים כולל את GEMMA 2 שבLM STUDYO היא ענתה לענין
זה לא קשור לתוכנה שבסה"כ מריצה את המודל.
-
מישהו יוכל להעלות לי לדרייב?
-
@עם-ישראל-חיי בכיף
אבל את מה? -
@kasnik כתב בהמלצה | תוכנת MSTY להרצת מודלי AI לוקאלית על המחשב:
@עם-ישראל-חיי בכיף
תודה
אבל את מה?
את התכנה שהוא מדבר עליה למעלה
-
@א-מ-ד כתב בהמלצה | תוכנת MSTY להרצת מודלי AI לוקאלית על המחשב:
הנה קישור ישיר להורדת המודל: https://huggingface.co/dicta-il/dictalm2.0-instruct-GGUF/resolve/main/dictalm2.0-instruct.Q4_K_M.gguf?download=true
זה?
אממה נגמר לי האיחסון
רוצה לשתף לי תקיה אצלך, ואני יעלה לשם? -
פוסט זה נמחק!