המלצה | תוכנת MSTY להרצת מודלי AI לוקאלית על המחשב
-
אני יודע שהתוכנה המקובלת (בעלת ממשק גרפי) להרצת מודלי AI במחשב היא LM STUDYO, אבל אני פשוט סבלתי מהאיטיות שלה, ובמיוחד אחר העדכון האחרון שפשוט סבלתי מכל שימוש בתוכנה, גם הרבה זמן לפתיחה (גם במחשב עם מעבד טוב), וגם העובדה שהיא פשוט לא מצאה את המודלים שהיו במחשב, וכן העובדה שע"א הזיכרון גרפי זה נטען לי גם לראם.
אז חיפשתי ומצאתי תוכנה שמשום מה לא ידועה כל כך בשם MSTY שמיועדת לזה.היא רצה על OLLMA רק עם ממשק נורמלי ויפה
היא מהירה להחריד ביחס ל LM SRUDYO, אך עיקר ההבדל הוא לבעלי כרטיס גרפי
לבעלי כרטיס גרפי היא נטענת רק אליו ולא לראם, מה שמאפשר שימוש נורמלי במחשב בד בבד
יש אופציה לכמה צ'אטים בו זמנית
יש אופציה למודלי אונליין דרך API
אופציה לחיפוש באינטרנטבקיצור... תנסו ותגידו איך היה
הקישור לדף התוכנה
קצת תמונות -
נפתח בנטפרי
-
@REFAEL-2 כתב בהמלצה | תוכנת MSTY להרצת מודלי AI לוקאלית על המחשב:
משום מה כל המודלים בתוכנה הזו עונים לא לענין, בעיקר בעברית
בתוכנה הזאת דוקא?
תנסה את אותם מודלים בתוכנות אחרות .
מסתבר יותר שזה קשור למודל , כשהפעלתי את התוכנה הוא ישר הוריד לי את דיפסיק שבאמת לא יכול לענות בעברית -
האם יש אפשרות להוריד אל התוכנה הזאת את מודל דיקטה המאומן על ספרות רבנית
https://huggingface.co/dicta-il/dictalm-7b-instruct
בחלונית בחירת מודלים - דרך huggingface - הוא לא זיהה אלא את דיקטה הרגיל