המלצה | תוכנת MSTY להרצת מודלי AI לוקאלית על המחשב

[אריאלל]

אני יודע שהתוכנה המקובלת (בעלת ממשק גרפי) להרצת מודלי AI במחשב היא LM STUDYO, אבל אני פשוט סבלתי מהאיטיות שלה, ובמיוחד אחר העדכון האחרון שפשוט סבלתי מכל שימוש בתוכנה, גם הרבה זמן לפתיחה (גם במחשב עם מעבד טוב), וגם העובדה שהיא פשוט לא מצאה את המודלים שהיו במחשב, וכן העובדה שע"א הזיכרון גרפי זה נטען לי גם לראם.
אז חיפשתי ומצאתי תוכנה שמשום מה לא ידועה כל כך בשם MSTY שמיועדת לזה.

היא רצה על OLLMA רק עם ממשק נורמלי ויפה
היא מהירה להחריד ביחס ל LM SRUDYO, אך עיקר ההבדל הוא לבעלי כרטיס גרפי
לבעלי כרטיס גרפי היא נטענת רק אליו ולא לראם, מה שמאפשר שימוש נורמלי במחשב בד בבד
יש אופציה לכמה צ'אטים בו זמנית
יש אופציה למודלי אונליין דרך API
אופציה לחיפוש באינטרנט

בקיצור... תנסו ותגידו איך היה
הקישור לדף התוכנה
קצת תמונות

Spoiler

[pythoni]

@אריאלל שאני לוחץ על הקישור להורדת התוכנה הוא כותב לי האתר לא שולח נתונים או משהו בסגנון יש מצב שאתה מעלה את התוכנה לפה תודה רבה

[יום חדש מתחיל]

נפתח בנטפרי

[REFAEL 2]

משום מה כל המודלים בתוכנה הזו עונים לא לענין, בעיקר בעברית

[REFAEL 2]

המחשב שלי הוא עם מעבד I5 וזיכרון ראם 16GB

[ארץ הצבי]

@REFAEL-2 כתב בהמלצה | תוכנת MSTY להרצת מודלי AI לוקאלית על המחשב:

משום מה כל המודלים בתוכנה הזו עונים לא לענין, בעיקר בעברית

בתוכנה הזאת דוקא?
תנסה את אותם מודלים בתוכנות אחרות .
מסתבר יותר שזה קשור למודל , כשהפעלתי את התוכנה הוא ישר הוריד לי את דיפסיק שבאמת לא יכול לענות בעברית

[איש שלו']

האם יש אפשרות להוריד אל התוכנה הזאת את מודל דיקטה המאומן על ספרות רבנית

https://huggingface.co/dicta-il/dictalm-7b-instruct

בחלונית בחירת מודלים - דרך huggingface - הוא לא זיהה אלא את דיקטה הרגיל

[REFAEL 2]

@ארץ-הצבי
התשובה היא כן,
ניסיתי הרבה מודלים כולל את GEMMA 2 שבLM STUDYO היא ענתה לענין

[ארץ הצבי]

@REFAEL-2
בדקת בjan?
היא מהירה יותר מLM stodyo ועונה בעברית די טובה

https://mitmachim.top/post/911928

Spoiler

שים לב לתמונות מהספוילר זה גם gemma 2

[אריאלל]

@איש-שלו הכי קל פשוט להוריד מHuggingface למחשב ולהוסיף ידנית.

[אריאלל]

@REFAEL-2 אין משמעות לתוכנה בזה, היא רק מריצה מודל קיים שחלקם תומכים בעברית. תנסה את דיקטה או GEMMA של גוגל שעובדים מצוין בעברית.

[איש שלו']

@אריאלל
א. לא מצאתי איפה מורידים את המודל שאומן על עברית רבנית.
ב. לא בדיוק הבנתי איפה לשים אותו כדי שהתוכנה תעבוד איתו.

אם תוכל - אנא ציין לי קישורים מדוייקים וישירים.

[אריאלל]

@איש-שלו לא מכיר את הדגם המסויים הזה בדיקטה, אבל בקישור שהבאת זה מודל מלא ולא GGUF שזה מה שהתוכנה תומכת.

[א.מ.ד.]

@איש-שלו כתב בהמלצה | תוכנת MSTY להרצת מודלי AI לוקאלית על המחשב:

@אריאלל
א. לא מצאתי איפה מורידים את המודל שאומן על עברית רבנית.
ב. לא בדיוק הבנתי איפה לשים אותו כדי שהתוכנה תעבוד איתו.

אם תוכל - אנא ציין לי קישורים מדוייקים וישירים.

הנה קישור ישיר להורדת המודל: https://huggingface.co/dicta-il/dictalm2.0-instruct-GGUF/resolve/main/dictalm2.0-instruct.Q4_K_M.gguf?download=true
אגב, דיקטה LM הוא פרוייקט ישראלי, וזה המודל היחיד שלהם לעת עתה. אין בו הבדלי גרסאות בנושא מערך הנתונים.

@ארץ-הצבי כתב בהמלצה | תוכנת MSTY להרצת מודלי AI לוקאלית על המחשב:

@REFAEL-2
בדקת בjan?
היא מהירה יותר מLM stodyo ועונה בעברית די טובה

@REFAEL-2 כתב בהמלצה | תוכנת MSTY להרצת מודלי AI לוקאלית על המחשב:

ניסיתי הרבה מודלים כולל את GEMMA 2 שבLM STUDYO היא ענתה לענין

זה לא קשור לתוכנה שבסה"כ מריצה את המודל.

[עם ישראל חיי]

מישהו יוכל להעלות לי לדרייב?

[kasnik]

@עם-ישראל-חיי בכיף
אבל את מה?

[עם ישראל חיי]

@kasnik כתב בהמלצה | תוכנת MSTY להרצת מודלי AI לוקאלית על המחשב:

@עם-ישראל-חיי בכיף

תודה

אבל את מה?

את התכנה שהוא מדבר עליה למעלה

[kasnik]

@א-מ-ד כתב בהמלצה | תוכנת MSTY להרצת מודלי AI לוקאלית על המחשב:

הנה קישור ישיר להורדת המודל: https://huggingface.co/dicta-il/dictalm2.0-instruct-GGUF/resolve/main/dictalm2.0-instruct.Q4_K_M.gguf?download=true

זה?

אממה נגמר לי האיחסון
רוצה לשתף לי תקיה אצלך, ואני יעלה לשם?

[עם ישראל חיי]

@kasnik כן, רק איך אני עושה זאת?

[עם ישראל חיי]

פוסט זה נמחק!