בקשת מידע | מודלי טקסט ותמונות להרצה אופליין

[yeh 0]

מישהו יכול לומר מהו המודל האחרון והטוב ביותר שזמין בעברית(עדיין דיקטה 2.0)?
וכן האם יש מודל תקין מחולל תמונות חוץ מFOCOOS או משהו כזה שלא הצלחתי להריץ אותו(אגב, LM STUDIO מיועדת גם להרצת מודלים מחוללי תמונות?)
ושאלה אחרונה האם יש הבדל ניכר בשימוש בזיכרון בין הרצת מודל דרך קובץ הBAT ודרך LM?
תודה רבה
@NH-LOCAL

[NH.LOCAL]

@yeh-0 כתב בבקשת מידע | מודלי טקסט ותמונות להרצה אופליין:

מישהו יכול לומר מהו המודל האחרון והטוב ביותר שזמין בעברית(עדיין דיקטה 2.0)?

אין עדיין שיפור משמעותי בתחום. יש מודל חדש מתאים לעברית אבל הוא לא טוב משמעותית:

https://huggingface.co/bartowski/aya-expanse-8b-GGUF/tree/main

@yeh-0 כתב בבקשת מידע | מודלי טקסט ותמונות להרצה אופליין:

ושאלה אחרונה האם יש הבדל ניכר בשימוש בזיכרון בין הרצת מודל דרך קובץ הBAT ודרך LM?

לא. זה בעיקר עניין של עיצוב, אם כי יש שינויים מסויימים בצורה בה זה עובד אבל אין לי ידע או יכולת למדוד את זה

@yeh-0 כתב בבקשת מידע | מודלי טקסט ותמונות להרצה אופליין:

(אגב, LM STUDIO מיועדת גם להרצת מודלים מחוללי תמונות?)

ממש לא.

[אריאלל]

@yeh-0 כתב בבקשת מידע | מודלי טקסט ותמונות להרצה אופליין:

ושאלה אחרונה האם יש הבדל ניכר בשימוש בזיכרון בין הרצת מודל דרך קובץ הBAT ודרך LM?

בזיכרון שאליו המודל נטען אין הבדל, אבל דרך BAT המודל עובד יותר מהר.

[yeh 0]

@אריאלל אכן ראיתי את האיטיות דרך LM, אבל אני לא הצלחתי להריץ את הBAT, מופיע לי

main -i -ins -t 2 -ngl 120 -r "### Human:" --temp 0 -c 2048 -n -1 --ignore-eos --repeat_penalty 1.2 --instruct -m llama-2-7b-chat.ggmlv3.q4_0.bin
'main' is not recognized as an internal or external command,
operable program or batch file.

C:\Users\USER\.cache\lm-studio\models\dicta-il\dictalm2.0-instruct.Q4_K_M>pause

[NH.LOCAL]

@yeh-0 זה כבר לא מעודכן. תשתמש בקבצים המצורפים. ושים לב שזה נמצא בתיקיה יחד עם קובץ gguf!

Start Language model on gpu.bat - אם יש לך gpu של nvidia

Start Language model.bat - למחשבים רגילים

[yeh 0]

@NH-LOCAL כתב בבקשת מידע | מודלי טקסט ותמונות להרצה אופליין:

Start Language model.bat - למחשבים רגילים

שגיאה

'-m' is not recognized as an internal or external command,
operable program or batch file.

[NH.LOCAL]

@yeh-0 יש בתיקיה את הקובץ llamafile?

[yeh 0]

@NH-LOCAL כתב בבקשת מידע | מודלי טקסט ותמונות להרצה אופליין:

יש בתיקיה את הקובץ llamafile?

מביך, שכחתי לשים אותו שם (העברתי לתיקייה ושכחתי להעביר אותו)
אבל עדיין תקוע על זה

Active code page: 1255

██╗     ██╗      █████╗ ███╗   ███╗ █████╗ ███████╗██╗██╗     ███████╗
██║     ██║     ██╔══██╗████╗ ████║██╔══██╗██╔════╝██║██║     ██╔════╝
██║     ██║     ███████║██╔████╔██║███████║█████╗  ██║██║     █████╗
██║     ██║     ██╔══██║██║╚██╔╝██║██╔══██║██╔══╝  ██║██║     ██╔══╝
███████╗███████╗██║  ██║██║ ╚═╝ ██║██║  ██║██║     ██║███████╗███████╗
╚══════╝╚══════╝╚═╝  ╚═╝╚═╝     ╚═╝╚═╝  ╚═╝╚═╝     ╚═╝╚══════╝╚══════╝
software: llamafile 0.8.16
model:    dictalm2.0-instruct.Q4_K_M.gguf
compute:  11th Gen Intel Core i7-1165G7 @ 2.80GHz (tigerlake)
server:   http://127.0.0.1:8080/

A chat between a curious human and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the human's questions.
>>>
>>>
>>>
>>>
>>>
>>>
>>> say something (or type /help for help)

ולא נפתח לי local host לדפדפן

[NH.LOCAL]

@yeh-0 הקישור הזה נפתח?

http://127.0.0.1:8080

[yeh 0]

@NH-LOCAL עובד, תודה, חשבתי שאמור להיפתח אוטומטי