בירור הורדת והפעלת מודל הAI הפתוח של גוגל. איך עושים זאת?

[י. פל.]

אחרי שניסיתי פה ושם, ולא הצלחתי, אשמח אם מישהו ידע להסביר לי איך מםעילים את המודל של גוגל, החדש, באופליין.
כוונתי למודל של ה10 ג'יגה [אגב, יש 2, באחד לא הצלחתי, אין לי מושג מה ההבדל ביניהם].
תודה!

[האדם החושב]

@י-פל https://beebom.com/how-run-download-google-gemma-ai-model-windows-mac/
אתה מתכוון למודול שמוזכר שם?

[י. פל.]

@האדם-החושב כתב בבירור | הורדת והפעלת מודל הAI הפתוח של גוגל. איך עושים זאת?:

@י-פל https://beebom.com/how-run-download-google-gemma-ai-model-windows-mac/
אתה מתכוון למודול שמוזכר שם?

מתכוון למודל הזה:
https://huggingface.co/google/gemma-2b-GGUF/tree/main
יש שם 2 בגודל הזה, אחד בתוספת האותיות IT, אין לי מושג מה המשמעות.
למה דווקא המודל הזה?
כי המודלים עולם לראם. ולי יש 16. אם המודל שוקל 10 לא אכפת לי להסתדר עם 6, אבל אם הוא שוקל יותר אני לא אסתדר איתו.

אגב, התוכנה הנ"ל, מלבד שחושבני שאצטרך לפנות לנטפרי, תופסת המון המון מקום. עוד לפני המודלים היא לוקחת 2.4 ג'יגה בערך.

[sivan22]

@י-פל הצלחתי לשוחח איתו, הוא דובר אנגלית אבל מבין עברית, הנה צילום מסך:

השתמשתי בזה: https://github.com/oobabooga/text-generation-webui יש שם הוראות התקנה.

[י. פל.]

@sivan22
נתקעתי איתו, הנה:
https://mitmachim.top/post/763389
הדרך של @NH-LOCAL פחות יעילה?

[sivan22]

@י-פל לא אמור להיות הבדל. תנסה להוריד את המודל מכאן: https://huggingface.co/lmstudio-ai/gemma-2b-it-GGUF

[י. פל.]

@sivan22
אני כבר באמצע להוריד...

לא נעים לי להטריח, אבל למה אתה משתמש בשיטה המורכבת יותר אם אין הבדל?
בשיטה הנ"ל רק ההפעלה לוקחת 2.7+ ג'יגה, בשיטה שלו ממש כלום!

[י. פל.]

@sivan22 כתב בבירור | הורדת והפעלת מודל הAI הפתוח של גוגל. איך עושים זאת?:

הוא דובר אנגלית אבל מבין עברית

הוא גם דובר עברית, אם מבקשים ממנו.
אני לא יודע איך לגרום לו לדבר עברית קבוע, אך ניתן פשוט לומר לו לענות בעברית.