בקשת מידע | מהו מודל השפה הכי גדול שניתן להרצה באופן מקומי?

[mefateach]

@א-מ-ד אתה בטוח שהוא לא באמת חושב, אני חשבתי שמה שמוצג כחושב זה בעצם הוא כאילו מוסיף את זה לשאלה של המשתמש בעצם כמו שבן אדם חושב הוא חושב גם מילולית זה מרחיב את החשיבה

[אלי ויל]

@א-מ-ד עקרונית במקרה שאין למודל הבנה עמוקה בעברית הוא עלול 'לחשוב' יותר זמן איזה מילים להוציא בפלט. (אתה צודק שהוא לא מתרגם).

[NH.LOCAL]

@א-מ-ד כתב בבקשת מידע | מהו מודל השפה הכי גדול שניתן להרצה באופן מקומי?:

בדקתי. זהה לחלוטין בממוצע.

יש הבדל מסויים, אבל זה לא קשור כלל ל"תרגום" פנימי, אלא לעובדה שמבנה הטוקניזציה (חלוקת האסימונים) עבור עברית פחות יעיל מאנגלית. זה עשוי להאט את הקצב בסביבות 20 עד 50 אחוז

כמובן שהמודל לא מתרגם בפועל

@א-מ-ד כתב בבקשת מידע | מהו מודל השפה הכי גדול שניתן להרצה באופן מקומי?:

@חנוך-הכהן כתב בבקשת מידע | מהו מודל השפה הכי גדול שניתן להרצה באופן מקומי?:

@א-מ-ד יש לי מחשב של 16 ומחשב של 32 (מחשב נייח, כך שאני יכול להרחיב את הRAM להרבה יותר מזה)

במחשב הייתי אומר שאתה יכול להריץ עד מודל שגודלו עד חצי מה-RAM שלך, אבל כמובן זה אינדיבידואלי... תבדוק שזה לא תוקע לך את ה-RAM. נפח דיסק לא רלוונטי.
הייתי ממליץ על מודל GEMMA 3 שהוא מעולה בעברית. תיקח כמה שיותר גדול (בהתאם ליכולת של המחשב).
כדאי שתיקח בקוונטיזציית Q_8, ותעלה בכמות הפרמטרים ככל האפשר.

שימוש במודל 12B עם q8 יהיה מאוד מאוד כבד, בסופו של דבר שימוש ב-CPU ובזיכרון ראם רגיל הוא הרבה יותר איטי. זה יהפוך לכמעט לא שמיש.

יש לי מחשב עם מפרט ממש דומה - הקצב עבור gemma 4b q4 הוא בערך 7-8 אסימונים לשנייה

[א.מ.ד.]

@mefateach כתב בבקשת מידע | מהו מודל השפה הכי גדול שניתן להרצה באופן מקומי?:

@א-מ-ד אתה בטוח שהוא לא באמת חושב, אני חשבתי שמה שמוצג כחושב זה בעצם הוא כאילו מוסיף את זה לשאלה של המשתמש בעצם כמו שבן אדם חושב הוא חושב גם מילולית זה מרחיב את החשיבה

קראתי את זה בפרסום של OPENAI על מודל החשיבה O1 כשיצא לאוויר העולם. אחרי שהוא חושב בתהליך הפנימי הוא מנסה לתמלל בדיעבד את החשיבה. אם אני זוכר נכון, קראתי אז בגיקטיים אאל"ט שתהליך החשיבה האמיתי הוא סוד עסקי שאין מצב שיחשפו לנו אותו.

[NH.LOCAL]

@א-מ-ד כתב בבקשת מידע | מהו מודל השפה הכי גדול שניתן להרצה באופן מקומי?:

@mefateach כתב בבקשת מידע | מהו מודל השפה הכי גדול שניתן להרצה באופן מקומי?:

@א-מ-ד אתה בטוח שהוא לא באמת חושב, אני חשבתי שמה שמוצג כחושב זה בעצם הוא כאילו מוסיף את זה לשאלה של המשתמש בעצם כמו שבן אדם חושב הוא חושב גם מילולית זה מרחיב את החשיבה

קראתי את זה בפרסום של OPENAI על מודל החשיבה O1 כשיצא לאוויר העולם. אחרי שהוא חושב בתהליך הפנימי הוא מנסה לתמלל בדיעבד את החשיבה. אם אני זוכר נכון, קראתי אז בגיקטיים אאל"ט שתהליך החשיבה האמיתי הוא סוד עסקי שאין מצב שיחשפו לנו אותו.

לא מדויק. OpenAI ספציפית מסתירים את תהליך החשיבה משיקולים של מניעת תחרות וכדומה.
בפועל, הדרך שבה המודל מנהל את החשיבה של עצמו היא באמצעות הטקסט שהוא פולט, רק שבאופן פנימי הוא יוצר הרבה אסימונים נסתרים. וזו גם אחת הסיבות שהמחיר של מודלי חשיבה פר אסימון הוא הרבה יותר גבוה, כי בפועל עבור כל אסימון הם עובדים מאחורי הקלעים הרבה יותר

אני לא ממש יודע את הפרטים המלאים, אבל זה בודאי לא סתם עוד טקסט, ולא לחינם זה מקפיץ את היכולות של המודלים פי כמה וכמה