בקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד

[רציונל]

@שמואל-הסיני למיטב ידיעתי הכי טוב היום בתכנות הוא Qwen 3 Coder (האמת אולי Qwen 3.5 הרגיל עוקף את 3Coder)

[CSS 0]

@רציונל מניסיון שלי איתו הוא נוראי לחלוטין.. (כמובן הוא כותב קוד עם מלא בעיות עיצוב נוראי קוד בעיתי) וכ"ו עזוב לקוד לעולם אם אין לך מחשב קוואנטי אל תשתמש באופליין...

[רציונל]

@CSS-0 אופליין הוא אופליין.
אבל במדדים הוא משתווה למודלים הרבה יותר גדולים ממנו והוא נקרא הכי טוב בגדלים אלו (לא סתירה שהוא יכול להיות נורא שכן הכל יחסי)

[שמואל הסיני]

@CSS-0 @א.מ.ד. על מה אתה ממליץ?????

[א.מ.ד.]

@שמואל-הסיני המודל הכי טוב לקידוד באופליין לחומרה כמו שלך הוא Qwen 3.5 9B. המודל הזה מסוגל אפילו להתמודד עם לולאת ניפוי שגיאות עצמיות בדומה לקלוד קוד (אני אישית חיברתי אותו לאופן-קוד).
אם הוא מידי כבד לך (לדוגמא אם במקביל פתוחות תוכנות כבדות כמו כרום), תרד לגרסת ה-4B. היא אומנם פחות טובה אבל עדיין הכי טובה בטווח הגודל הזה.

אגב, הייתי ממליץ לך לנסות גרסאות מכווננות של גרסת ה-9B, כמו OmniCoder 9B, שכווננה במיוחד לקידוד סוכני, או Qwopus 3.5 9B V3 - כוונון של המודל המקורי על עקבות חשיבה של קלוד אופוס 4.6, שמקצר משמעותית את החשיבה המוגזמת של המודל המקורי, ולדעתי הוא יותר אמין ומדוייק.

אם חשוב לך עברית, יש את Gemma 4 E4B שיצא לפני כמה ימים, והעברית שלו מעולה והוא הכי אמין לשיחות כלליות עם שיעור הזיות מופחת, אבל הוא קצת פחות טוב בקידוד.

כל מודל תריץ בכימות של Q4_K_M, שחוסך לך רבע ממשאבי ה-RAM.

אם אתה משתמש ב-LM Studio, כברירת מחדל חשיבה מושבתת עבור המודל הזה. אם תזדקק תעדכן פה ואדריך אותך איך לגרום למודל לחשוב.

@CSS-0 כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@רציונל מניסיון שלי איתו הוא נוראי לחלוטין.. (כמובן הוא כותב קוד עם מלא בעיות עיצוב נוראי קוד בעיתי)

Qwen 3 Coder הקטן ביותר הוא בגודל 30B, איך בדיוק הרצת אותו?

[א.מ.ד.]

@שמואל-הסיני כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

ואגב נראה לי שאתה די מבין בזה תוכל לעשות לי סדר בכל מודלי האופליין כי אני רוצה לעבור עכשיו רק לאופליין ורוצה להחליף את כל השימוש שלי בגימיני עד היום השאילה אילו מודלים אצטרך לזה כי ממש לא ברור לי מה בדיוק היכולות של כל סוג מודל וכו'

אני חושב שהגיע הזמן שאכתוב פוסט על המודלים הקטנים...

[שמואל הסיני]

@א.מ.ד. אני נכנס עכשיו לאירוע כי אני עכשיו עובר למודלי אופליין אנסה להבין הכל תודה!

@א.מ.ד. כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

אני חושב שהגיע הזמן שאכתוב פוסט על המודלים הקטנים...

זה יכול להיות מאד יעיל לדעתי לפחות.

[חובבן מקצועי]

@שמואל-הסיני קח בחשבון - כל עוד אתה מריץ את זה על RAM ולא על VRAM - המודל יענה לך ממש לאט.

@א.מ.ד. כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

אם אתה משתמש ב-LM Studio, כברירת מחדל חשיבה מושבתת עבור המודל הזה. אם תזדקק תעדכן פה ואדריך אותך איך לגרום למודל לחשוב.

הצלחת להריץ את הgemma 4 על LM סטודיו? אני לא הצלחתי, ואני מריץ אותו על JAN

[שמואל הסיני]

@חובבן-מקצועי כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@שמואל-הסיני קח בחשבון - כל עוד אתה מריץ את זה על RAM ולא על VRAM - המודל יענה לך ממש לאט.

אני חדש באירוע ושואל: מסובך להריץ על VRAM אם לא למה יש אופציה שניה ואם כן יש איפשהוא דרך להבין את התהליך?
וגם מה ההבדל בכלל?

[חובבן מקצועי]

@א.מ.ד. כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

כל מודל תריץ בכימות של Q4_K_M, שחוסך לך רבע ממשאבי ה-RAM.

מה דעתך על הכיווץ החדש? (מסוג NL)

[בנימין מחשבים]

@חובבן-מקצועי כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

הצלחת להריץ את הgemma 4 על LM סטודיו? אני לא הצלחתי, ואני מריץ אותו על JAN

אני הצלחתי תודה ל@א.מ.ד. שהדריך אותי בפתרון בעיות אחת אחרי השניה בסבלנות רבה...

@א.מ.ד. אם (והלוואי) תעשה מדריך למודלים קטנים-זעירים (gguf!) יהיה נהדר אם תכלול את פתרון הבעיות (בעיקר האחרונה)
תודה!

[חובבן מקצועי]

@שמואל-הסיני כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

אני חדש באירוע ושואל: מסובך להריץ על VRAM אם לא למה יש אופציה שניה ואם כן יש איפשהוא דרך להבין את התהליך?
וגם מה ההבדל בכלל?

זיכרון RAM וזיכרון VRAM:
RAM רגיל (זיכרון המערכת):
זה הזיכרון הכללי של המחשב. הוא משמש לכל הדברים הרגילים – כרום, וורד, ומערכת ההפעלה. הוא די גדול (בדרך כלל 16GB או 32GB) ועובד מעולה עם המשימות היומיומית, אבל הוא איטי יחסית כשזה מגיע לבינה מלאכותית. אם תריצו עליו מודל, הוא יעבוד, אבל הוא יענה לכם בקצב של "מילה בשנייה".
VRAM (זיכרון כרטיס המסך):
זה הזיכרון ה"VIP" שנמצא בתוך כרטיס מסך. הוא הרבה יותר מהיר מה-RAM הרגיל.
המעבד הזה לא נמצא על כל מחשב, ונמצא בעיקר על מחשבי גיימינג.
הVRAM יכול להריץ דברים הרבה יותר מהר מהRAM, ולכן המודל שפה עובד עליו הרבה יותר מהר

Spoiler

לקוח מהמדריך שאני באמצע לכתוב לאיך להריץ מודל שפה אופליין על המחשב.

הערה חשובה - אי אפשר להריץ את המערכת הפעלה על זיכרון הVRAM הוא מיועד למשימות ספציפיות.

[א.מ.ד.]

@חובבן-מקצועי כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

הצלחת להריץ את הgemma 4 על LM סטודיו? אני לא הצלחתי, ואני מריץ אותו על JAN

אני יענה על זה מסודר בפוסט שאני אכתוב.

[בנימין מחשבים]

מה עם npu? מישהו יודע האם זה מוסיף משהו לעניין?
כי במנהל המשימות אני לא רואה שימוש בnpu בזמן הזה

[המלאך]

וואו.
שעה אני לא נמצא וזה מתקדם לכיוון מעניין.
@א.מ.ד. זה יהיה מעניין אם תעשה כזה מדריך..
אבל נראה לי @חובבן-מקצועי כבר באמצע לעשות כזה.
בכל מקרה @שמואל-הסיני זה תלוי מה המטרה שלך.
קידוד כמו שאמרו זה סדרת הקוואן.
בכל מקרה חברה אתם רק בילבלתם אותו יותר.
@שמואל-הסיני איפה אתה אוחז? איזה תוכנה בחרת להריץ את המודל ואיזה מודל?
ולגבי הראם והויראם, יש לך ויראם? תבדוק במפרט מחשב.
אם יש זה יכול לעזור.
@א.מ.ד. כימות זה רעיון גרוע. הוא לא מבין כלום בנושא.
אם יש מודלי קוואן מכומתים - תוריד.
אם לא אל תסתבך המפרט מחשב שלך טוב מספיק בשביל להריץ בלי.
דרך אגב הם בכלל טובים בעברית? @א.מ.ד.?

[א.מ.ד.]

@חובבן-מקצועי כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

מה דעתך על הכיווץ החדש? (מסוג NL)

השם של הכימות החדש הוא IQ, ה-NL הוא התת-סוג הכי יעיל בתוכו.
התוצאות הרבה יותר טובות ב-IQ מאשר Q, אבל ההרצה איטית יחסית.

[חובבן מקצועי]

@א.מ.ד. כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

אבל ההרצה איטית יחסית.

כלומר, החיסכון בVRAM שאני מנסה להשיג לא שווה את זה? (כי הוא רץ לאט יותר, ועדיף לי לתפוס עד חצי גיגה..)

[שמואל הסיני]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

בכל מקרה חברה אתם רק בילבלתם אותו יותר.

יש בזה משהו אבל אני רוצה ללמוד ושמח ממה שהולך פה כי אני רוצה להכיר את האירוע!

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@שמואל-הסיני איפה אתה אוחז? איזה תוכנה בחרת להריץ את המודל ואיזה מודל?
ולגבי הראם והויראם, יש לך ויראם? תבדוק במפרט מחשב.
אם יש זה יכול לעזור.

אין לי ויראם זה מחשב נייד

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@שמואל-הסיני איפה אתה אוחז? איזה תוכנה בחרת להריץ את המודל ואיזה מודל?

עוד לא בחרתי כלום!

[א.מ.ד.]

@בנימין-מחשבים כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

מה עם npu? מישהו יודע האם זה מוסיף משהו לעניין?
כי במנהל המשימות אני לא רואה שימוש בnpu בזמן הזה

ה-NPU לא מוסיף למהירות בדרך כלל, אלא רק מעביר את המודל לפעילות ברקע ב-NPU במקום לבזבז משאבי CPU ו-GPU יקרים על חשבון הפעילות הסדירה של המחשב.

[בנימין מחשבים]

@א.מ.ד. ההרגשה שלי - זה מה שאמור לקרות ולא קורה.
אולי צריך דרייבר מיוחד כדי שהתוכנה תדע לנצל את זה