בקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד

[המלאך]

@א.מ.ד. כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

או פשט תנסה לחבר אותם ל-Open Code או קלוד קוד

יש כמה סיבות למה זה לא מדד.
1 ייתכן שקלוד קוד מותאם יותר לאחד מהם.
2 ייתכן שהוא גרוע בהקשר ארוך.

ומה תענה לזה שקוואן בוודאות גרוע בדיבוג?

[א.מ.ד.]

@חובבן-מקצועי כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

השאלה שלי הייתה על הסוג כיווץ החדש מסוג IQ ש @א.מ.ד. אמר שזה אמנם יותר יעיל, אבל ההרצה איטית יותר.
אז שאלתי - האם יצא הפסדי בשכרי - בזה שאמנם המודל קצת קטן יותר, אבל בפועל הוא לא עוזר לי במהירות.. (ככל שהמודל קטן יותר - ככה הוא רץ מהר יותר, אבל כאן מלכתחילה הוא רץ לאט יותר..)

זה משתלם בעיקר אם אתה על הגבול של ה-RAM וכל MB חשוב לך, אז חיסכון של כמה מאות MB משמעותי בשביל למנוע קריסה, תוך שמירה על האיכות.
לפעמים, בעיקר במודלי MoE, אתה מרוויח גם קפיצה ביכולות, בעיקר כי כימות מסוג IQ מונע פגיעה בנתב אם אתה יודע מה זה.

Spoiler

בשתי מילים - נתב הוא הרכיב הקריטי שאחראי להחליט איזה מומחה להפעיל עבור כל טוקן. בכימות מסוג Q הנתב מכומת כמו כל השכבות האחרות במודל, ואילו כימות מסוג IQ שומר עליו הרבה יותר.

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

יש כמה סיבות למה זה לא מדד.
1 ייתכן שקלוד קוד מותאם יותר לאחד מהם.
2 ייתכן שהוא גרוע בהקשר ארוך.

נו, ולכן הם יותר טובים לקידוד!

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

ומה תענה לזה שקוואן בוודאות גרוע בדיבוג?

לא חושב, בכל אופן יש גרסאות מכווננות שהזכרתי למעלה שמיועדות לקידוד ולדיבוג כמו OmniCoder 9B.

[המלאך]

@א.מ.ד. כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

בכל אופן יש גרסאות מכווננות שהזכרתי למעלה שמיועדות לקידוד ולדיבוג כמו OmniCoder 9B.

הוא הכי טוב מכולם שם.
אבל הוא לא מתאים למחשב של 16 ג'יגה ראם.

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

אבל הוא לא מתאים למחשב של 16 ג'יגה ראם.

אני משתמש בו במחשב שלי עם 16 RAM בלי GPU. רק צריך לסגור תוכנות כבדות כמו שציינתי למעלה.

[המלאך]

@א.מ.ד. בקושי.
לא משהו שאפשר לסמוך עליו.
אני לא ממליץ בכלל!

[המלאך]

לאחר דין ודברים ביני ל @א.מ.ד. הסכמנו שאם שומרים על הכללי יצירה באל אם סטודיו המודל קוואן טוב יותר.
אם כי חשוב לזכור שזה אף פעם לא יכול לעבוד לגמרי במקומך, זה ס"ה עוזר קוד. לא יוצר קוד.
לכן חשוב להמשיך להשתמש במודלים הטובים באמת.
קלוד, gpt, וכו'.

Spoiler

האמת היא שזה די פרשנות אישית שלי לדבריך.. @א.מ.ד.

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

האמת היא שזה די פרשנות אישית שלי לדבריך.. @א.מ.ד.

מסכים לחלוטין, עם הסתייגות קטנה: בשימוש נכון ומדוייק אפשר לחבר את המודלים הגדולים יותר שהזכרתי ל"ריתמות" כמו קלוד קוד וכו' וכן לסחוט מהם עוד קצת יכולות.

[דאבל]

@א.מ.ד. אני רואה שיש לך הרבה ניסיון בזה
תוכל להמליץ לי על מודלים שיתאימו ל3060 (נראה לי 6GB) ולעוד אחד (לא זוכר כרגע) 40/5080 leptop

[א.מ.ד.]

@דאבל כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@א.מ.ד. אני רואה שיש לך הרבה ניסיון בזה
תוכל להמליץ לי על מודלים שיתאימו ל3060 (נראה לי 6GB) ולעוד אחד (לא זוכר כרגע) 40/5080 leptop

אני כותב מדריך מקיף על כל הנושא.

[המלאך]

@דאבל ל6 ג'יגה ראם,
קח את הקוואן מכומת.
3b כמה שיותר קטן [בכימות].

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@דאבל ל6 ג'יגה ראם,
קח את הקוואן מכומת.
3b כמה שיותר קטן [בכימות].

אין 3B ב-Qwen 3.5, יש 4B.
ולא כדאי כמה שיותר קטן, אלא 4 ביט מינימום, אחרת היכולות נפגעות משמעותית.

בלי קשר, אני חושב שהוא מתכוון ל-6 VRAM, לא RAM. @דאבל אני צודק? אם כן היכולות שלך מתרחבות משמעותית. תציין כמה RAM יש לך.

[המלאך]

@א.מ.ד. שוב חזרנו לאותו וויכוח?
4b יגביל את המחשב שלו.
אבל כמובן שאם מדובר על vram אז הכל משתנה.

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

אבל כמובן שאם מדובר על vram אז הכל משתנה.

עניתי על סמך זה

[דאבל]

@א.מ.ד. כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

6 VRAM, לא RAM.

וודאי, 3060 או 4080 זה כרטיס המסך
ראם רגיל יש 16 ו32 בהתאמה

[המלאך]

@דאבל אם כך החיים קלים.
המודל של קוואן ש @א.מ.ד. אמר הוא המושלם למכשיר הזה.
למרות שתוכל להשתמש גם במודל גדול יותר, עם כימות נכון.

[דאבל]

@א.מ.ד.

@א.מ.ד. כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

היכולות שלך מתרחבות משמעותית

יש לך עוד הצעה? או התכוונת למה ש @המלאך כתב?

[א.מ.ד.]

@דאבל כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

יש לך עוד הצעה? או התכוונת למה ש @המלאך כתב?

עם 32 RAM ו-6 VRAM, ממליץ לך על המודלים Gemma 4 26B A4B ו-Qwen 3.5 35B A3B. זה מודלי MoE - חלק קטן בלבד מהפרמטרים מופעלים על טוקן, כך שלמרות גודל המודל והיכולות שלו המהירות היא כמעט כמו מהירות הסקה של מודל בעל 4B בלבד.
אתה יכול לנסות גם את Gemma 4 31B ו-Qwen 3.5 27B שהם מודלים צפופים, אבל זה יהיה איטי בהרבה ולא בטוח שיכנס לך ב-RAM. אין לי כזאת חומרה אז אין לי איך לבדוק בעצמי אם זה נכנס בה.