בקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד

[א.מ.ד.]

@בנימין-מחשבים כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@א.מ.ד. ההרגשה שלי - זה מה שאמור לקרות ולא קורה.
אולי צריך דרייבר מיוחד כדי שהתוכנה תדע לנצל את זה

התוכנות הסטנדרטיות לא יודעות לתקשר עם ה-NPU. זה שמור בעיקר ליצרניות החומרה.

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@א.מ.ד. לא אמרתי שלא.
אמרתי שלהציע לו לכמת זה רעיון גרוע.

ברור שהתכוונתי להוריד מכומת... למרות שזה לא כזה מסובך לכמת, עשיתי את זה על הרבה מודלים.

[בנימין מחשבים]

@א.מ.ד. אכן
הדבר היחיד אצלי שמשתמש בו זה אפקטים במצלמה המובנית של ווינדוס...

[המלאך]

@א.מ.ד. לך זה לא כזה מסובך.

@א.מ.ד. כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

התוכנות הסטנדרטיות לא יודעות לתקשר עם ה-NPU. זה שמור בעיקר ליצרניות החומרה.

לא נכון.
מודלי onnx משתמשים בו.
לסיכום @שמואל-הסיני ההמלצה שלי:
דיפסיק קודר 6.7 בכימות של 4ביט'.
תשתמש להרצה בlm סטודיו.

[חובבן מקצועי]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

מה פתאום? ממתי vram רץ לאט יותר?

השאלה שלי הייתה על הסוג כיווץ החדש מסוג IQ ש @א.מ.ד. אמר שזה אמנם יותר יעיל, אבל ההרצה איטית יותר.
אז שאלתי - האם יצא הפסדי בשכרי - בזה שאמנם המודל קצת קטן יותר, אבל בפועל הוא לא עוזר לי במהירות.. (ככל שהמודל קטן יותר - ככה הוא רץ מהר יותר, אבל כאן מלכתחילה הוא רץ לאט יותר..)

[שמואל הסיני]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

לסיכום @שמואל-הסיני ההמלצה שלי:
דיפסיק קודר 6.7 בכימות של 4ביט'.
תשתמש להרצה בlm סטודיו.

@א.מ.ד. @חובבן-מקצועי מסכימים?

Spoiler

אני בא רק לוודא.

המחשב שלי ללא אינטרנט כך שאין עליו תוכנות כ"כ כבדות.

[חובבן מקצועי]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

דיפסיק קודר 6.7 בכימות של 4ביט'.

כמה הוא שוקל? שים לב שיש לו רק 16 RAM, תחשוב שהוא אמור להריץ במקביל מערכת הפעלה, התוכנה שמריצה את זה, מדריך ועוד..

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@א.מ.ד. לך זה לא כזה מסובך.

אז אני יכול לגלות לך שיש כלי שיוצר GGUF ומכמת כמעט כל מודל שתרצה בלחיצת כפתור וממשק גרפי פשוט, בפחות מהזמן שלקח לי לכתוב את הפוסט הזה! אמנם יש מודלים שדרשו ממני לכמת אותם עם בנייה של llama.cpp וכו' אבל לרוב המודלים זה מספיק!

[המלאך]

@חובבן-מקצועי נכון, בכימות הזה זה יהיה כך.
חייב לציין שלא יודע עד כמה זה יותר יעיל הכימות הרגיל.
@א.מ.ד. ניסית את הכימות?

[המלאך]

@חובבן-מקצועי כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

כמה הוא שוקל? שים לב שיש לו רק 16 RAM, תחשוב שהוא אמור להריץ במקביל מערכת הפעלה, התוכנה שמריצה את זה, מדריך ועוד..

כן זה אמור להספיק.

@א.מ.ד. כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

אז אני יכול לגלות לך שיש כלי שיוצר GGUF ומכמת כמעט כל מודל שתרצה בלחיצת כפתור וממשק גרפי פשוט, בפחות מהזמן שלקח לי לכתוב את הפוסט הזה! אמנם יש מודלים שדרשו ממני לכמת אותם עם בנייה של llama.cpp וכו' אבל לרוב המודלים זה מספיק!

איזה כלי? אני לא מכיר...

[א.מ.ד.]

@שמואל-הסיני כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@א.מ.ד. @חובבן-מקצועי מסכימים?

אני חולק מכל וכל.
המודלים שהזכרתי למעלה הרבה יותר טובים מהדיפסיק ההוא בכל מדד.
ביקשתי מג'מיני שייצור לי טבלה שמסכמת את מבחני הביצועים לקידוד של המודלים האלו:

דיפסיק קודר הוא מודל מאוד מיושן. אפשר לראות בטבלה שאפילו Qwen 2.5 3B Coder שקטן ממנו ביותר מחצי בתחרות צמודה איתו.

[המלאך]

@א.מ.ד. סלח לי.
הקוואן גרוע בעברית וגם לא טוב בקוד.
לא יודע מה ג'מיני אמר לך, [וגם קשה לי להסכים על סמך אמרה שלו]
אבל זה לא נכון.
בכל מקרה סדרת הקוואן מיועדת לשימוש כללי.
לא לקוד.
הוא פותח במיוחד לקוד.

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

הקוואן גרוע בעברית וגם לא טוב בקוד.

ודאי יותר טוב מדיפסיק קודר.

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

לא יודע מה ג'מיני אמר לך, [וגם קשה לי להסכים על סמך אמרה שלו]
אבל זה לא נכון.

לא שאלתי את ג'מיני אלא אני יודע את זה מניסיון שלי.
רק ביקשתי מג'מיני טבלה להמחשה.

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

בכל מקרה סדרת הקוואן מיועדת לשימוש כללי.
לא לקוד.
הוא פותח במיוחד לקוד.

זה נכון, אבל עדיין פער הדורות ויכולת החשיבה האיכותית של Qwen 3.5 גורם לו להיות טוב פי כמה.

[המלאך]

@א.מ.ד. נו נו.
נשאיר בוויכוח.

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

נשאיר בוויכוח.

אין צורך, פשוט תנסה את שניהם במקביל על אותן 3 משימות... ואל תשכח להפעיל חשיבה ב-Qwen 3.5...
או פשט תנסה לחבר אותם ל-Open Code או קלוד קוד, ותראה מי שורד את הפרומפט הראשון...

[המלאך]

@א.מ.ד. כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

או פשט תנסה לחבר אותם ל-Open Code או קלוד קוד

יש כמה סיבות למה זה לא מדד.
1 ייתכן שקלוד קוד מותאם יותר לאחד מהם.
2 ייתכן שהוא גרוע בהקשר ארוך.

ומה תענה לזה שקוואן בוודאות גרוע בדיבוג?

[א.מ.ד.]

@חובבן-מקצועי כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

השאלה שלי הייתה על הסוג כיווץ החדש מסוג IQ ש @א.מ.ד. אמר שזה אמנם יותר יעיל, אבל ההרצה איטית יותר.
אז שאלתי - האם יצא הפסדי בשכרי - בזה שאמנם המודל קצת קטן יותר, אבל בפועל הוא לא עוזר לי במהירות.. (ככל שהמודל קטן יותר - ככה הוא רץ מהר יותר, אבל כאן מלכתחילה הוא רץ לאט יותר..)

זה משתלם בעיקר אם אתה על הגבול של ה-RAM וכל MB חשוב לך, אז חיסכון של כמה מאות MB משמעותי בשביל למנוע קריסה, תוך שמירה על האיכות.
לפעמים, בעיקר במודלי MoE, אתה מרוויח גם קפיצה ביכולות, בעיקר כי כימות מסוג IQ מונע פגיעה בנתב אם אתה יודע מה זה.

Spoiler

בשתי מילים - נתב הוא הרכיב הקריטי שאחראי להחליט איזה מומחה להפעיל עבור כל טוקן. בכימות מסוג Q הנתב מכומת כמו כל השכבות האחרות במודל, ואילו כימות מסוג IQ שומר עליו הרבה יותר.

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

יש כמה סיבות למה זה לא מדד.
1 ייתכן שקלוד קוד מותאם יותר לאחד מהם.
2 ייתכן שהוא גרוע בהקשר ארוך.

נו, ולכן הם יותר טובים לקידוד!

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

ומה תענה לזה שקוואן בוודאות גרוע בדיבוג?

לא חושב, בכל אופן יש גרסאות מכווננות שהזכרתי למעלה שמיועדות לקידוד ולדיבוג כמו OmniCoder 9B.

[המלאך]

@א.מ.ד. כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

בכל אופן יש גרסאות מכווננות שהזכרתי למעלה שמיועדות לקידוד ולדיבוג כמו OmniCoder 9B.

הוא הכי טוב מכולם שם.
אבל הוא לא מתאים למחשב של 16 ג'יגה ראם.

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

אבל הוא לא מתאים למחשב של 16 ג'יגה ראם.

אני משתמש בו במחשב שלי עם 16 RAM בלי GPU. רק צריך לסגור תוכנות כבדות כמו שציינתי למעלה.