בקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד

[המלאך]

וואו.
שעה אני לא נמצא וזה מתקדם לכיוון מעניין.
@א.מ.ד. זה יהיה מעניין אם תעשה כזה מדריך..
אבל נראה לי @חובבן-מקצועי כבר באמצע לעשות כזה.
בכל מקרה @שמואל-הסיני זה תלוי מה המטרה שלך.
קידוד כמו שאמרו זה סדרת הקוואן.
בכל מקרה חברה אתם רק בילבלתם אותו יותר.
@שמואל-הסיני איפה אתה אוחז? איזה תוכנה בחרת להריץ את המודל ואיזה מודל?
ולגבי הראם והויראם, יש לך ויראם? תבדוק במפרט מחשב.
אם יש זה יכול לעזור.
@א.מ.ד. כימות זה רעיון גרוע. הוא לא מבין כלום בנושא.
אם יש מודלי קוואן מכומתים - תוריד.
אם לא אל תסתבך המפרט מחשב שלך טוב מספיק בשביל להריץ בלי.
דרך אגב הם בכלל טובים בעברית? @א.מ.ד.?

[א.מ.ד.]

@חובבן-מקצועי כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

מה דעתך על הכיווץ החדש? (מסוג NL)

השם של הכימות החדש הוא IQ, ה-NL הוא התת-סוג הכי יעיל בתוכו.
התוצאות הרבה יותר טובות ב-IQ מאשר Q, אבל ההרצה איטית יחסית.

[חובבן מקצועי]

@א.מ.ד. כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

אבל ההרצה איטית יחסית.

כלומר, החיסכון בVRAM שאני מנסה להשיג לא שווה את זה? (כי הוא רץ לאט יותר, ועדיף לי לתפוס עד חצי גיגה..)

[שמואל הסיני]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

בכל מקרה חברה אתם רק בילבלתם אותו יותר.

יש בזה משהו אבל אני רוצה ללמוד ושמח ממה שהולך פה כי אני רוצה להכיר את האירוע!

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@שמואל-הסיני איפה אתה אוחז? איזה תוכנה בחרת להריץ את המודל ואיזה מודל?
ולגבי הראם והויראם, יש לך ויראם? תבדוק במפרט מחשב.
אם יש זה יכול לעזור.

אין לי ויראם זה מחשב נייד

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@שמואל-הסיני איפה אתה אוחז? איזה תוכנה בחרת להריץ את המודל ואיזה מודל?

עוד לא בחרתי כלום!

[א.מ.ד.]

@בנימין-מחשבים כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

מה עם npu? מישהו יודע האם זה מוסיף משהו לעניין?
כי במנהל המשימות אני לא רואה שימוש בnpu בזמן הזה

ה-NPU לא מוסיף למהירות בדרך כלל, אלא רק מעביר את המודל לפעילות ברקע ב-NPU במקום לבזבז משאבי CPU ו-GPU יקרים על חשבון הפעילות הסדירה של המחשב.

[בנימין מחשבים]

@א.מ.ד. ההרגשה שלי - זה מה שאמור לקרות ולא קורה.
אולי צריך דרייבר מיוחד כדי שהתוכנה תדע לנצל את זה

[המלאך]

@חובבן-מקצועי כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

כי הוא רץ לאט יותר, ועדיף לי לתפוס עד חצי גיגה

מה פתאום? ממתי vram רץ לאט יותר?

@שמואל-הסיני כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

עוד לא בחרתי כלום!

תיקח את דיפסיק קודר 6.7 בכימות 4ביט.

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@א.מ.ד. כימות זה רעיון גרוע. הוא לא מבין כלום בנושא.
אם יש מודלי קוואן מכומתים - תוריד.
אם לא אל תסתבך המפרט מחשב שלך טוב מספיק בשביל להריץ בלי.

כימות זה חובה למי שרוצה לראות תוצאות מהרצת מודלים אופליין. אחרת תשרוף פי 4 RAM.

[המלאך]

@א.מ.ד. לא אמרתי שלא.
אמרתי שלהציע לו לכמת זה רעיון גרוע.

[א.מ.ד.]

@בנימין-מחשבים כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@א.מ.ד. ההרגשה שלי - זה מה שאמור לקרות ולא קורה.
אולי צריך דרייבר מיוחד כדי שהתוכנה תדע לנצל את זה

התוכנות הסטנדרטיות לא יודעות לתקשר עם ה-NPU. זה שמור בעיקר ליצרניות החומרה.

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@א.מ.ד. לא אמרתי שלא.
אמרתי שלהציע לו לכמת זה רעיון גרוע.

ברור שהתכוונתי להוריד מכומת... למרות שזה לא כזה מסובך לכמת, עשיתי את זה על הרבה מודלים.

[בנימין מחשבים]

@א.מ.ד. אכן
הדבר היחיד אצלי שמשתמש בו זה אפקטים במצלמה המובנית של ווינדוס...

[המלאך]

@א.מ.ד. לך זה לא כזה מסובך.

@א.מ.ד. כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

התוכנות הסטנדרטיות לא יודעות לתקשר עם ה-NPU. זה שמור בעיקר ליצרניות החומרה.

לא נכון.
מודלי onnx משתמשים בו.
לסיכום @שמואל-הסיני ההמלצה שלי:
דיפסיק קודר 6.7 בכימות של 4ביט'.
תשתמש להרצה בlm סטודיו.

[חובבן מקצועי]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

מה פתאום? ממתי vram רץ לאט יותר?

השאלה שלי הייתה על הסוג כיווץ החדש מסוג IQ ש @א.מ.ד. אמר שזה אמנם יותר יעיל, אבל ההרצה איטית יותר.
אז שאלתי - האם יצא הפסדי בשכרי - בזה שאמנם המודל קצת קטן יותר, אבל בפועל הוא לא עוזר לי במהירות.. (ככל שהמודל קטן יותר - ככה הוא רץ מהר יותר, אבל כאן מלכתחילה הוא רץ לאט יותר..)

[שמואל הסיני]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

לסיכום @שמואל-הסיני ההמלצה שלי:
דיפסיק קודר 6.7 בכימות של 4ביט'.
תשתמש להרצה בlm סטודיו.

@א.מ.ד. @חובבן-מקצועי מסכימים?

Spoiler

אני בא רק לוודא.

המחשב שלי ללא אינטרנט כך שאין עליו תוכנות כ"כ כבדות.

[חובבן מקצועי]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

דיפסיק קודר 6.7 בכימות של 4ביט'.

כמה הוא שוקל? שים לב שיש לו רק 16 RAM, תחשוב שהוא אמור להריץ במקביל מערכת הפעלה, התוכנה שמריצה את זה, מדריך ועוד..

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@א.מ.ד. לך זה לא כזה מסובך.

אז אני יכול לגלות לך שיש כלי שיוצר GGUF ומכמת כמעט כל מודל שתרצה בלחיצת כפתור וממשק גרפי פשוט, בפחות מהזמן שלקח לי לכתוב את הפוסט הזה! אמנם יש מודלים שדרשו ממני לכמת אותם עם בנייה של llama.cpp וכו' אבל לרוב המודלים זה מספיק!

[המלאך]

@חובבן-מקצועי נכון, בכימות הזה זה יהיה כך.
חייב לציין שלא יודע עד כמה זה יותר יעיל הכימות הרגיל.
@א.מ.ד. ניסית את הכימות?

[המלאך]

@חובבן-מקצועי כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

כמה הוא שוקל? שים לב שיש לו רק 16 RAM, תחשוב שהוא אמור להריץ במקביל מערכת הפעלה, התוכנה שמריצה את זה, מדריך ועוד..

כן זה אמור להספיק.

@א.מ.ד. כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

אז אני יכול לגלות לך שיש כלי שיוצר GGUF ומכמת כמעט כל מודל שתרצה בלחיצת כפתור וממשק גרפי פשוט, בפחות מהזמן שלקח לי לכתוב את הפוסט הזה! אמנם יש מודלים שדרשו ממני לכמת אותם עם בנייה של llama.cpp וכו' אבל לרוב המודלים זה מספיק!

איזה כלי? אני לא מכיר...

[א.מ.ד.]

@שמואל-הסיני כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@א.מ.ד. @חובבן-מקצועי מסכימים?

אני חולק מכל וכל.
המודלים שהזכרתי למעלה הרבה יותר טובים מהדיפסיק ההוא בכל מדד.
ביקשתי מג'מיני שייצור לי טבלה שמסכמת את מבחני הביצועים לקידוד של המודלים האלו:

דיפסיק קודר הוא מודל מאוד מיושן. אפשר לראות בטבלה שאפילו Qwen 2.5 3B Coder שקטן ממנו ביותר מחצי בתחרות צמודה איתו.