בקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד

[חובבן מקצועי]

@שמואל-הסיני כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

אני חדש באירוע ושואל: מסובך להריץ על VRAM אם לא למה יש אופציה שניה ואם כן יש איפשהוא דרך להבין את התהליך?
וגם מה ההבדל בכלל?

זיכרון RAM וזיכרון VRAM:
RAM רגיל (זיכרון המערכת):
זה הזיכרון הכללי של המחשב. הוא משמש לכל הדברים הרגילים – כרום, וורד, ומערכת ההפעלה. הוא די גדול (בדרך כלל 16GB או 32GB) ועובד מעולה עם המשימות היומיומית, אבל הוא איטי יחסית כשזה מגיע לבינה מלאכותית. אם תריצו עליו מודל, הוא יעבוד, אבל הוא יענה לכם בקצב של "מילה בשנייה".
VRAM (זיכרון כרטיס המסך):
זה הזיכרון ה"VIP" שנמצא בתוך כרטיס מסך. הוא הרבה יותר מהיר מה-RAM הרגיל.
המעבד הזה לא נמצא על כל מחשב, ונמצא בעיקר על מחשבי גיימינג.
הVRAM יכול להריץ דברים הרבה יותר מהר מהRAM, ולכן המודל שפה עובד עליו הרבה יותר מהר

Spoiler

לקוח מהמדריך שאני באמצע לכתוב לאיך להריץ מודל שפה אופליין על המחשב.

הערה חשובה - אי אפשר להריץ את המערכת הפעלה על זיכרון הVRAM הוא מיועד למשימות ספציפיות.

[א.מ.ד.]

@חובבן-מקצועי כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

הצלחת להריץ את הgemma 4 על LM סטודיו? אני לא הצלחתי, ואני מריץ אותו על JAN

אני יענה על זה מסודר בפוסט שאני אכתוב.

[בנימין מחשבים]

מה עם npu? מישהו יודע האם זה מוסיף משהו לעניין?
כי במנהל המשימות אני לא רואה שימוש בnpu בזמן הזה

[המלאך]

וואו.
שעה אני לא נמצא וזה מתקדם לכיוון מעניין.
@א.מ.ד. זה יהיה מעניין אם תעשה כזה מדריך..
אבל נראה לי @חובבן-מקצועי כבר באמצע לעשות כזה.
בכל מקרה @שמואל-הסיני זה תלוי מה המטרה שלך.
קידוד כמו שאמרו זה סדרת הקוואן.
בכל מקרה חברה אתם רק בילבלתם אותו יותר.
@שמואל-הסיני איפה אתה אוחז? איזה תוכנה בחרת להריץ את המודל ואיזה מודל?
ולגבי הראם והויראם, יש לך ויראם? תבדוק במפרט מחשב.
אם יש זה יכול לעזור.
@א.מ.ד. כימות זה רעיון גרוע. הוא לא מבין כלום בנושא.
אם יש מודלי קוואן מכומתים - תוריד.
אם לא אל תסתבך המפרט מחשב שלך טוב מספיק בשביל להריץ בלי.
דרך אגב הם בכלל טובים בעברית? @א.מ.ד.?

[א.מ.ד.]

@חובבן-מקצועי כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

מה דעתך על הכיווץ החדש? (מסוג NL)

השם של הכימות החדש הוא IQ, ה-NL הוא התת-סוג הכי יעיל בתוכו.
התוצאות הרבה יותר טובות ב-IQ מאשר Q, אבל ההרצה איטית יחסית.

[חובבן מקצועי]

@א.מ.ד. כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

אבל ההרצה איטית יחסית.

כלומר, החיסכון בVRAM שאני מנסה להשיג לא שווה את זה? (כי הוא רץ לאט יותר, ועדיף לי לתפוס עד חצי גיגה..)

[שמואל הסיני]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

בכל מקרה חברה אתם רק בילבלתם אותו יותר.

יש בזה משהו אבל אני רוצה ללמוד ושמח ממה שהולך פה כי אני רוצה להכיר את האירוע!

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@שמואל-הסיני איפה אתה אוחז? איזה תוכנה בחרת להריץ את המודל ואיזה מודל?
ולגבי הראם והויראם, יש לך ויראם? תבדוק במפרט מחשב.
אם יש זה יכול לעזור.

אין לי ויראם זה מחשב נייד

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@שמואל-הסיני איפה אתה אוחז? איזה תוכנה בחרת להריץ את המודל ואיזה מודל?

עוד לא בחרתי כלום!

[א.מ.ד.]

@בנימין-מחשבים כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

מה עם npu? מישהו יודע האם זה מוסיף משהו לעניין?
כי במנהל המשימות אני לא רואה שימוש בnpu בזמן הזה

ה-NPU לא מוסיף למהירות בדרך כלל, אלא רק מעביר את המודל לפעילות ברקע ב-NPU במקום לבזבז משאבי CPU ו-GPU יקרים על חשבון הפעילות הסדירה של המחשב.

[בנימין מחשבים]

@א.מ.ד. ההרגשה שלי - זה מה שאמור לקרות ולא קורה.
אולי צריך דרייבר מיוחד כדי שהתוכנה תדע לנצל את זה

[המלאך]

@חובבן-מקצועי כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

כי הוא רץ לאט יותר, ועדיף לי לתפוס עד חצי גיגה

מה פתאום? ממתי vram רץ לאט יותר?

@שמואל-הסיני כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

עוד לא בחרתי כלום!

תיקח את דיפסיק קודר 6.7 בכימות 4ביט.

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@א.מ.ד. כימות זה רעיון גרוע. הוא לא מבין כלום בנושא.
אם יש מודלי קוואן מכומתים - תוריד.
אם לא אל תסתבך המפרט מחשב שלך טוב מספיק בשביל להריץ בלי.

כימות זה חובה למי שרוצה לראות תוצאות מהרצת מודלים אופליין. אחרת תשרוף פי 4 RAM.

[המלאך]

@א.מ.ד. לא אמרתי שלא.
אמרתי שלהציע לו לכמת זה רעיון גרוע.

[א.מ.ד.]

@בנימין-מחשבים כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@א.מ.ד. ההרגשה שלי - זה מה שאמור לקרות ולא קורה.
אולי צריך דרייבר מיוחד כדי שהתוכנה תדע לנצל את זה

התוכנות הסטנדרטיות לא יודעות לתקשר עם ה-NPU. זה שמור בעיקר ליצרניות החומרה.

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@א.מ.ד. לא אמרתי שלא.
אמרתי שלהציע לו לכמת זה רעיון גרוע.

ברור שהתכוונתי להוריד מכומת... למרות שזה לא כזה מסובך לכמת, עשיתי את זה על הרבה מודלים.

[בנימין מחשבים]

@א.מ.ד. אכן
הדבר היחיד אצלי שמשתמש בו זה אפקטים במצלמה המובנית של ווינדוס...

[המלאך]

@א.מ.ד. לך זה לא כזה מסובך.

@א.מ.ד. כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

התוכנות הסטנדרטיות לא יודעות לתקשר עם ה-NPU. זה שמור בעיקר ליצרניות החומרה.

לא נכון.
מודלי onnx משתמשים בו.
לסיכום @שמואל-הסיני ההמלצה שלי:
דיפסיק קודר 6.7 בכימות של 4ביט'.
תשתמש להרצה בlm סטודיו.

[חובבן מקצועי]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

מה פתאום? ממתי vram רץ לאט יותר?

השאלה שלי הייתה על הסוג כיווץ החדש מסוג IQ ש @א.מ.ד. אמר שזה אמנם יותר יעיל, אבל ההרצה איטית יותר.
אז שאלתי - האם יצא הפסדי בשכרי - בזה שאמנם המודל קצת קטן יותר, אבל בפועל הוא לא עוזר לי במהירות.. (ככל שהמודל קטן יותר - ככה הוא רץ מהר יותר, אבל כאן מלכתחילה הוא רץ לאט יותר..)

[שמואל הסיני]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

לסיכום @שמואל-הסיני ההמלצה שלי:
דיפסיק קודר 6.7 בכימות של 4ביט'.
תשתמש להרצה בlm סטודיו.

@א.מ.ד. @חובבן-מקצועי מסכימים?

Spoiler

אני בא רק לוודא.

המחשב שלי ללא אינטרנט כך שאין עליו תוכנות כ"כ כבדות.

[חובבן מקצועי]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

דיפסיק קודר 6.7 בכימות של 4ביט'.

כמה הוא שוקל? שים לב שיש לו רק 16 RAM, תחשוב שהוא אמור להריץ במקביל מערכת הפעלה, התוכנה שמריצה את זה, מדריך ועוד..

[א.מ.ד.]

@המלאך כתב בבקשת מידע | מודל ai אופליין לכתיבה מלאה של קוד:

@א.מ.ד. לך זה לא כזה מסובך.

אז אני יכול לגלות לך שיש כלי שיוצר GGUF ומכמת כמעט כל מודל שתרצה בלחיצת כפתור וממשק גרפי פשוט, בפחות מהזמן שלקח לי לכתוב את הפוסט הזה! אמנם יש מודלים שדרשו ממני לכמת אותם עם בנייה של llama.cpp וכו' אבל לרוב המודלים זה מספיק!