בירור | מודל AI אופליין
-
@א.מ.ד.
תודה על הרצון הטוב אבל אני צריך משהו שיכול לנצל כרטיס מסך כמו שיש לי(RTX 5070)
וגם כתיבת קוד...תודה בכל מקרה -
@א.מ.ד.
תודה על הרצון הטוב אבל אני צריך משהו שיכול לנצל כרטיס מסך כמו שיש לי(RTX 5070)
וגם כתיבת קוד...תודה בכל מקרה@anomimi1789 הוא התכוון להגיד שלא נכון לומר 'כמה שיותר פרמטרים'.
נראה לי [לא יודע כמה ראם רגיל יש לך..]
קוואן 13b כימות 4b או אפילו 5b ישרוד.
כימות 8b לא ישרוד יותר מ7b פרמטרים.
אהיה יותר ברור.
מודל: qwen.
גודל פרמטרים: 14b.
כימות [gguf]: 4b/5b.
ייעוד: קודר.
ת'אנת אין לי מושג אם יש בכימות הזה לגודל הזה.
אשאיר ל @א.מ.ד. את העבודה השחורה של לחפש האגינג פייס. -
@anomimi1789 כתב בבירור | מודל AI אופליין:
עדיפות לכמה שיותר פרמטרים אבל מה שיש טוב תודה מראש
אם תרצה יש לי של 1.6 טריליון פרמטרים. מספיק טוב?
@א.מ.ד.
רגע רגע...אמרת טרליון???? -
@א.מ.ד.
רגע רגע...אמרת טרליון???? -
@anomimi1789 הוא התכוון להגיד שלא נכון לומר 'כמה שיותר פרמטרים'.
נראה לי [לא יודע כמה ראם רגיל יש לך..]
קוואן 13b כימות 4b או אפילו 5b ישרוד.
כימות 8b לא ישרוד יותר מ7b פרמטרים.
אהיה יותר ברור.
מודל: qwen.
גודל פרמטרים: 14b.
כימות [gguf]: 4b/5b.
ייעוד: קודר.
ת'אנת אין לי מושג אם יש בכימות הזה לגודל הזה.
אשאיר ל @א.מ.ד. את העבודה השחורה של לחפש האגינג פייס.@המלאך כתב בבירור | מודל AI אופליין:
@anomimi1789 הוא התכוון להגיד שלא נכון לומר 'כמה שיותר פרמטרים'.
נראה לי [לא יודע כמה ראם רגיל יש לך..]
קוואן 13b כימות 4b או אפילו 5b ישרוד.
כימות 8b לא ישרוד יותר מ7b פרמטרים.
אהיה יותר ברור.
מודל: qwen.
גודל פרמטרים: 14b.
כימות [gguf]: 4b/5b.
ייעוד: קודר.
ת'אנת אין לי מושג אם יש בכימות הזה לגודל הזה.
אשאיר ל @א.מ.ד. את העבודה השחורה של לחפש האגינג פייס.אין צורך בכימות פחות אגרסיבי מ-4 ביט. 4 ביט חוסך 75% מהזיכרון הדרוש, תוך ירידה מינרית בביצועים וכמעט בלתי מורגשת לעין אנושית. זה נכון בין למודלי 4B ובין למודלי 400B.
אגב ככל שהמספר בכימות יותר גבוה (לדוגמא Q8) אז המודל יותר איכותי (שוב, מינורי), לא ההיפך. Q4 פחות איכותי מ-Q8.
לגבי המודל שהצעת - QWEN 14B, שזה QWEN 3, מדובר במודל מיושן. ישנם מודלים שקטנים ממנו בחצי וטובים יותר ממנו.
סדרת המודלים המומלצת כיום לקידוד היא QWEN 3.5, ולשימוש כללי GEMMA 4.
אז תבחר את גודל המודל לפי כמות ה-RAM שלך, כמפורט במדריך שקישרתי אליו למעלה.
הכימות המומלץ הוא Q4.אגב @המלאך , הסימון של כימותים הוא Q4, לא 4B.
-
@המלאך כתב בבירור | מודל AI אופליין:
@anomimi1789 הוא התכוון להגיד שלא נכון לומר 'כמה שיותר פרמטרים'.
נראה לי [לא יודע כמה ראם רגיל יש לך..]
קוואן 13b כימות 4b או אפילו 5b ישרוד.
כימות 8b לא ישרוד יותר מ7b פרמטרים.
אהיה יותר ברור.
מודל: qwen.
גודל פרמטרים: 14b.
כימות [gguf]: 4b/5b.
ייעוד: קודר.
ת'אנת אין לי מושג אם יש בכימות הזה לגודל הזה.
אשאיר ל @א.מ.ד. את העבודה השחורה של לחפש האגינג פייס.אין צורך בכימות פחות אגרסיבי מ-4 ביט. 4 ביט חוסך 75% מהזיכרון הדרוש, תוך ירידה מינרית בביצועים וכמעט בלתי מורגשת לעין אנושית. זה נכון בין למודלי 4B ובין למודלי 400B.
אגב ככל שהמספר בכימות יותר גבוה (לדוגמא Q8) אז המודל יותר איכותי (שוב, מינורי), לא ההיפך. Q4 פחות איכותי מ-Q8.
לגבי המודל שהצעת - QWEN 14B, שזה QWEN 3, מדובר במודל מיושן. ישנם מודלים שקטנים ממנו בחצי וטובים יותר ממנו.
סדרת המודלים המומלצת כיום לקידוד היא QWEN 3.5, ולשימוש כללי GEMMA 4.
אז תבחר את גודל המודל לפי כמות ה-RAM שלך, כמפורט במדריך שקישרתי אליו למעלה.
הכימות המומלץ הוא Q4.אגב @המלאך , הסימון של כימותים הוא Q4, לא 4B.
@א.מ.ד. כתב בבירור | מודל AI אופליין:
אין צורך בכימות פחות אגרסיבי מ-4 ביט. 4 ביט חוסך 75% מהזיכרון הדרוש, תוך ירידה מינרית בביצועים וכמעט בלתי מורגשת לעין אנושית. זה נכון בין למודלי 4B ובין למודלי 400B.
אגב ככל שהמספר בכימות יותר גבוה (לדוגמא Q8) אז המודל יותר איכותי (שוב, מינורי), לא ההיפך. Q4 פחות איכותי מ-Q8.לכן הצעתי כימות יותר גדול. 5 ולא 4. עניין של איכות.
@א.מ.ד. כתב בבירור | מודל AI אופליין:
אגב ככל שהמספר בכימות יותר גבוה (לדוגמא Q8) אז המודל יותר איכותי (שוב, מינורי), לא ההיפך. Q4 פחות איכותי מ-Q8.
לגבי המודל שהצעת - QWEN 14B, שזה QWEN 3, מדובר במודל מיושן. ישנם מודלים שקטנים ממנו בחצי וטובים יותר ממנו.
סדרת המודלים המומלצת כיום לקידוד היא QWEN 3.5,הקודר שלו לדעתי די בייתרון.
לא מצאתי גדול יותר בשבילו. הוא ביקש כמה שיותר פרמטרים..
@א.מ.ד. כתב בבירור | מודל AI אופליין:
אגב @המלאך , הסימון של כימותים הוא Q4, לא 4B.
Whatever you say, sir.
Anyway, thank you for your attention to this matter. -
@א.מ.ד. כתב בבירור | מודל AI אופליין:
אין צורך בכימות פחות אגרסיבי מ-4 ביט. 4 ביט חוסך 75% מהזיכרון הדרוש, תוך ירידה מינרית בביצועים וכמעט בלתי מורגשת לעין אנושית. זה נכון בין למודלי 4B ובין למודלי 400B.
אגב ככל שהמספר בכימות יותר גבוה (לדוגמא Q8) אז המודל יותר איכותי (שוב, מינורי), לא ההיפך. Q4 פחות איכותי מ-Q8.לכן הצעתי כימות יותר גדול. 5 ולא 4. עניין של איכות.
@א.מ.ד. כתב בבירור | מודל AI אופליין:
אגב ככל שהמספר בכימות יותר גבוה (לדוגמא Q8) אז המודל יותר איכותי (שוב, מינורי), לא ההיפך. Q4 פחות איכותי מ-Q8.
לגבי המודל שהצעת - QWEN 14B, שזה QWEN 3, מדובר במודל מיושן. ישנם מודלים שקטנים ממנו בחצי וטובים יותר ממנו.
סדרת המודלים המומלצת כיום לקידוד היא QWEN 3.5,הקודר שלו לדעתי די בייתרון.
לא מצאתי גדול יותר בשבילו. הוא ביקש כמה שיותר פרמטרים..
@א.מ.ד. כתב בבירור | מודל AI אופליין:
אגב @המלאך , הסימון של כימותים הוא Q4, לא 4B.
Whatever you say, sir.
Anyway, thank you for your attention to this matter.@המלאך כתב בבירור | מודל AI אופליין:
לכן הצעתי כימות יותר גדול. 5 ולא 4. עניין של איכות.
א. כתבתי שאין הבדל נראה לעין בין המודל המלא לבין Q4, אז בין Q4 ל-Q5 ודאי שאין כמעט הבדל באיכות.
ב. הבנתי ש"ישרוד" התכוונת מבחינת איכות. עכשיו אני מבין שאתה מתכוון מבחינת חומרה. -
@א.מ.ד. כתב בבירור | מודל AI אופליין:
אין צורך בכימות פחות אגרסיבי מ-4 ביט. 4 ביט חוסך 75% מהזיכרון הדרוש, תוך ירידה מינרית בביצועים וכמעט בלתי מורגשת לעין אנושית. זה נכון בין למודלי 4B ובין למודלי 400B.
אגב ככל שהמספר בכימות יותר גבוה (לדוגמא Q8) אז המודל יותר איכותי (שוב, מינורי), לא ההיפך. Q4 פחות איכותי מ-Q8.לכן הצעתי כימות יותר גדול. 5 ולא 4. עניין של איכות.
@א.מ.ד. כתב בבירור | מודל AI אופליין:
אגב ככל שהמספר בכימות יותר גבוה (לדוגמא Q8) אז המודל יותר איכותי (שוב, מינורי), לא ההיפך. Q4 פחות איכותי מ-Q8.
לגבי המודל שהצעת - QWEN 14B, שזה QWEN 3, מדובר במודל מיושן. ישנם מודלים שקטנים ממנו בחצי וטובים יותר ממנו.
סדרת המודלים המומלצת כיום לקידוד היא QWEN 3.5,הקודר שלו לדעתי די בייתרון.
לא מצאתי גדול יותר בשבילו. הוא ביקש כמה שיותר פרמטרים..
@א.מ.ד. כתב בבירור | מודל AI אופליין:
אגב @המלאך , הסימון של כימותים הוא Q4, לא 4B.
Whatever you say, sir.
Anyway, thank you for your attention to this matter. -
@המלאך כתב בבירור | מודל AI אופליין:
לכן הצעתי כימות יותר גדול. 5 ולא 4. עניין של איכות.
א. כתבתי שאין הבדל נראה לעין בין המודל המלא לבין Q4, אז בין Q4 ל-Q5 ודאי שאין כמעט הבדל באיכות.
ב. הבנתי ש"ישרוד" התכוונת מבחינת איכות. עכשיו אני מבין שאתה מתכוון מבחינת חומרה. -
-
@המלאך כתב בבירור | מודל AI אופליין:
הקודר שלו לדעתי די בייתרון.
לא מצאתי גדול יותר בשבילו. הוא ביקש כמה שיותר פרמטרים..אין 14B קודר. חוץ מזה שה-3.5 9B (שאין לו גרסת קודר) טובה יותר מגרסאות הקודר של QWEN 3.
-
@א.מ.ד.
32 RAM (כרטיס מסך RTX 5070) 8VRAM -
@א.מ.ד. כתב בבירור | מודל AI אופליין:
אין 14B קודר. חוץ מזה שה-3.5 9B (שאין לו גרסת קודר) טובה יותר מגרסאות הקודר של QWEN 3.
בטוח?
אני די בטוח שראיתי.
אבל כמובן הגיוני שאני טועה.. -
@א.מ.ד.
32 RAM (כרטיס מסך RTX 5070) 8VRAM@anomimi1789 כתב בבירור | מודל AI אופליין:
@א.מ.ד.
32 RAM (כרטיס מסך RTX 5070) 8VRAMאז הכי מומלץ בשבילך לקידוד הוא QWEN 3.6 35B A3B, ולשימוש כללי GEMMA 4 26B A4B. כימות של Q4_K_M.
להריץ ב-LM STUDIO. -
@anomimi1789 כתב בבירור | מודל AI אופליין:
@א.מ.ד.
32 RAM (כרטיס מסך RTX 5070) 8VRAMאז הכי מומלץ בשבילך לקידוד הוא QWEN 3.6 35B A3B, ולשימוש כללי GEMMA 4 26B A4B. כימות של Q4_K_M.
להריץ ב-LM STUDIO. -
@anomimi1789 כתב בבירור | מודל AI אופליין:
@א.מ.ד.
32 RAM (כרטיס מסך RTX 5070) 8VRAMאז הכי מומלץ בשבילך לקידוד הוא QWEN 3.6 35B A3B, ולשימוש כללי GEMMA 4 26B A4B. כימות של Q4_K_M.
להריץ ב-LM STUDIO.@א.מ.ד.
זה לא יזלוג לRAM? אאכ אתה מדבר על גרסא דחוסה -
@המלאך
LM STUDIO אן כל משהו אחר -
@א.מ.ד.
זה לא יזלוג לRAM? אאכ אתה מדבר על גרסא דחוסה@anomimi1789 כתב בבירור | מודל AI אופליין:
@א.מ.ד.
זה לא יזלוג לRAM? אאכ אתה מדבר על גרסא דחוסהזה לא ייזלוג ל-RAM אלא יישב כל כולו בנינוחות ב-RAM. הפרמטרים הפעילים בלבד יוכנסו ל-VRAM בכל טוקן להרצה מהירה.
-
@המלאך
LM STUDIO אן כל משהו אחר@anomimi1789 כתב בבירור | מודל AI אופליין:
@המלאך
LM STUDIO אן כל משהו אחריש אבל אתה בטח לא מחפש הרפתקאות...
-
@anomimi1789 כתב בבירור | מודל AI אופליין:
@א.מ.ד.
זה לא יזלוג לRAM? אאכ אתה מדבר על גרסא דחוסהזה לא ייזלוג ל-RAM אלא יישב כל כולו בנינוחות ב-RAM. הפרמטרים הפעילים בלבד יוכנסו ל-VRAM בכל טוקן להרצה מהירה.
@א.מ.ד.
הידד.. אנא שלח קישור
למה הכוונה הרפתקאות...יש גם את LUMA 3 איך זה