עזרה | כל הAI לכתיבת קוד חינם/מגבלה חינמית כאן

[חובבן מקצועי]

@א.מ.ד. זה גדר של טעם וריח, הממשק של JAN לדעתי יפה ונוח יותר.

[Wild]

מעניין שאני מכיר תוכנה שנותנת מודל סיני ממש חזק בחינם לגמרי ללא מגבלה בתמורה לאימון על הדאטא שלך, ואף אחד לא הביא את זה פה.

[עידו300]

@Wild תגלה לנו

[א.מ.ד.]

@Bugs-Bunny כתב:

האם תוכל לפרט?

1. בעבר כל החברות הגדולות ששחררו מודלים פתוחים, שחררו גם גרסאות קטנות - 12B ומטה. כיום, החברה היחידה שככל הנראה תמשיך לעשות את זה היא גוגל בשביל המכשירים הניידים. Qwen 4 ככל הידוע לא יכלול גרסאות קטנות, Meta לא שחררה מודל קטן מאז Llama 3.2 העתיק, z.AI לא שחררה מודל קטן מאז GLM 4.6, ושאר המודלים הקטנים שמתפרסמים מידי פעם מגיעים ממעבדות מחקריות וסטארטאפים קטנים נטולי תקציב, וגם אם מידי פעם הם מפתיעים זה לא משהו לבנות עליו.
   הסיבה פשוטה - בעבר החברות האלה ניסו למצוא דרך להיכנס לשוק, והדרך הייתה באמצעות המודלים האלו. Meta הייתה צריכה לשבור את הדומיננטיות של OpenAI. Mistral הייתה צריכה לבנות לעצמה שם. Alibaba הייתה צריכה להפוך את Qwen לאקוסיסטם. DeepSeek הייתה צריכה להראות שהיא מסוגלת להתמודד עם המעבדות המערביות. כיום הן כבר נמצאות בצמרת, ואין להן עניין לשחרר מודלים זעירים.
   בעבר גם זה מה שהתאפשר להן במסגרת התקציב, כיום הן משקיעות במודלים של טריליוני פרמטרים.
2. בעבר, השימוש העיקרי ב-AI היה צ'אט פשוט. אז ב-2023 יכולת להסתכל על Llama 2 7B מול GPT-3.5 ולהרגיש שאתה מקבל חלק גדול מהחוויה. ב-2024 הגיעו Llama 3 8B, Qwen2.5 7B, Mistral, Gemma וכו', והפער שוב הצטמצם בצורה מפתיעה. ב-2025 קיבלנו Qwen3, ‏R1 Distills, Gemma 3 וכדומה, והייתה עוד קפיצה.
   היום, מודל של 9B לא יכול טכנית להחזיק לולאות סוכן וקידוד מורכב כמו מודלי טריליוני הפרמטרים של היום, ואפילו לא כחוויה מוקטנת, אם זה בגלל מורכבות המשימה ואם בגלל שפער הגדלים בין מודל 7B ישן למודל 300B ישן קטן בהרבה מהפער בין מודל 9B עדכני למודל 2.8T עדכני. אז ה-3B החדש אמנם נהיה טוב יותר מה-3B הקודם, אבל הוא לא סוגר את הפער מול המודלים הגדולים באותו קצב.
3. בסוף יש תקרת זכוכית כמה מודל של מיליארדי פרמטרים בודדים יכול להחזיק. בעבר מערכי הנתונים היו מאוד מלוכלכים, ושיטות האימון היו ראשוניות מאוד ואפילו מחקריות. כיום כל שורת טקסט שנכנסת לאימון מנופה ומסוננת, ושיטות האימון מתקדמות מאוד, וקשה מאוד להשיג התקדמות משמעותית. זו הסיבה לכך שהחברות הגדולות מעלות עוד ועוד את מספר הפרמטרים של המודלים החדשים, מפני שזו הדרך היחידה נכון לעכשיו לקפוץ קדימה.
4. בעבר המודלים הקטנים האלו היו הגדולים ביותר בסדרה שלהם. השחרור שלהם נבע מהאמונה ש-AI צריך להיות בחינם לכל כיס, ולכן החברות התאמצו ככל האפשר כדי לשפר אותם, ולהביא את מירב יכולות ה-AI במודל קטן שרץ על המחשב האישי.
   כיום, המודלים הקטנים האלו הם האחים הקטנים ביותר במשפחה עם אחים בני טריליונים, נועדו בעיקר למחקר, להיכנס לשוק באמצעות הוכחת יכולת, לפיצוץ בועת ה-AI המערבית, להפעלת פעולות מסוימות בקצה וסיבות נוספות. הם כבר לא חושבים עלינו עם ה-16 RAM.

אז אני לא אומר שלא יהיו שיפורים - ברור שיהיו, וייתכן שהמודלים הקטנים אפילו יכפילו פי כמה את יכולותיהם, אבל ודאי שזה לא ימשיך להיות בקצב שזה היה עד כה.

[חובבן מקצועי]

@א.מ.ד. כתב:

אבל הוא לא סוגר את הפער מול המודלים הגדולים באותו קצב.

אני לא מצפה שהוא יסגור באותו קצב את הפער, אבל בהפרש של שנתיים שלוש בהחלט כן.

@א.מ.ד. כתב:

בסוף יש תקרת זכוכית כמה מודל של מיליארדי פרמטרים בודדים יכול להחזיק. בעבר מערכי הנתונים היו מאוד מלוכלכים, ושיטות האימון היו ראשוניות מאוד ואפילו מחקריות. כיום כל שורת טקסט שנכנסת לאימון מנופה ומסוננת, ושיטות האימון מתקדמות מאוד, וקשה מאוד להשיג התקדמות משמעותית. זו הסיבה לכך שהחברות הגדולות מעלות עוד ועוד את מספר הפרמטרים של המודלים החדשים, מפני שזו הדרך היחידה נכון לעכשיו לקפוץ קדימה.

אותה תקרה קיימת גם במודלי שפה גדולים מעצם העניין של מודלי שפה - שכמה כבר עוד דאטה אתה יכול להכניס. ובסוף ימצאו פטנט חדש שיקפיץ את המודלים (ע"ע 'מהפכת הרזינינג' וטכנולוגית ה'פרמטרים הפעילים') , וממילא מודל קטן בעתיד יכניס בכיס הקטן מודל גדול מסוג אימון של היום.

@א.מ.ד. כתב בעזרה | כל הAI לכתיבת קוד חינם/מגבלה חינמית כאן:

בעבר גם זה מה שהתאפשר להן במסגרת התקציב, כיום הן משקיעות במודלים של טריליוני פרמטרים.

אין עיסוק בקהילת הקוד הפתוח בנושא?

Spoiler

אמנם תטען שזה 27 מילארד פרמטרים - וזה בלתי ניתן לכיווץ , ועדיין זה מדהים, זה אומר שתוך חצי שנה הם הוציאו מודל שיותר טוב מהמודל הסגור הטוב ביותר לקידוד של GPT נכון לחצי שנה לפני. וזה מודל שיכול לרוץ על חומרות דיי פשוטות לפי ערך.
טוב, בעצם לא חידשתי פה כלום (בעניין מירוץ המודלים הקטנים בגדלים של 4 מיליארד פרמטרים), חוץ מזה שיש פה דבר שהוא באמת מפליא..

[Wild]

@חובבן-מקצועי כתב:

אין עיסוק בקהילת הקוד הפתוח בנושא?

לקהילת הקוד פתוח אין תקציב, זה מבוסס על מתנדבים, זה לא מגיע לסדרי גודל של אימון מודלים. כשהיה את GPT3 היו עוד אנשים פרטיים שהחליטו ליצור מודלים בקוד פתוח ברמה הזו, כי זאת חומרה שהיה שייך למצוא אנשים שיהיו מוכנים להשקיע בה, אבל במודלים של היום זה פשוט סכומים גבוהים מדי מכדי שמישהו יהיה מוכן לנדב את זה.

[חובבן מקצועי]

@Wild כתב:

לקהילת הקוד פתוח אין תקציב

בעניין open AI קם כמחקר נטו (ואפשר לקרוא לזה קהילת קוד פתוח, לא?) איך שהוא זה הגיע למה שזה היום.. מאמין שיש כמה מכוני מחקר שלאו למטרות רווח שעושים מחקר בנושא מודלי שפה קטנים..

[YOLEVI]

@Wild נשמח שתשתף...

[YOLEVI]

@א.מ.ד. כתב:

Qwen 3.6 35B A3B

אני כותב בSparkMoE את המודול Qwen 3.6 35B A3B וזה מביא ממש הרבה אפשרויות הורדה, איזה מהם להוריד?

וגם לאחר בחירה באחת האפשרויות יש הרבה אפשרויות הורדה בגדלים שונים.
אשמח אם תוכל לכוון אותי ספציפית

עריכה: הורדתי אץ Qwen3.6-35B-A3B-UD-Q4_K_M.gguf + mmproj-BF16.gguf

[א.מ.ד.]

@YOLEVI כתב:

עריכה: הורדתי אץ Qwen3.6-35B-A3B-UD-Q4_K_M.gguf + mmproj-BF16.gguf

עדיף את IQ4 מאותו מקום אבל בסדר.
שמתי קישור מדוייק בפוסט השחרור.
אגב לא זכור לי שיש אפשרות להורדת מודלים ב-SparkMoE...

[YOLEVI]

@א.מ.ד. כתב:

אגב לא זכור לי שיש אפשרות להורדת מודלים ב-SparkMoE...

תמונה מתוך התכנה (לא אתה יצרת את התכנה? בטח שיש אופצייה להורדה מתוך התכנה עצמה)

אגב יש אופצייה שסוכן יעבוד ישירות עם SparkMoE? כי כשאני מחבר את OpenCode לOLLAMA עם Qwen3.6-35B-A3B-UD-Q4_K_M.gguf זה פשוט לא זז... (אלא אם כן יש לי בעייה בצורה שחיברתי)

בSparkMoE הצ'אט עובד לאט אמנם אבל עובד

[The_Yonatan]

אם זה היכולות של המחשב שלי, מה המודל הכי מומלץ לקוד? ואיך אני מתקין ומשתמש בו? ממש אשמח לקצת עזרה

[א.מ.ד.]

@YOLEVI כתב:

תמונה מתוך התכנה (לא אתה יצרת את התכנה? בטח שיש אופצייה להורדה מתוך התכנה עצמה)

צודק סורי התבלבלתי עם סמארטי. שכחתי אפילו שהכנסתי את האופציה הזאת. אחרי הכל לא כתבתי את זה שורה אחר שורה אלא יחד עם קודקס...

@YOLEVI כתב:

אגב יש אופצייה שסוכן יעבוד ישירות עם SparkMoE? כי כשאני מחבר את OpenCode לOLLAMA עם Qwen3.6-35B-A3B-UD-Q4_K_M.gguf זה פשוט לא זז... (אלא אם כן יש לי בעייה בצורה שחיברתי)

הסיבה שזה לא זז היא שהנחיית המערכת של OpenCode היא בערך 10 אלף טוקנים. על מחשב סטנדרטי עם 16 RAM זה לוקח כמה דקות טובות, ועם מודל גדול עם טכנולוגיית העברת המומחים לדיסק של SparkMoE זה אמור לקחת אף יותר.
אם בכל זאת אתה רוצה לנסות, פשוט תפעיל את SparkMoE ותשנה את כתובת שרת ה-API בתוכנת הסוכן ל-http://127.0.0.1:8080.
ממליץ לך לנסות את מצב שרת מקומי בסמארטי, שתומך ב-"FastMode" - מצב מהיר למודלים מקומיים. משימה קצרה כמו בדיקת מזג אוויר עם מודל כמו Qwen 3.5 4B מסתיימת בהצלחה אחרי כ-5 דקות במחשב הנ"ל.

[א.מ.ד.]

@The_Yonatan כתב:

אם זה היכולות של המחשב שלי, מה המודל הכי מומלץ לקוד? ואיך אני מתקין ומשתמש בו? ממש אשמח לקצת עזרה

אין לך GPU.
8 RAM בלבד.
המקסימום אצלך זה Qwen 3.5 4B לקידוד וסוכן, ו-Gemma 4 E2B (אולי תצליח אפילו E4B, קשה להאמין) לעברית ושימושים כלליים.
עם SparkMoE תוכל להריץ גם מודל חזק כמו Qwen 3.6 35B A3B, אבל הוא יהיה אצלך איטי בהרבה כי אין הרבה RAM למטמון המומחים. אתה יכול גם Ling 3.0 Tiny 8B A1.3B, אבל הוא לא תומך בכלל בעברית.
אם אתה רוצה מודל צעצוע מהיר בעברית, DictaLM 3.0 1.7B.

הכי פשוט זה עם LM Studio עם המדריך המעולה של @חובבן-מקצועי (תחפש בהיסטוריית הנושאים שלו), או עם המדריך שלי אם תרצה להעמיק קצת יותר.
אתה יכול גם עם SparkMoE באמצעות הורדת מודל כמו ש-@yolevi הראה בתמונה. תכתוב בחיפוש את אחד המודלים שהמלצתי לך פה.

[חובבן מקצועי]

@המלאך כתב:

@YOLEVI א"א לדעת, תלוי באופי הפרוייקט, אם היו נותנים לי לבחור בין ג'מיני 3.1 פרו לבין קוואן (שניתן להרצה ביתית) הכי חדש הייתי לוקח את ג'מיני..

מה זה הרצה ביתית?

לפי התמונה הזו - מודל שהוא של 27B לוקח אותו.. (והוא רץ על חומרה נגיד של 32 RAM, אם כי איטי מאוד)

[The_Yonatan]

@א.מ.ד. ועם התוכנה שלך להרצת מודלים גדולים, אפשר יותר?

[חובבן מקצועי]

פוסט זה נמחק!

[א.מ.ד.]

@The_Yonatan כתב:

@א.מ.ד. ועם התוכנה שלך להרצת מודלים גדולים, אפשר יותר?

אתה יודע לקרוא?
כתבתי במפורש:

א.מ.ד. כתב בעזרה | כל הAI לכתיבת קוד חינם/מגבלה חינמית כאן:

עם SparkMoE תוכל להריץ גם מודל חזק כמו Qwen 3.6 35B A3B, אבל הוא יהיה אצלך איטי בהרבה כי אין הרבה RAM למטמון המומחים. אתה יכול גם Ling 3.0 Tiny 8B A1.3B, אבל הוא לא תומך בכלל בעברית.

[The_Yonatan]

@א.מ.ד. אוקי תודה.

[The_Yonatan]

@א.מ.ד.
איפה אני משיג מודלים?
וקצת ביררתי, הבנתי שהמודל הכי טוב לקוד שאני יכול להריץ הוא Qwen 2.5 Coder 7B Instruct, אמנם הוא יהיה ממש איטי אבל אני מעדיף איכות על מהירות. אשמח אם תסביר לי איך לחבר אותו לתוכנה ומאיפה להוריד אותו, אני לא ממש מבין בזה...