עזרה | כל הAI לכתיבת קוד חינם/מגבלה חינמית כאן

[חובבן מקצועי]

@א.מ.ד. כתב:

ויש גם מדריך ברור ונוח להרצה של @חובבן-מקצועי

אני אישית ממליץ להשתמש בJAN, הוא הרבה יותר נוח לדעתי, הבעייה היא שעדיין לא הבנתי איך הרצתי אותו על המחשב שלי (הרצתי אותו על המחשב בשיטת ניסוי וטעייה), ומשום כך אני לא יכול לכתוב עליו מדריך.. (הסתבכתי לחלוטין בהגדרה של הlamma.cpp שלו)

[המלאך]

@חובבן-מקצועי הדסת פרומפטים זה לא מיקצוע שמייצר עוד.
כלומר יש גבול לפרומפט, בסוףאתה מגיע למושלם.
אני אומר שאותופרומפט מושלם של אונליין שייך גם באופליין, בסוף אם לא תכתוב בצורה ברורה הוא פשוט לא יבין..

[חובבן מקצועי]

@המלאך כתב:

בסוף אם לא תכתוב בצורה ברורה הוא פשוט לא יבין.

ועדיין, הרבה יותר קל להגיע ל'פרודקשן' עם claud 5.5 מאשר עם qwen גירסת אופליין - יהיה גדול אשר יהיה (כמובן שאני מדבר בגדלים שאפשר להריץ על מחשב ביתי, בגודל של טריליון פרמטרים הוא מתחרה עם מודלים מובילים - אבל זה לא רלוונטי בעבור רוב המשתמשים)..

ומודל אונליין יבין גם אם לא כתבת בצורה ההכי ברורה שבעולם.

אם כי אולי יש צדק בדבריך בזה שאפשר פשוט בשיחה מקבילה לדון איתו על פרומפטים לתוכנה שאתה רוצה לבנות.

Spoiler

אהה, וגם אני חושב שתוך שנתיים רוב מה שצריך לתכנת 'בבית' עבור המשתמש הפשוט בהחלט יהיה אפשר לעשות עם מודלי אופליין, והם יגיעו לרמה מדהימה שלא נופלת על המודלים המובילים נכון להיום, אבל אז כבר מתסבר שגמיני בגירסת לייט יוכל לעשות לך את העבודה עד הסוף, ככה שזה לא יהיה רלוונטי אם השאלה היא 'AI חינמי לכתיבת קוד'

[א.מ.ד.]

@חובבן-מקצועי כתב:

אני אישית ממליץ להשתמש בJAN, הוא הרבה יותר נוח לדעתי, הבעייה היא שעדיין לא הבנתי איך הרצתי אותו על המחשב שלי (הרצתי אותו על המחשב בשיטת ניסוי וטעייה), ומשום כך אני לא יכול לכתוב עליו מדריך.. (הסתבכתי לחלוטין בהגדרה של הlamma.cpp שלו)

לא הבנתי מה אהבת כל כך ב-JAN.
אני אישית משתמש ב-LM Studio בשביל להפעיל ככה בקלות, וב-SparkMoE המבוסס על llama.cpp באופן ישיר כשאני רוצה להריץ מודלים גדולים, או כשאני רוצה להריץ מודלים רגילים במהירות גבוהה יותר.

[א.מ.ד.]

@חובבן-מקצועי כתב:

אהה, וגם אני חושב שתוך שנתיים רוב מה שצריך לתכנת 'בבית' עבור המשתמש הפשוט בהחלט יהיה אפשר לעשות עם מודלי אופליין, והם יגיעו לרמה מדהימה שלא נופלת על המודלים המובילים נכון להיום

אני די פסימי בנושא, מכמה סיבות.

[Bugs Bunny]

@א.מ.ד. כתב:

, מכמה סיבות.

האם תוכל לפרט?

[המלאך]

@א.מ.ד. כתב:

אני די פסימי בנושא, מכמה סיבות.

מעניין, אני דווקא די אופטימי בנושא.
מכמה סיבות..

[Bugs Bunny]

@המלאך

מעניין, אני אני די מופתע מהנושא
מכמה סיבות..

[חובבן מקצועי]

@א.מ.ד. כתב:

אני די פסימי בנושא, מכמה סיבות.

נו, זו מחלוקת עתיקה.. כרגע היא בגדר של 'נחיה ונראה..'
אהה, וסיבה למה לחשוב שזה כן יקרה - כי כל פעם שיוצא מודל אופליין טוב חדש אנחנו מתפעלים מהיכולות שלו, ואם זה ימשיך בקצב הזה - אז מודלים מובילים של היום ירוצו על חומרה פשוטה בעוד שנתיים. (וכן, אני מכיר את הטענה שלך שלך שאומרת שזה לא יתקדם בגלל שזה לא רווחי למי שמאמן את המודלים, אבל בינתיים הטענה שלך לא מוכחת, ומה שקורה זה הפוך - המודלים הקטנים ממשיכים להשיג את המודלים שנחשבו לגדולים לפני שנתיים)

@א.מ.ד. כתב:

לא הבנתי מה אהבת כל כך ב-JAN.

את הממשק, הוא פשוט נוח ויפה לשימוש. (בתור סתם צ'אט, אולי ביכולות סוכניות LM יעיל יותר..)
מצורף צילום מסך בספויילר:

Spoiler

[א.מ.ד.]

@חובבן-מקצועי כתב:

את הממשק, הוא פשוט נוח ויפה לשימוש. (בתור סתם צ'אט, אולי ביכולות סוכניות LM יעיל יותר..)
מצורף צילום מסך בספויילר:

למה זה יותר נוח מהממשק של llama.cpp?

[חובבן מקצועי]

@א.מ.ד. זה גדר של טעם וריח, הממשק של JAN לדעתי יפה ונוח יותר.

[Wild]

מעניין שאני מכיר תוכנה שנותנת מודל סיני ממש חזק בחינם לגמרי ללא מגבלה בתמורה לאימון על הדאטא שלך, ואף אחד לא הביא את זה פה.

[עידו300]

@Wild תגלה לנו

[א.מ.ד.]

@Bugs-Bunny כתב:

האם תוכל לפרט?

1. בעבר כל החברות הגדולות ששחררו מודלים פתוחים, שחררו גם גרסאות קטנות - 12B ומטה. כיום, החברה היחידה שככל הנראה תמשיך לעשות את זה היא גוגל בשביל המכשירים הניידים. Qwen 4 ככל הידוע לא יכלול גרסאות קטנות, Meta לא שחררה מודל קטן מאז Llama 3.2 העתיק, z.AI לא שחררה מודל קטן מאז GLM 4.6, ושאר המודלים הקטנים שמתפרסמים מידי פעם מגיעים ממעבדות מחקריות וסטארטאפים קטנים נטולי תקציב, וגם אם מידי פעם הם מפתיעים זה לא משהו לבנות עליו.
   הסיבה פשוטה - בעבר החברות האלה ניסו למצוא דרך להיכנס לשוק, והדרך הייתה באמצעות המודלים האלו. Meta הייתה צריכה לשבור את הדומיננטיות של OpenAI. Mistral הייתה צריכה לבנות לעצמה שם. Alibaba הייתה צריכה להפוך את Qwen לאקוסיסטם. DeepSeek הייתה צריכה להראות שהיא מסוגלת להתמודד עם המעבדות המערביות. כיום הן כבר נמצאות בצמרת, ואין להן עניין לשחרר מודלים זעירים.
   בעבר גם זה מה שהתאפשר להן במסגרת התקציב, כיום הן משקיעות במודלים של טריליוני פרמטרים.
2. בעבר, השימוש העיקרי ב-AI היה צ'אט פשוט. אז ב-2023 יכולת להסתכל על Llama 2 7B מול GPT-3.5 ולהרגיש שאתה מקבל חלק גדול מהחוויה. ב-2024 הגיעו Llama 3 8B, Qwen2.5 7B, Mistral, Gemma וכו', והפער שוב הצטמצם בצורה מפתיעה. ב-2025 קיבלנו Qwen3, ‏R1 Distills, Gemma 3 וכדומה, והייתה עוד קפיצה.
   היום, מודל של 9B לא יכול טכנית להחזיק לולאות סוכן וקידוד מורכב כמו מודלי טריליוני הפרמטרים של היום, ואפילו לא כחוויה מוקטנת, אם זה בגלל מורכבות המשימה ואם בגלל שפער הגדלים בין מודל 7B ישן למודל 300B ישן קטן בהרבה מהפער בין מודל 9B עדכני למודל 2.8T עדכני. אז ה-3B החדש אמנם נהיה טוב יותר מה-3B הקודם, אבל הוא לא סוגר את הפער מול המודלים הגדולים באותו קצב.
3. בסוף יש תקרת זכוכית כמה מודל של מיליארדי פרמטרים בודדים יכול להחזיק. בעבר מערכי הנתונים היו מאוד מלוכלכים, ושיטות האימון היו ראשוניות מאוד ואפילו מחקריות. כיום כל שורת טקסט שנכנסת לאימון מנופה ומסוננת, ושיטות האימון מתקדמות מאוד, וקשה מאוד להשיג התקדמות משמעותית. זו הסיבה לכך שהחברות הגדולות מעלות עוד ועוד את מספר הפרמטרים של המודלים החדשים, מפני שזו הדרך היחידה נכון לעכשיו לקפוץ קדימה.
4. בעבר המודלים הקטנים האלו היו הגדולים ביותר בסדרה שלהם. השחרור שלהם נבע מהאמונה ש-AI צריך להיות בחינם לכל כיס, ולכן החברות התאמצו ככל האפשר כדי לשפר אותם, ולהביא את מירב יכולות ה-AI במודל קטן שרץ על המחשב האישי.
   כיום, המודלים הקטנים האלו הם האחים הקטנים ביותר במשפחה עם אחים בני טריליונים, נועדו בעיקר למחקר, להיכנס לשוק באמצעות הוכחת יכולת, לפיצוץ בועת ה-AI המערבית, להפעלת פעולות מסוימות בקצה וסיבות נוספות. הם כבר לא חושבים עלינו עם ה-16 RAM.

אז אני לא אומר שלא יהיו שיפורים - ברור שיהיו, וייתכן שהמודלים הקטנים אפילו יכפילו פי כמה את יכולותיהם, אבל ודאי שזה לא ימשיך להיות בקצב שזה היה עד כה.

[חובבן מקצועי]

@א.מ.ד. כתב:

אבל הוא לא סוגר את הפער מול המודלים הגדולים באותו קצב.

אני לא מצפה שהוא יסגור באותו קצב את הפער, אבל בהפרש של שנתיים שלוש בהחלט כן.

@א.מ.ד. כתב:

בסוף יש תקרת זכוכית כמה מודל של מיליארדי פרמטרים בודדים יכול להחזיק. בעבר מערכי הנתונים היו מאוד מלוכלכים, ושיטות האימון היו ראשוניות מאוד ואפילו מחקריות. כיום כל שורת טקסט שנכנסת לאימון מנופה ומסוננת, ושיטות האימון מתקדמות מאוד, וקשה מאוד להשיג התקדמות משמעותית. זו הסיבה לכך שהחברות הגדולות מעלות עוד ועוד את מספר הפרמטרים של המודלים החדשים, מפני שזו הדרך היחידה נכון לעכשיו לקפוץ קדימה.

אותה תקרה קיימת גם במודלי שפה גדולים מעצם העניין של מודלי שפה - שכמה כבר עוד דאטה אתה יכול להכניס. ובסוף ימצאו פטנט חדש שיקפיץ את המודלים (ע"ע 'מהפכת הרזינינג' וטכנולוגית ה'פרמטרים הפעילים') , וממילא מודל קטן בעתיד יכניס בכיס הקטן מודל גדול מסוג אימון של היום.

@א.מ.ד. כתב בעזרה | כל הAI לכתיבת קוד חינם/מגבלה חינמית כאן:

בעבר גם זה מה שהתאפשר להן במסגרת התקציב, כיום הן משקיעות במודלים של טריליוני פרמטרים.

אין עיסוק בקהילת הקוד הפתוח בנושא?

Spoiler

אמנם תטען שזה 27 מילארד פרמטרים - וזה בלתי ניתן לכיווץ , ועדיין זה מדהים, זה אומר שתוך חצי שנה הם הוציאו מודל שיותר טוב מהמודל הסגור הטוב ביותר לקידוד של GPT נכון לחצי שנה לפני. וזה מודל שיכול לרוץ על חומרות דיי פשוטות לפי ערך.
טוב, בעצם לא חידשתי פה כלום (בעניין מירוץ המודלים הקטנים בגדלים של 4 מיליארד פרמטרים), חוץ מזה שיש פה דבר שהוא באמת מפליא..

[Wild]

@חובבן-מקצועי כתב:

אין עיסוק בקהילת הקוד הפתוח בנושא?

לקהילת הקוד פתוח אין תקציב, זה מבוסס על מתנדבים, זה לא מגיע לסדרי גודל של אימון מודלים. כשהיה את GPT3 היו עוד אנשים פרטיים שהחליטו ליצור מודלים בקוד פתוח ברמה הזו, כי זאת חומרה שהיה שייך למצוא אנשים שיהיו מוכנים להשקיע בה, אבל במודלים של היום זה פשוט סכומים גבוהים מדי מכדי שמישהו יהיה מוכן לנדב את זה.

[חובבן מקצועי]

@Wild כתב:

לקהילת הקוד פתוח אין תקציב

בעניין open AI קם כמחקר נטו (ואפשר לקרוא לזה קהילת קוד פתוח, לא?) איך שהוא זה הגיע למה שזה היום.. מאמין שיש כמה מכוני מחקר שלאו למטרות רווח שעושים מחקר בנושא מודלי שפה קטנים..

[YOLEVI]

@Wild נשמח שתשתף...

[YOLEVI]

@א.מ.ד. כתב:

Qwen 3.6 35B A3B

אני כותב בSparkMoE את המודול Qwen 3.6 35B A3B וזה מביא ממש הרבה אפשרויות הורדה, איזה מהם להוריד?

וגם לאחר בחירה באחת האפשרויות יש הרבה אפשרויות הורדה בגדלים שונים.
אשמח אם תוכל לכוון אותי ספציפית

עריכה: הורדתי אץ Qwen3.6-35B-A3B-UD-Q4_K_M.gguf + mmproj-BF16.gguf