סקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?

[ע"ה דכו"ע]

@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@ע-ה-דכו-ע כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@אליהו-בשטח כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

חשבתי על מודל שפה שידע לקרוא כתבים תורנים / ארמית ולענות תשבות מבוססות על מאגר תורני כמו אוצריא ותורת אמת
אם אתה מצליח ליצור משהו כזה אתה חזק

כלומר מודל ocr? זה הרבה יותר מורכב - ליצור
מקודד ראיה וכו'
אולי בהמשך אני ינסה את זה

אני ניסיתי בעבר אבל מסובך למצוא מודל ראשוני מתאים, כי רוב המודלים בקוד פתוח מיועדים לגודל קבוע מאוד וקטן של תמונה, ואילו שמיועדים לתמונות גדולות זה כנראה כמעט בלתי אפשרי לאמן אותם בצורה נורמאלית במגבלות החינמיות.

כי התבססת על מודלים קיימים
אם אתה יוצר מאפס יש לך שליטה על הכל
אבל עוד לא ניסיתי את זה אז אולי אני טועה

אם אתה יוצר מאפס אז עוד יותר אין סיכוי לכאו' לעשות את זה במגבלות החינמיות.

אפילו אימון של מודל קיים על תמונות בגודל של 6 מילים בערך כל אחת, דורש כ6 שעות אימון על כל סיבוב של 30000 תמונות, לבנות מודל חדש זה אמור לקחת הרבה יותר משאבים.

[א.מ.ד.]

@ע-ה-דכו-ע כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@ע-ה-דכו-ע כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@אליהו-בשטח כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

חשבתי על מודל שפה שידע לקרוא כתבים תורנים / ארמית ולענות תשבות מבוססות על מאגר תורני כמו אוצריא ותורת אמת
אם אתה מצליח ליצור משהו כזה אתה חזק

כלומר מודל ocr? זה הרבה יותר מורכב - ליצור
מקודד ראיה וכו'
אולי בהמשך אני ינסה את זה

אני ניסיתי בעבר אבל מסובך למצוא מודל ראשוני מתאים, כי רוב המודלים בקוד פתוח מיועדים לגודל קבוע מאוד וקטן של תמונה, ואילו שמיועדים לתמונות גדולות זה כנראה כמעט בלתי אפשרי לאמן אותם בצורה נורמאלית במגבלות החינמיות.

כי התבססת על מודלים קיימים
אם אתה יוצר מאפס יש לך שליטה על הכל
אבל עוד לא ניסיתי את זה אז אולי אני טועה

אם אתה יוצר מאפס אז עוד יותר אין סיכוי לכאו' לעשות את זה במגבלות החינמיות.

אפילו אימון של מודל קיים על תמונות בגודל של 6 מילים בערך כל אחת, דורש כ6 שעות אימון על כל סיבוב של 30000 תמונות, לבנות מודל חדש זה אמור לקחת הרבה יותר משאבים.

לא בהכרח! כשאתה מאמן מודל קיים אתה צריך גם "לתקן" את האימונים הקודמים שלו ו"להסביר" למודל שהם פחות מתאימים למטרה הנוכחית, כשאתה יוצר מאפס מודל שנועד למשימה אחת הוא יכול להיות קטן מאוד, והאימון שלו יהיה קל מאוד. השאלה היא אם יש מספיק נתונים, כי אם לא אז אין מנוס משימוש במודל קיים.

[חובבן מקצועי]

@א.מ.ד. יפה מאוד!! בהצלחה רבה!
כמובן, אשמח מאוד אם תכתוב מדריך איך מאמנים מודל? עם איזה תוכנה? איך מגדירים מהי שאלה ומהי תשובה? איך להגדיר לו מתי לסיים משפט וכו'.. ואיך מקמפלים את זה אחרי זה לLM Studio.

Spoiler

אגב, איזה מעבד צריך בשביל לאמן? מחשב עם i7 דור 13H, עם 6 VRAM ו32 RAM - אפשר אולי להריץ את זה מקומית?

[א.מ.ד.]

@חובבן-מקצועי כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

כמובן, אשמח מאוד אם תכתוב מדריך איך מאמנים מודל? עם איזה תוכנה? איך מגדירים מהי שאלה ומהי תשובה? איך להגדיר לו מתי לסיים משפט וכו'.. ואיך מקמפלים את זה אחרי זה לLM Studio.

בעברת השם אסביר על כל שלב

@חובבן-מקצועי כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

אגב, איזה מעבד צריך בשביל לאמן? מחשב עם i7 דור 13H, עם 6 VRAM ו32 RAM - אפשר אולי להריץ את זה מקומית?

בהחלט, אבל עם מספר שינויים בקוד וחיבור מסובך יותר של הדרייב (אלא אם כן אתה רוצה לשמור מקומית)

[CSS 0]

@א.מ.ד. ואו באמת מלא פעמים שניסיתי ליצור AI בעצמי יש לי מאגרים ענקיים של טקסט אבל אף פעם לא הצלחתי ליצור משהו שבאמת עבד
עם תעלה מדריך זה יהיה מטורף!
(תעלה גם למשתמשי נטפרי כי גוגל קלאב לא עובד לנטפרי לכן אני אישית נאלצתי להריץ מקומית אבל פה ראיתי באחת ההודעות שמישהו אמר:

חסום בנטפרי, אבל אפשר ב kaggle , רק צריך SMS לאימות ביצירת החשבון.

[נוחעם FM]

@א.מ.ד.

Spoiler

הערה קטנה לא קשורה לעצם הנושא המופלא הזה, אם אכן זו כוונתך בסקר

המטרה שהעליתי את הסקר הזה, היא לוודא שבכלל יש ביקוש למדריך כזה

אז אל תעשה 4 אופציות של כן אני רוצה כזה מדריך ואופציה אחת שלא..
כי אז זה מוטעה ומטעה את את הציבור וגם את אותך...
זה כמו סקר שהשמאל עשו (בערך תפוס את הרעיון)
מה סדר גודל של הרעב בעזה?
1 קטסטרופלי.
2 בלתי ניתן לתיאור.
3 אין שם אוכל בכלל.
4 יש ממש קצת אנשים שיש להם אוכל.

אתה מבין לבד שזה יוביל לתוצאות לא אמיתיות...

[איש אמת]

@א.מ.ד. שאלת תם, איפה הפואנטה? למה לי לעבוד כ״כ קשה?

[א.מ.ד.]

@נוחעם-FM כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@א.מ.ד.

Spoiler

הערה קטנה לא קשורה לעצם הנושא המופלא הזה, אם אכן זו כוונתך בסקר

המטרה שהעליתי את הסקר הזה, היא לוודא שבכלל יש ביקוש למדריך כזה

אז אל תעשה 4 אופציות של כן אני רוצה כזה מדריך ואופציה אחת שלא..
כי אז זה מוטעה ומטעה את את הציבור וגם את אותך...
זה סקר שהשמאל עשו (בערך תפוס את הרעיון)
מה סדר גודל של הרעב בעזה?
1 קטסטרופלי.
2 בלתי ניתן לתיאור.
3 אין שם אוכל בכלל.
4 יש ממש קצת אנשים שיש להם אוכל.

אתה מבין לבד שזה יוביל לתוצאות לא אמיתיות...

Spoiler

זה שיירצו מדריך כזה זה היה לי די ברור, אבל רציתי לדעת מה מידת הנכונות להשתמש במדריך. הרוב היו מצביעים "כן" כי למה לא, למרות שחלקם לא יעיפו מבט על המדריך, ולא רציתי לטרוח סתם בשבילם, וזה שראיתי שמעל 50 אחוז מעוניינים מאוד במדריך מעודד אותי לכתוב אותו. זה לא שמצביעים באקראיות שאז רוב הסיכויים שייבחרו באחת מ-4 האפשרויות הראשונות.
אגב בכל סקר יש "סולם ליקרט": 1 (בכלל לא מעוניין) עד 5 (מעוניין מאוד), שבעצם 4 אפשרויות מתוכו הן "מעוניין", ואלה בדיוק האפשרויות שנתתי בתרגום חופשי, וכמו שאתה יכול לראות יש התפלגות בהצבעות לכל האפשרויות.

[א.מ.ד.]

@איש-אמת כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@א.מ.ד. שאלת תם, איפה הפואנטה? למה לי לעבוד כ״כ קשה?

1. ליצירת מודלים זעירים למטרות מסויימות, שעשויים להיות יעילים יותר ממודלים גדולים במשימות הספציפיות עליהן אומנו ויכולים להשתלב בקלות בתוכנות ואפליקציות בלי להכביד על המעבד.
2. כי זה כיף!
3. למה זה קשה?

[איש אמת]

@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

כי זה כיף!
למה זה קשה?

טוב, כוונתי לא היתה למה אתה עושה את זה התכוונתי למה שווה לאדם מן השוק לעשות את זה...

ליצירת מודלים זעירים למטרות מסויימות, שעשויים להיות יעילים יותר ממודלים גדולים במשימות הספציפיות עליהן אומנו ויכולים להשתלב בקלות בתוכנות ואפליקציות בלי להכביד על המעבד.

לאיזה רמה זה מגיע?
ואיזה טווח מעבדים ו ram אני יצטרך?
יש מצב שדבר כזה יעזור לי...

[א.מ.ד.]

@איש-אמת כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

טוב, כוונתי לא היתה למה אתה עושה את זה התכוונתי למה שווה לאדם מן השוק לעשות את זה...

כי החברה פה בפורום אוהבים לדעת איך דברים עובדים מתחת למכסה המנוע ואיך יוצרים אותם...
וגם בגדול זה יהיה בשבילם העתק הדבק מהמדריך אז למה לא...

@איש-אמת כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

לאיזה רמה זה מגיע?

תלוי בך ובמערכי הנתונים... כמובן שזה לא gemini 3.0 אבל יכול לעבוד מצויין במשימות מקומיות ספציפיות שתבחר לאמן עליהן.

@איש-אמת כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

ואיזה טווח מעבדים ו ram אני יצטרך?

המדריך יהיה על מודל של כ-120M פרמטרים אבל תוכל להגדיר אותו לאיזה גודל שתרצה, החל ממודלים להפעלה על מיקרוגל ועד למודלים של כמה מליארדי פרמטרים (שיצריכו כמובן כוח עיבוד חזק בהרבה...

@איש-אמת כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

יש מצב שדבר כזה יעזור לי...

הבנת את הפואנטה?

[איש אמת]

@א.מ.ד. לא כל כך, כאילו הבנתי זה יכול לעזור לי בכמה פרויקטים שלי אבל כיוון שלא הבנתי מה הרמה מול פרמטרים-כוח מחשוב אז לא כל כך הבנתי.
לא משנה, העיקר זה שתצליח...

[א.מ.ד.]

@איש-אמת כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@א.מ.ד. לא כל כך, כאילו הבנתי זה יכול לעזור לי בכמה פרויקטים שלי אבל כיוון שלא הבנתי מה הרמה מול פרמטרים-כוח מחשוב אז לא כל כך הבנתי.

אם המודל הוא 120M פרמטרים אז הוא יכול לרוץ עם ניצול של כחצי ג'יגה RAM ומעבד MTK פשוט של נגני אליאקספרס במהירות סבירה.

@איש-אמת כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

לא משנה, העיקר זה שתצליח...

תודה!

[איש אמת]

@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

אם המודל הוא 120M פרמטרים אז הוא יכול לרוץ עם ניצול של כחצי ג'יגה RAM ומעבד MTK פשוט של נגני אליאקספרס במהירות סבירה.

עכשיו אתה מדבר לעניין, ומה 120M פרמטרים מצליחים לספק לי? לנתח/ ליצור תמונות זה יצליח?
(אני מניח שהשאלות תם שלי יעזרו לעוד ניקים שלא מבינים בזה)

[א.מ.ד.]

@איש-אמת כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

אם המודל הוא 120M פרמטרים אז הוא יכול לרוץ עם ניצול של כחצי ג'יגה RAM ומעבד MTK פשוט של נגני אליאקספרס במהירות סבירה.

עכשיו אתה מדבר לעניין, ומה 120M פרמטרים מצליחים לספק לי? לנתח/ ליצור תמונות זה יצליח?
(אני מניח שהשאלות תם שלי יעזרו לעוד ניקים שלא מבינים בזה)

אני מאמן במדריך מודל טקסט-לטקסט, לא יצירת וניתוח תמונות. אם חשוב לך ספציפית הנושא הזה אתה יכול להשתמש במודלים קיימים בטווח הגודל הזה, כמו smolvlm2 לניתוח תמונות. אולי בעתיד אני ייתעסק גם בזה אבל זה מסובך בהרבה.

[cfopuser]

@א.מ.ד. נשמע מעניין,
מודלים שרואים נראה לי תחום מאוד מעניין להתעמק בו,
בעבר השתמשתי בyolo כדי לזהות דברים אבל אני מניח שאפשר לדחוף את זה הרבה יותר גבוה.

[א.מ.ד.]

@cfopuser כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

מודלים שרואים נראה לי תחום מאוד מעניין להתעמק בו,

נכון, אבל מורכב בהרבה. רק לחשוב על התעסקות עם תמונות בפורמט base64... זה לא כמו טקסט פשוט שאפשר לבחון בכל שלב את ההתקדמות.

[cfopuser]

@א.מ.ד. נכון אתה צודק אם כול המטרה היא לאמן מודל מאפס אפשר להתייאש על ההתחלה (כמו המידע שצריך והכוח חישוב לא ריאלים).

ממתינים לראות מה יצא מזה.
בהצלחה

[חובבן מקצועי]

@א.מ.ד. אגב, כחלק מהמדריך - תעלה דאטה לאימון בשביל שיהיה לנו קצת טקסט לאמן אותו?

[א.מ.ד.]

@חובבן-מקצועי כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@א.מ.ד. אגב, כחלק מהמדריך - תעלה דאטה לאימון בשביל שיהיה לנו קצת טקסט לאמן אותו?

נשתמש במערכי נתונים פתוחים מ-hugging face של מליוני טקסטים.