סקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?

איש אמת

@א.מ.ד. לא כל כך, כאילו הבנתי זה יכול לעזור לי בכמה פרויקטים שלי אבל כיוון שלא הבנתי מה הרמה מול פרמטרים-כוח מחשוב אז לא כל כך הבנתי.
לא משנה, העיקר זה שתצליח...

א.מ.ד.

@איש-אמת כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@א.מ.ד. לא כל כך, כאילו הבנתי זה יכול לעזור לי בכמה פרויקטים שלי אבל כיוון שלא הבנתי מה הרמה מול פרמטרים-כוח מחשוב אז לא כל כך הבנתי.

אם המודל הוא 120M פרמטרים אז הוא יכול לרוץ עם ניצול של כחצי ג'יגה RAM ומעבד MTK פשוט של נגני אליאקספרס במהירות סבירה.

@איש-אמת כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

לא משנה, העיקר זה שתצליח...

תודה!

איש אמת

@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

אם המודל הוא 120M פרמטרים אז הוא יכול לרוץ עם ניצול של כחצי ג'יגה RAM ומעבד MTK פשוט של נגני אליאקספרס במהירות סבירה.

עכשיו אתה מדבר לעניין, ומה 120M פרמטרים מצליחים לספק לי? לנתח/ ליצור תמונות זה יצליח?
(אני מניח שהשאלות תם שלי יעזרו לעוד ניקים שלא מבינים בזה)

א.מ.ד.

@איש-אמת כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

אם המודל הוא 120M פרמטרים אז הוא יכול לרוץ עם ניצול של כחצי ג'יגה RAM ומעבד MTK פשוט של נגני אליאקספרס במהירות סבירה.

עכשיו אתה מדבר לעניין, ומה 120M פרמטרים מצליחים לספק לי? לנתח/ ליצור תמונות זה יצליח?
(אני מניח שהשאלות תם שלי יעזרו לעוד ניקים שלא מבינים בזה)

אני מאמן במדריך מודל טקסט-לטקסט, לא יצירת וניתוח תמונות. אם חשוב לך ספציפית הנושא הזה אתה יכול להשתמש במודלים קיימים בטווח הגודל הזה, כמו smolvlm2 לניתוח תמונות. אולי בעתיד אני ייתעסק גם בזה אבל זה מסובך בהרבה.

cfopuser

@א.מ.ד. נשמע מעניין,
מודלים שרואים נראה לי תחום מאוד מעניין להתעמק בו,
בעבר השתמשתי בyolo כדי לזהות דברים אבל אני מניח שאפשר לדחוף את זה הרבה יותר גבוה.

א.מ.ד.

@cfopuser כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

מודלים שרואים נראה לי תחום מאוד מעניין להתעמק בו,

נכון, אבל מורכב בהרבה. רק לחשוב על התעסקות עם תמונות בפורמט base64... זה לא כמו טקסט פשוט שאפשר לבחון בכל שלב את ההתקדמות.

cfopuser

@א.מ.ד. נכון אתה צודק אם כול המטרה היא לאמן מודל מאפס אפשר להתייאש על ההתחלה (כמו המידע שצריך והכוח חישוב לא ריאלים).

ממתינים לראות מה יצא מזה.
בהצלחה

חובבן מקצועי

@א.מ.ד. אגב, כחלק מהמדריך - תעלה דאטה לאימון בשביל שיהיה לנו קצת טקסט לאמן אותו?

א.מ.ד.

@חובבן-מקצועי כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@א.מ.ד. אגב, כחלק מהמדריך - תעלה דאטה לאימון בשביל שיהיה לנו קצת טקסט לאמן אותו?

נשתמש במערכי נתונים פתוחים מ-hugging face של מליוני טקסטים.

mefateach

@א.מ.ד. אותי אישית זה מאוד מעניין אבל אני חושב שיש כבר מדריכים ברמה גבוהה מאוד ואפילו בעברית https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew (כמובן שייתכן של"עם השפשוט" יעזור מאוד מדריך שיסביר בפשטות)
מה שיותר עניין אותי זה מה שכתבת על החינמי ועל ה gpu לכאורה ממה שאני הבנתי בשביל לאמן מודלי שפה צריך gpu של nvidia h100 או לפחות כמה של 3090/4090 אפילו למודלים פשוטים איך אתה עשית את זה בפחות ואיך מקבלים בחינם את מה שכתבת

בנוסף: מאוד מעניין אותי לדעת איך משיגים מערכי נתונים ענקיים בעברית (חשוב האיכות יותר מהכמות)

דאבל

הנה עוד הדרכה פשוטה למודל קטנטן לזיהוי תמונות: https://internet-israel.com/מדריכים/raspberrypi/יצירת-מודל-tensorflow-משלנו-לסיווג-תמונות/

יום חדש מתחיל

@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

נשתמש במערכי נתונים פתוחים מ-hugging face של מליוני טקסטים.

אין לי שום הבנה בתחום, אבל האם ניתן לייצר מערך נתונים לאימון משאלות תורניות שיש במאגר אנקי לדוגמא?
כי אם כן, יהי' אפשר לאמן מודל על שאלות תורניות, יש בתוכנת אנקי 150,000 !!!!!! שאלות תורניות בכל חלקי התורה עם תשובות.

זה מאוד יעזור למה ש@לא-מתייאש רוצה להכניס לתוך התוכנה שלו

CSS 0

@א.מ.ד. יהיה מדריך או לא יהיה?

א.מ.ד.

@mefateach כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@א.מ.ד. אותי אישית זה מאוד מעניין אבל אני חושב שיש כבר מדריכים ברמה גבוהה מאוד ואפילו בעברית https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew (כמובן שייתכן של"עם השפשוט" יעזור מאוד מדריך שיסביר בפשטות)

מעניין מאוד לא הכרתי אני יישמח לקרוא את זה
אבל מרפרוף מהיר מדובר בחתיכת ספר מקצועי לאנשים שכבר עוסקים בתחומי ML והמסתעף, לא מדריך אינסטנט עם הוראות להעתק הדבק של קוד.

@mefateach כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

מה שיותר עניין אותי זה מה שכתבת על החינמי ועל ה gpu לכאורה ממה שאני הבנתי בשביל לאמן מודלי שפה צריך gpu של nvidia h100 או לפחות כמה של 3090/4090 אפילו למודלים פשוטים איך אתה עשית את זה בפחות ואיך מקבלים בחינם את מה שכתבת

בשביל לאמן מודלים של כמה מליארדי פרמטרים אכן צריך שבבים כאלה, אבל אני לא בא להתחרות בחברות ה-AI הענקיות אלא בסך הכל להמחיש את תהליך יצירת המודל מאפס עד השלב שהוא מגיב לשאלות באופן הגיוני, מסכם טקסטים וכו'. בשביל זה אני יוצר במדריך מודל זעיר של כ-280 מיליון פרמטרים (החלטתי תוך כדי תנועה להעלות מ-120 מיליון כדי להתאים לעברית טוב יותר - אני יסביר במדריך בעז"ה), שאמור להגיב מעולה לאימון בסדר גודל שאני מתכנן (אגב נתקלתי במודל זעיר של רק 103 מיליון פרמטרים שהיה ממש מצויין באנגלית), והוא אמור לתפקד מעולה למטרה אליה מודלים כאלה נועדו וממש לא לכתוב קודים שלמים וכדומה. בשביל זה מספיק לחלוטין מחשב ברמה החינמית של גוגל קולאב.

@mefateach כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

בנוסף: מאוד מעניין אותי לדעת איך משיגים מערכי נתונים ענקיים בעברית (חשוב האיכות יותר מהכמות)

בהחלט חשוב האיכות, ואכן זה הדבר הכי חסר במערכי נתונים עבריים, אבל מצאתי מערך נתונים עצום של טקסט מקורי איכותי כמו ויקיפדיה ותוכן פתוח אחר, ועוד כמה מערכי נתונים אחרים של תבנית צ'אט (שו"ת), ובהם נשתמש.

א.מ.ד.

@דאבל כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

הנה עוד הדרכה פשוטה למודל קטנטן לזיהוי תמונות: https://internet-israel.com/מדריכים/raspberrypi/יצירת-מודל-tensorflow-משלנו-לסיווג-תמונות/

זה לא מודל שפה ולא מודל זיהוי תמונות ובכלל לא נקרא AI אלא מודל למידת מכונה של סיווג תמונות, אבל עשיתי עם זה בעבר דברים מעניינים מאוד (הוא מביא שם באתר כמה דוגמאות שימוש)...

ואני באמצע עבודה לשלב את זה באפליקציית סייען ה-AI שלי סמארטי כמנוע זיהוי לקריאה "היי סמארטי" להפעלה...

א.מ.ד.

@יום-חדש-מתחיל כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

נשתמש במערכי נתונים פתוחים מ-hugging face של מליוני טקסטים.

אין לי שום הבנה בתחום, אבל האם ניתן לייצר מערך נתונים לאימון משאלות תורניות שיש במאגר אנקי לדוגמא?
כי אם כן, יהי' אפשר לאמן מודל על שאלות תורניות, יש בתוכנת אנקי 150,000 !!!!!! שאלות תורניות בכל חלקי התורה עם תשובות.

זה מאוד יעזור למה ש@לא-מתייאש רוצה להכניס לתוך התוכנה שלו

בהחלט, אבל צריך להמיר את מבנה הנתונים למבנה המתאים.
איך אני משיג את הטקסטים?
וזה 100% טקסט פתוח?

@CSS-0 כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

@א.מ.ד. יהיה מדריך או לא יהיה?

באמצע הכתיבה, מחכה שייתחדש לי השימוש החינמי בקולאב...

יום חדש מתחיל

@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:

בהחלט, אבל צריך להמיר את מבנה הנתונים למבנה המתאים.
איך אני משיג את הטקסטים?
וזה 100% טקסט פתוח?

צריך כאן את @הפצת-אנקי שיענה על זה תשובה