סקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?
-
@א.מ.ד. לא כל כך, כאילו הבנתי זה יכול לעזור לי בכמה פרויקטים שלי אבל כיוון שלא הבנתי מה הרמה מול פרמטרים-כוח מחשוב אז לא כל כך הבנתי.
לא משנה, העיקר זה שתצליח...@איש-אמת כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. לא כל כך, כאילו הבנתי זה יכול לעזור לי בכמה פרויקטים שלי אבל כיוון שלא הבנתי מה הרמה מול פרמטרים-כוח מחשוב אז לא כל כך הבנתי.
אם המודל הוא 120M פרמטרים אז הוא יכול לרוץ עם ניצול של כחצי ג'יגה RAM ומעבד MTK פשוט של נגני אליאקספרס במהירות סבירה.
@איש-אמת כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
לא משנה, העיקר זה שתצליח...
תודה!
מפתח אפליקציות אנדרואיד
em0548438097@gmail.com -
@איש-אמת כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. לא כל כך, כאילו הבנתי זה יכול לעזור לי בכמה פרויקטים שלי אבל כיוון שלא הבנתי מה הרמה מול פרמטרים-כוח מחשוב אז לא כל כך הבנתי.
אם המודל הוא 120M פרמטרים אז הוא יכול לרוץ עם ניצול של כחצי ג'יגה RAM ומעבד MTK פשוט של נגני אליאקספרס במהירות סבירה.
@איש-אמת כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
לא משנה, העיקר זה שתצליח...
תודה!
@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
אם המודל הוא 120M פרמטרים אז הוא יכול לרוץ עם ניצול של כחצי ג'יגה RAM ומעבד MTK פשוט של נגני אליאקספרס במהירות סבירה.
עכשיו אתה מדבר לעניין, ומה 120M פרמטרים מצליחים לספק לי? לנתח/ ליצור תמונות זה יצליח?
(אני מניח שהשאלות תם שלי יעזרו לעוד ניקים שלא מבינים בזה)אני יודע שאני חושב שאני יודע.
-
@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
אם המודל הוא 120M פרמטרים אז הוא יכול לרוץ עם ניצול של כחצי ג'יגה RAM ומעבד MTK פשוט של נגני אליאקספרס במהירות סבירה.
עכשיו אתה מדבר לעניין, ומה 120M פרמטרים מצליחים לספק לי? לנתח/ ליצור תמונות זה יצליח?
(אני מניח שהשאלות תם שלי יעזרו לעוד ניקים שלא מבינים בזה)@איש-אמת כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
אם המודל הוא 120M פרמטרים אז הוא יכול לרוץ עם ניצול של כחצי ג'יגה RAM ומעבד MTK פשוט של נגני אליאקספרס במהירות סבירה.
עכשיו אתה מדבר לעניין, ומה 120M פרמטרים מצליחים לספק לי? לנתח/ ליצור תמונות זה יצליח?
(אני מניח שהשאלות תם שלי יעזרו לעוד ניקים שלא מבינים בזה)אני מאמן במדריך מודל טקסט-לטקסט, לא יצירת וניתוח תמונות. אם חשוב לך ספציפית הנושא הזה אתה יכול להשתמש במודלים קיימים בטווח הגודל הזה, כמו smolvlm2 לניתוח תמונות. אולי בעתיד אני ייתעסק גם בזה אבל זה מסובך בהרבה.
מפתח אפליקציות אנדרואיד
em0548438097@gmail.com -
@איש-אמת כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
אם המודל הוא 120M פרמטרים אז הוא יכול לרוץ עם ניצול של כחצי ג'יגה RAM ומעבד MTK פשוט של נגני אליאקספרס במהירות סבירה.
עכשיו אתה מדבר לעניין, ומה 120M פרמטרים מצליחים לספק לי? לנתח/ ליצור תמונות זה יצליח?
(אני מניח שהשאלות תם שלי יעזרו לעוד ניקים שלא מבינים בזה)אני מאמן במדריך מודל טקסט-לטקסט, לא יצירת וניתוח תמונות. אם חשוב לך ספציפית הנושא הזה אתה יכול להשתמש במודלים קיימים בטווח הגודל הזה, כמו smolvlm2 לניתוח תמונות. אולי בעתיד אני ייתעסק גם בזה אבל זה מסובך בהרבה.
-
@א.מ.ד. נשמע מעניין,
מודלים שרואים נראה לי תחום מאוד מעניין להתעמק בו,
בעבר השתמשתי בyolo כדי לזהות דברים אבל אני מניח שאפשר לדחוף את זה הרבה יותר גבוה.@cfopuser כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
מודלים שרואים נראה לי תחום מאוד מעניין להתעמק בו,
נכון, אבל מורכב בהרבה. רק לחשוב על התעסקות עם תמונות בפורמט base64... זה לא כמו טקסט פשוט שאפשר לבחון בכל שלב את ההתקדמות.
מפתח אפליקציות אנדרואיד
em0548438097@gmail.com -
@cfopuser כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
מודלים שרואים נראה לי תחום מאוד מעניין להתעמק בו,
נכון, אבל מורכב בהרבה. רק לחשוב על התעסקות עם תמונות בפורמט base64... זה לא כמו טקסט פשוט שאפשר לבחון בכל שלב את ההתקדמות.
-
יצא לי לאחרונה להתעסק הרבה במודלי AI מקומיים קטנים, וגם ביצעתי כוונון עדין לכמה מהם למטרות שונות, מה שהביא אותי לחשוב - עד כמה מסובך באמת לאמן מודל כזה מאפס?
התבשלתי עם זה הרבה זמן, עד שהחלטתי לנסות. מה יש לי להפסיד? לצורך כך השתמשתי בחשבון חינמי לגוגל קולאב שמאפשר שימוש בסביבת עבודה מרוחקת עם GPU T4 לכמה שעות ביום בחינם.
במקום להתחיל לפי הסדר הרגיל, של אימון יסודי על טקסטים מלאים ורק אז אימון על תבנית צ'אט, התחלתי אימון מהתחלה בפורמט צ'אט (שאלות + תשובות). כמובן זה לא יוצר מודל שימושי בכלל, אבל זה היה רק בשביל ניסוי הכלים ובדיקת היתכנות.
הבעיה הקשה הייתה למצוא מערכי נתונים טובים בעברית, אבל בסופו של דבר אחרי אימון של כשעתיים בלבד על מערך נתונים עברי של כ-41K שאלות + תשובות, המודל כבר למד ליצור מילים שלמות בעברית תקנית, ולענות תשובות שנראות כמו תשובות AI קצת משובשות!
ניסוי נוסף של אימון שעתיים על מערך הנתונים של ספרייא ייצר מודל שיודע לדבר מילים בעברית-ספרותית עם הבנת הקשר בין מילה למילה, ואפילו חיבר משפטים הגיוניים מידי פעם!
עכשיו, אחרי שראיתי שיש היתכנות כזאת, החלטתי ללכת על זה שלב אחר שלב. "הדבר האמיתי" אמור לקחת שבועות של אימון, כשבכל יום צריך להפעיל מחדש את סביבת גוגל קולאב שמתנתקת כל כמה שעות בתוכנית החינמית.
את החלק הקל והמהיר כבר סיימתי, שהוא הכנת קוד האימון המלא, כולל הסברים מפורטים על כל שלב, וגם החלטתי על מערכי נתונים שישמשו אותי לצורך האימון, ועכשיו נשאר לבצע את האימון עצמו! תכננתי את מחברת האימון כך שבכל 500 צעדי אימון תישמר נקודת ביקורת בגוגל דרייב, כך שהאימון ביום למחרת או באתחול המחברת מחדש ימשיך מהנקודה שבה הפסקתי אתמול, וגם הוספתי תא קוד ששומר את המודל ב-huggingface. המחברת יכולה גם לבדוק את הפלט הנוכחי שהמודל יודע להפיק, כדי לעקוב אחר ההתקדמות.
המטרה שהעליתי את הסקר הזה, היא לוודא שבכלל יש ביקוש למדריך כזה, שהוא בעצם יותר תיעוד מסע (=וולוג) מכיון שעוד לא עשתי את האימון הגדול על 5 מיליון שורות טקסט, ואני מתכוון לכתוב את המדריך תוך כדי ביצוע האימון כמדריך מתעדכן.
אם יהיה מספיק ביקוש, אני אתאמץ בעז"ה להעלות בכל שלב את ההתקדמות והתוצאות, כמובן בלי התחייבות... אחרי הכל זה תהליך מאוד כבד ומורכב...
אשמח גם לחוות דעת והערות מהמבינים בתחום ה-AI... -
@א.מ.ד. אגב, כחלק מהמדריך - תעלה דאטה לאימון בשביל שיהיה לנו קצת טקסט לאמן אותו?
@חובבן-מקצועי כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. אגב, כחלק מהמדריך - תעלה דאטה לאימון בשביל שיהיה לנו קצת טקסט לאמן אותו?
נשתמש במערכי נתונים פתוחים מ-hugging face של מליוני טקסטים.
-
יצא לי לאחרונה להתעסק הרבה במודלי AI מקומיים קטנים, וגם ביצעתי כוונון עדין לכמה מהם למטרות שונות, מה שהביא אותי לחשוב - עד כמה מסובך באמת לאמן מודל כזה מאפס?
התבשלתי עם זה הרבה זמן, עד שהחלטתי לנסות. מה יש לי להפסיד? לצורך כך השתמשתי בחשבון חינמי לגוגל קולאב שמאפשר שימוש בסביבת עבודה מרוחקת עם GPU T4 לכמה שעות ביום בחינם.
במקום להתחיל לפי הסדר הרגיל, של אימון יסודי על טקסטים מלאים ורק אז אימון על תבנית צ'אט, התחלתי אימון מהתחלה בפורמט צ'אט (שאלות + תשובות). כמובן זה לא יוצר מודל שימושי בכלל, אבל זה היה רק בשביל ניסוי הכלים ובדיקת היתכנות.
הבעיה הקשה הייתה למצוא מערכי נתונים טובים בעברית, אבל בסופו של דבר אחרי אימון של כשעתיים בלבד על מערך נתונים עברי של כ-41K שאלות + תשובות, המודל כבר למד ליצור מילים שלמות בעברית תקנית, ולענות תשובות שנראות כמו תשובות AI קצת משובשות!
ניסוי נוסף של אימון שעתיים על מערך הנתונים של ספרייא ייצר מודל שיודע לדבר מילים בעברית-ספרותית עם הבנת הקשר בין מילה למילה, ואפילו חיבר משפטים הגיוניים מידי פעם!
עכשיו, אחרי שראיתי שיש היתכנות כזאת, החלטתי ללכת על זה שלב אחר שלב. "הדבר האמיתי" אמור לקחת שבועות של אימון, כשבכל יום צריך להפעיל מחדש את סביבת גוגל קולאב שמתנתקת כל כמה שעות בתוכנית החינמית.
את החלק הקל והמהיר כבר סיימתי, שהוא הכנת קוד האימון המלא, כולל הסברים מפורטים על כל שלב, וגם החלטתי על מערכי נתונים שישמשו אותי לצורך האימון, ועכשיו נשאר לבצע את האימון עצמו! תכננתי את מחברת האימון כך שבכל 500 צעדי אימון תישמר נקודת ביקורת בגוגל דרייב, כך שהאימון ביום למחרת או באתחול המחברת מחדש ימשיך מהנקודה שבה הפסקתי אתמול, וגם הוספתי תא קוד ששומר את המודל ב-huggingface. המחברת יכולה גם לבדוק את הפלט הנוכחי שהמודל יודע להפיק, כדי לעקוב אחר ההתקדמות.
המטרה שהעליתי את הסקר הזה, היא לוודא שבכלל יש ביקוש למדריך כזה, שהוא בעצם יותר תיעוד מסע (=וולוג) מכיון שעוד לא עשתי את האימון הגדול על 5 מיליון שורות טקסט, ואני מתכוון לכתוב את המדריך תוך כדי ביצוע האימון כמדריך מתעדכן.
אם יהיה מספיק ביקוש, אני אתאמץ בעז"ה להעלות בכל שלב את ההתקדמות והתוצאות, כמובן בלי התחייבות... אחרי הכל זה תהליך מאוד כבד ומורכב...
אשמח גם לחוות דעת והערות מהמבינים בתחום ה-AI...@א.מ.ד. אותי אישית זה מאוד מעניין אבל אני חושב שיש כבר מדריכים ברמה גבוהה מאוד ואפילו בעברית https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew (כמובן שייתכן של"עם השפשוט" יעזור מאוד מדריך שיסביר בפשטות)
מה שיותר עניין אותי זה מה שכתבת על החינמי ועל ה gpu לכאורה ממה שאני הבנתי בשביל לאמן מודלי שפה צריך gpu של nvidia h100 או לפחות כמה של 3090/4090 אפילו למודלים פשוטים איך אתה עשית את זה בפחות ואיך מקבלים בחינם את מה שכתבתבנוסף: מאוד מעניין אותי לדעת איך משיגים מערכי נתונים ענקיים בעברית (חשוב האיכות יותר מהכמות)
-
@א.מ.ד. אותי אישית זה מאוד מעניין אבל אני חושב שיש כבר מדריכים ברמה גבוהה מאוד ואפילו בעברית https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew (כמובן שייתכן של"עם השפשוט" יעזור מאוד מדריך שיסביר בפשטות)
מה שיותר עניין אותי זה מה שכתבת על החינמי ועל ה gpu לכאורה ממה שאני הבנתי בשביל לאמן מודלי שפה צריך gpu של nvidia h100 או לפחות כמה של 3090/4090 אפילו למודלים פשוטים איך אתה עשית את זה בפחות ואיך מקבלים בחינם את מה שכתבתבנוסף: מאוד מעניין אותי לדעת איך משיגים מערכי נתונים ענקיים בעברית (חשוב האיכות יותר מהכמות)
הנה עוד הדרכה פשוטה למודל קטנטן לזיהוי תמונות: https://internet-israel.com/מדריכים/raspberrypi/יצירת-מודל-tensorflow-משלנו-לסיווג-תמונות/
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}