סקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?
-
@החכם-התם כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד.
אנחנו מחכים בקוצר רוח.
יש צפי?אני יאמר את האמת, אמנם הצלחתי ליצור את המודל, הוא למד עברית תקנית, מענה לשאלות וידע בסיסי, אבל הנתונים כנראה לא היו מושלמים והיו במבנים בעייתיים כמו של ויקיפדיה, מה שהרס את היכולת ש המודל להגיב בצורה תמציתית ומדוייקת. אני צריך לעבור על מערך הנתונים ולברור ממנו טקסטים איכותיים, לנקות אותם ממבנים, לערבב אותו ולהתחיל מחדש, אבל בשביל הניקוי הזה צריך זמן שאין לי כרגע. אולי אם יהיו מספיק חברה שמוכנים לנקות את מערך הנתונים (לא מאמין) נוכל להתקדם מהר יותר.
-
יצא לי לאחרונה להתעסק הרבה במודלי AI מקומיים קטנים, וגם ביצעתי כוונון עדין לכמה מהם למטרות שונות, מה שהביא אותי לחשוב - עד כמה מסובך באמת לאמן מודל כזה מאפס?
התבשלתי עם זה הרבה זמן, עד שהחלטתי לנסות. מה יש לי להפסיד? לצורך כך השתמשתי בחשבון חינמי לגוגל קולאב שמאפשר שימוש בסביבת עבודה מרוחקת עם GPU T4 לכמה שעות ביום בחינם.
במקום להתחיל לפי הסדר הרגיל, של אימון יסודי על טקסטים מלאים ורק אז אימון על תבנית צ'אט, התחלתי אימון מהתחלה בפורמט צ'אט (שאלות + תשובות). כמובן זה לא יוצר מודל שימושי בכלל, אבל זה היה רק בשביל ניסוי הכלים ובדיקת היתכנות.
הבעיה הקשה הייתה למצוא מערכי נתונים טובים בעברית, אבל בסופו של דבר אחרי אימון של כשעתיים בלבד על מערך נתונים עברי של כ-41K שאלות + תשובות, המודל כבר למד ליצור מילים שלמות בעברית תקנית, ולענות תשובות שנראות כמו תשובות AI קצת משובשות!
ניסוי נוסף של אימון שעתיים על מערך הנתונים של ספרייא ייצר מודל שיודע לדבר מילים בעברית-ספרותית עם הבנת הקשר בין מילה למילה, ואפילו חיבר משפטים הגיוניים מידי פעם!
עכשיו, אחרי שראיתי שיש היתכנות כזאת, החלטתי ללכת על זה שלב אחר שלב. "הדבר האמיתי" אמור לקחת שבועות של אימון, כשבכל יום צריך להפעיל מחדש את סביבת גוגל קולאב שמתנתקת כל כמה שעות בתוכנית החינמית.
את החלק הקל והמהיר כבר סיימתי, שהוא הכנת קוד האימון המלא, כולל הסברים מפורטים על כל שלב, וגם החלטתי על מערכי נתונים שישמשו אותי לצורך האימון, ועכשיו נשאר לבצע את האימון עצמו! תכננתי את מחברת האימון כך שבכל 500 צעדי אימון תישמר נקודת ביקורת בגוגל דרייב, כך שהאימון ביום למחרת או באתחול המחברת מחדש ימשיך מהנקודה שבה הפסקתי אתמול, וגם הוספתי תא קוד ששומר את המודל ב-huggingface. המחברת יכולה גם לבדוק את הפלט הנוכחי שהמודל יודע להפיק, כדי לעקוב אחר ההתקדמות.
המטרה שהעליתי את הסקר הזה, היא לוודא שבכלל יש ביקוש למדריך כזה, שהוא בעצם יותר תיעוד מסע (=וולוג) מכיון שעוד לא עשתי את האימון הגדול על 5 מיליון שורות טקסט, ואני מתכוון לכתוב את המדריך תוך כדי ביצוע האימון כמדריך מתעדכן.
אם יהיה מספיק ביקוש, אני אתאמץ בעז"ה להעלות בכל שלב את ההתקדמות והתוצאות, כמובן בלי התחייבות... אחרי הכל זה תהליך מאוד כבד ומורכב...
אשמח גם לחוות דעת והערות מהמבינים בתחום ה-AI... -
@CSS-0 כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. משהו מתקדם?
כמו שכתבתי הטיוטה של המדריך שכבר כמעט סיימתי נמחקה לי, אבל אני מתכוון לשחזר את המדריך בקרוב. כרגע אני ממשיך לאמן את המודל שלי שאני יוצר מאפס - הפעם גדול פי 2 (0.6B פרמטרים), וכבר עכשיו הוא המודל הטוב ביותר בעברית בקטגוריית הגודל שלו.
-
@CSS-0 כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. משהו מתקדם?
כמו שכתבתי הטיוטה של המדריך שכבר כמעט סיימתי נמחקה לי, אבל אני מתכוון לשחזר את המדריך בקרוב. כרגע אני ממשיך לאמן את המודל שלי שאני יוצר מאפס - הפעם גדול פי 2 (0.6B פרמטרים), וכבר עכשיו הוא המודל הטוב ביותר בעברית בקטגוריית הגודל שלו.
-
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. כן אבל זה נטו בגלל שאין כמעט מודלים בכזה גודל.
יש המון מודלים בכזה גודל, רק שהם לא טובים בעברית.
קודם כל אמנם GPT 2 הוא מודל מיושן אבל לעקוף אותו בסיבוב בעברית באימון חינמי זה חתיכת הישג.
בנוסף כרגע המודל שלי עוקף בעברית את Qwen-3.5 0.8B ו-2B, ואת Gemma-3 1B שהם לכאורה חזית הרב-לשוניות במודלים זעירים, ומתקרב ליכולות העבריות של DictaLM-3.0 1.7B שגדול ממנו פי 3, והוא רק בתחילת האימון ויש לו עוד המון ללמוד. -
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. כן אבל זה נטו בגלל שאין כמעט מודלים בכזה גודל.
יש המון מודלים בכזה גודל, רק שהם לא טובים בעברית.
קודם כל אמנם GPT 2 הוא מודל מיושן אבל לעקוף אותו בסיבוב בעברית באימון חינמי זה חתיכת הישג.
בנוסף כרגע המודל שלי עוקף בעברית את Qwen-3.5 0.8B ו-2B, ואת Gemma-3 1B שהם לכאורה חזית הרב-לשוניות במודלים זעירים, ומתקרב ליכולות העבריות של DictaLM-3.0 1.7B שגדול ממנו פי 3, והוא רק בתחילת האימון ויש לו עוד המון ללמוד.@א.מ.ד. תדייק.
אתה לא עוקף אותו בסיבוב.
אתה עוקף אותו רק בהקשר של הבנת עברית.
וזה לא כזה מסובך בהתחשב בזה שכל האימון שלו על עברית מגיע רק לאחוזים בודדים.
לגבי המודלים האחרים שהעלת, הסיבה היא כי הם לא אומנו ספציפית על שפה אחת אלא על כך השפות.
על מה אתה מאמן את המודל?
איזה תחום. -
@א.מ.ד. תדייק.
אתה לא עוקף אותו בסיבוב.
אתה עוקף אותו רק בהקשר של הבנת עברית.
וזה לא כזה מסובך בהתחשב בזה שכל האימון שלו על עברית מגיע רק לאחוזים בודדים.
לגבי המודלים האחרים שהעלת, הסיבה היא כי הם לא אומנו ספציפית על שפה אחת אלא על כך השפות.
על מה אתה מאמן את המודל?
איזה תחום.@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. תדייק.
אתה לא עוקף אותו בסיבוב.
אתה עוקף אותו רק בהקשר של הבנת עברית.ברור תפוס ת'עיקרון... לא מתיימר להחליף את GPT 5.4 אלא רק להראות שאפשר לאמן מודל בחינם עם יכולות עבריות טובות.
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
על מה אתה מאמן את המודל?
איזה תחום.סיוע כללי. כרגע זה אימון מקדים ללימוד השפה ומבנה תקין של משפטים ולוגיקה בסיסית, ואחר כך אני מעביר אותו אימון לצ'אט.
אולי אני יוסיף לו אחרי האימון המקדים אימונים קצרים על לוגיקה באנגלית (כי אין מספיק טובים בעברית), ועל קידוד פייתון, והמודל אמור להכליל את זה גם לשיפור יכולות בעברית. -
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. תדייק.
אתה לא עוקף אותו בסיבוב.
אתה עוקף אותו רק בהקשר של הבנת עברית.ברור תפוס ת'עיקרון... לא מתיימר להחליף את GPT 5.4 אלא רק להראות שאפשר לאמן מודל בחינם עם יכולות עבריות טובות.
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
על מה אתה מאמן את המודל?
איזה תחום.סיוע כללי. כרגע זה אימון מקדים ללימוד השפה ומבנה תקין של משפטים ולוגיקה בסיסית, ואחר כך אני מעביר אותו אימון לצ'אט.
אולי אני יוסיף לו אחרי האימון המקדים אימונים קצרים על לוגיקה באנגלית (כי אין מספיק טובים בעברית), ועל קידוד פייתון, והמודל אמור להכליל את זה גם לשיפור יכולות בעברית. -
@א.מ.ד. רק שים לב שאם תאמן אותו אחרי זה על הדברים האלה, הוא יהיה פחות טוב בשפה.
כי הוא יהיה פחות ממוקד....@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. רק שים לב שאם תאמן אותו אחרי זה על הדברים האלה, הוא יהיה פחות טוב בשפה.
כי הוא יהיה פחות ממוקד....קודם כל אני יעשה גרסאות נפרדות, וחוץ מזה אני עושה מיקס של עברית אנגלית וקידוד בחלוקה מסויימת ששומרת על יכולות השפה.
-
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. תדייק.
אתה לא עוקף אותו בסיבוב.
אתה עוקף אותו רק בהקשר של הבנת עברית.ברור תפוס ת'עיקרון... לא מתיימר להחליף את GPT 5.4 אלא רק להראות שאפשר לאמן מודל בחינם עם יכולות עבריות טובות.
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
על מה אתה מאמן את המודל?
איזה תחום.סיוע כללי. כרגע זה אימון מקדים ללימוד השפה ומבנה תקין של משפטים ולוגיקה בסיסית, ואחר כך אני מעביר אותו אימון לצ'אט.
אולי אני יוסיף לו אחרי האימון המקדים אימונים קצרים על לוגיקה באנגלית (כי אין מספיק טובים בעברית), ועל קידוד פייתון, והמודל אמור להכליל את זה גם לשיפור יכולות בעברית.@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
שאפשר לאמן מודל בחינם עם יכולות עבריות טובות.
אימנת את 'המודל החרדי הראשון' - על טקסטים תלמודיים ? ארמית? גמרא וכו'?
כי אז באמת הוא יהיה מודל מספר אחד בכל הנוגע לארמית..
-
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. רק שים לב שאם תאמן אותו אחרי זה על הדברים האלה, הוא יהיה פחות טוב בשפה.
כי הוא יהיה פחות ממוקד....קודם כל אני יעשה גרסאות נפרדות, וחוץ מזה אני עושה מיקס של עברית אנגלית וקידוד בחלוקה מסויימת ששומרת על יכולות השפה.
-
@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
שאפשר לאמן מודל בחינם עם יכולות עבריות טובות.
אימנת את 'המודל החרדי הראשון' - על טקסטים תלמודיים ? ארמית? גמרא וכו'?
כי אז באמת הוא יהיה מודל מספר אחד בכל הנוגע לארמית..
@חובבן-מקצועי כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
אימנת את 'המודל החרדי הראשון' - על טקסטים תלמודיים ? ארמית? גמרא וכו'?
Tiny-aia-kosher-3.3B מבוסס על מודל קיים, ולא אימנתי אותו מאפס, אלא רק לימדתי אותו לסרב לבקשות לא ראויות. ללמד אותו שפה חדשה זה תהליך מורכב פיג'מה ודורש משאבי חישוב גדולים פי כמה.
-
@א.מ.ד. זה מעניין.
איך עשית את זה?
Moe?
כי פעם היה לו רעיון ארכטיקטורי עם היררכיה כזו, אבל שלי היה 'קצת' יותר מתקדם מהגישה של Moe.@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. זה מעניין.
איך עשית את זה?
Moe?
כי פעם היה לו רעיון ארכטיקטורי עם היררכיה כזו, אבל שלי היה 'קצת' יותר מתקדם מהגישה של Moe.לא, פשוט תערובת של הנתונים. MoE פחות אפקטיבי בגדלים כאלו כי אז כל מומחה יהיה ממש זעיר וחסר יכולות.
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}