סקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?
-
@CSS-0 כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. משהו מתקדם?
כמו שכתבתי הטיוטה של המדריך שכבר כמעט סיימתי נמחקה לי, אבל אני מתכוון לשחזר את המדריך בקרוב. כרגע אני ממשיך לאמן את המודל שלי שאני יוצר מאפס - הפעם גדול פי 2 (0.6B פרמטרים), וכבר עכשיו הוא המודל הטוב ביותר בעברית בקטגוריית הגודל שלו.
-
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. כן אבל זה נטו בגלל שאין כמעט מודלים בכזה גודל.
יש המון מודלים בכזה גודל, רק שהם לא טובים בעברית.
קודם כל אמנם GPT 2 הוא מודל מיושן אבל לעקוף אותו בסיבוב בעברית באימון חינמי זה חתיכת הישג.
בנוסף כרגע המודל שלי עוקף בעברית את Qwen-3.5 0.8B ו-2B, ואת Gemma-3 1B שהם לכאורה חזית הרב-לשוניות במודלים זעירים, ומתקרב ליכולות העבריות של DictaLM-3.0 1.7B שגדול ממנו פי 3, והוא רק בתחילת האימון ויש לו עוד המון ללמוד. -
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. כן אבל זה נטו בגלל שאין כמעט מודלים בכזה גודל.
יש המון מודלים בכזה גודל, רק שהם לא טובים בעברית.
קודם כל אמנם GPT 2 הוא מודל מיושן אבל לעקוף אותו בסיבוב בעברית באימון חינמי זה חתיכת הישג.
בנוסף כרגע המודל שלי עוקף בעברית את Qwen-3.5 0.8B ו-2B, ואת Gemma-3 1B שהם לכאורה חזית הרב-לשוניות במודלים זעירים, ומתקרב ליכולות העבריות של DictaLM-3.0 1.7B שגדול ממנו פי 3, והוא רק בתחילת האימון ויש לו עוד המון ללמוד.@א.מ.ד. תדייק.
אתה לא עוקף אותו בסיבוב.
אתה עוקף אותו רק בהקשר של הבנת עברית.
וזה לא כזה מסובך בהתחשב בזה שכל האימון שלו על עברית מגיע רק לאחוזים בודדים.
לגבי המודלים האחרים שהעלת, הסיבה היא כי הם לא אומנו ספציפית על שפה אחת אלא על כך השפות.
על מה אתה מאמן את המודל?
איזה תחום. -
@א.מ.ד. תדייק.
אתה לא עוקף אותו בסיבוב.
אתה עוקף אותו רק בהקשר של הבנת עברית.
וזה לא כזה מסובך בהתחשב בזה שכל האימון שלו על עברית מגיע רק לאחוזים בודדים.
לגבי המודלים האחרים שהעלת, הסיבה היא כי הם לא אומנו ספציפית על שפה אחת אלא על כך השפות.
על מה אתה מאמן את המודל?
איזה תחום.@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. תדייק.
אתה לא עוקף אותו בסיבוב.
אתה עוקף אותו רק בהקשר של הבנת עברית.ברור תפוס ת'עיקרון... לא מתיימר להחליף את GPT 5.4 אלא רק להראות שאפשר לאמן מודל בחינם עם יכולות עבריות טובות.
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
על מה אתה מאמן את המודל?
איזה תחום.סיוע כללי. כרגע זה אימון מקדים ללימוד השפה ומבנה תקין של משפטים ולוגיקה בסיסית, ואחר כך אני מעביר אותו אימון לצ'אט.
אולי אני יוסיף לו אחרי האימון המקדים אימונים קצרים על לוגיקה באנגלית (כי אין מספיק טובים בעברית), ועל קידוד פייתון, והמודל אמור להכליל את זה גם לשיפור יכולות בעברית. -
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. תדייק.
אתה לא עוקף אותו בסיבוב.
אתה עוקף אותו רק בהקשר של הבנת עברית.ברור תפוס ת'עיקרון... לא מתיימר להחליף את GPT 5.4 אלא רק להראות שאפשר לאמן מודל בחינם עם יכולות עבריות טובות.
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
על מה אתה מאמן את המודל?
איזה תחום.סיוע כללי. כרגע זה אימון מקדים ללימוד השפה ומבנה תקין של משפטים ולוגיקה בסיסית, ואחר כך אני מעביר אותו אימון לצ'אט.
אולי אני יוסיף לו אחרי האימון המקדים אימונים קצרים על לוגיקה באנגלית (כי אין מספיק טובים בעברית), ועל קידוד פייתון, והמודל אמור להכליל את זה גם לשיפור יכולות בעברית. -
@א.מ.ד. רק שים לב שאם תאמן אותו אחרי זה על הדברים האלה, הוא יהיה פחות טוב בשפה.
כי הוא יהיה פחות ממוקד....@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. רק שים לב שאם תאמן אותו אחרי זה על הדברים האלה, הוא יהיה פחות טוב בשפה.
כי הוא יהיה פחות ממוקד....קודם כל אני יעשה גרסאות נפרדות, וחוץ מזה אני עושה מיקס של עברית אנגלית וקידוד בחלוקה מסויימת ששומרת על יכולות השפה.
-
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. תדייק.
אתה לא עוקף אותו בסיבוב.
אתה עוקף אותו רק בהקשר של הבנת עברית.ברור תפוס ת'עיקרון... לא מתיימר להחליף את GPT 5.4 אלא רק להראות שאפשר לאמן מודל בחינם עם יכולות עבריות טובות.
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
על מה אתה מאמן את המודל?
איזה תחום.סיוע כללי. כרגע זה אימון מקדים ללימוד השפה ומבנה תקין של משפטים ולוגיקה בסיסית, ואחר כך אני מעביר אותו אימון לצ'אט.
אולי אני יוסיף לו אחרי האימון המקדים אימונים קצרים על לוגיקה באנגלית (כי אין מספיק טובים בעברית), ועל קידוד פייתון, והמודל אמור להכליל את זה גם לשיפור יכולות בעברית.@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
שאפשר לאמן מודל בחינם עם יכולות עבריות טובות.
אימנת את 'המודל החרדי הראשון' - על טקסטים תלמודיים ? ארמית? גמרא וכו'?
כי אז באמת הוא יהיה מודל מספר אחד בכל הנוגע לארמית..
-
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. רק שים לב שאם תאמן אותו אחרי זה על הדברים האלה, הוא יהיה פחות טוב בשפה.
כי הוא יהיה פחות ממוקד....קודם כל אני יעשה גרסאות נפרדות, וחוץ מזה אני עושה מיקס של עברית אנגלית וקידוד בחלוקה מסויימת ששומרת על יכולות השפה.
-
@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
שאפשר לאמן מודל בחינם עם יכולות עבריות טובות.
אימנת את 'המודל החרדי הראשון' - על טקסטים תלמודיים ? ארמית? גמרא וכו'?
כי אז באמת הוא יהיה מודל מספר אחד בכל הנוגע לארמית..
@חובבן-מקצועי כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
אימנת את 'המודל החרדי הראשון' - על טקסטים תלמודיים ? ארמית? גמרא וכו'?
Tiny-aia-kosher-3.3B מבוסס על מודל קיים, ולא אימנתי אותו מאפס, אלא רק לימדתי אותו לסרב לבקשות לא ראויות. ללמד אותו שפה חדשה זה תהליך מורכב פיג'מה ודורש משאבי חישוב גדולים פי כמה.
-
@א.מ.ד. זה מעניין.
איך עשית את זה?
Moe?
כי פעם היה לו רעיון ארכטיקטורי עם היררכיה כזו, אבל שלי היה 'קצת' יותר מתקדם מהגישה של Moe.@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. זה מעניין.
איך עשית את זה?
Moe?
כי פעם היה לו רעיון ארכטיקטורי עם היררכיה כזו, אבל שלי היה 'קצת' יותר מתקדם מהגישה של Moe.לא, פשוט תערובת של הנתונים. MoE פחות אפקטיבי בגדלים כאלו כי אז כל מומחה יהיה ממש זעיר וחסר יכולות.
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}