סקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?
-
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. רק שים לב שאם תאמן אותו אחרי זה על הדברים האלה, הוא יהיה פחות טוב בשפה.
כי הוא יהיה פחות ממוקד....קודם כל אני יעשה גרסאות נפרדות, וחוץ מזה אני עושה מיקס של עברית אנגלית וקידוד בחלוקה מסויימת ששומרת על יכולות השפה.
-
@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
שאפשר לאמן מודל בחינם עם יכולות עבריות טובות.
אימנת את 'המודל החרדי הראשון' - על טקסטים תלמודיים ? ארמית? גמרא וכו'?
כי אז באמת הוא יהיה מודל מספר אחד בכל הנוגע לארמית..
@חובבן-מקצועי כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
אימנת את 'המודל החרדי הראשון' - על טקסטים תלמודיים ? ארמית? גמרא וכו'?
Tiny-aia-kosher-3.3B מבוסס על מודל קיים, ולא אימנתי אותו מאפס, אלא רק לימדתי אותו לסרב לבקשות לא ראויות. ללמד אותו שפה חדשה זה תהליך מורכב פיג'מה ודורש משאבי חישוב גדולים פי כמה.
-
@א.מ.ד. זה מעניין.
איך עשית את זה?
Moe?
כי פעם היה לו רעיון ארכטיקטורי עם היררכיה כזו, אבל שלי היה 'קצת' יותר מתקדם מהגישה של Moe.@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. זה מעניין.
איך עשית את זה?
Moe?
כי פעם היה לו רעיון ארכטיקטורי עם היררכיה כזו, אבל שלי היה 'קצת' יותר מתקדם מהגישה של Moe.לא, פשוט תערובת של הנתונים. MoE פחות אפקטיבי בגדלים כאלו כי אז כל מומחה יהיה ממש זעיר וחסר יכולות.
-
@המתעניין1 טכנית כל הידע שלו כאן הוכנס שם.
אני טועה? @א.מ.ד. ? -
@המתעניין1 טכנית כל הידע שלו כאן הוכנס שם.
אני טועה? @א.מ.ד. ?@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@המתעניין1 טכנית כל הידע שלו כאן הוכנס שם.
אני טועה? @א.מ.ד. ?שם זה מדריך על המודלים אחרי שכבר נוצרו, פה זה על תהליך היצירה והאימון.
-
@המתעניין1 כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. לאחר המדריך המושקע שלך על מודלי אופליין מה בקשר למדריך הנוכחי?
יש לי הרבה דברים שאני באמצע... מקוה להתפנות לזה בקרוב...
-
@המלאך כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד.
What's going on with this? We're really waiting!יש לי בעיה, כשאני מתעסק במשהו אחד אני לא יכול להתרכז בפרוייקט נוסף.
אני עסוק עכשיו בסמארטי לווינדוס, ואין לי מוחין לדברים אחרים, ועוד מורכבים כמו זה.
מיד כשאני יתפנה בעז"ה אני יחזור לזה.