שיתוף | תקרת הזכוכית של עולם הAI התפוצצה????
עזרה הדדית - בינה מלאכותית
66
פוסטים
16
כותבים
2.0k
צפיות
23
עוקבים
-
llm זה שם כללי, כלומר מודל שפה גדול, שיש לו כמה ארכיטקטורות אפשריות. יש ארכיטקטורת טרנספומר, שהמכפלה בה היא ריבועית, יש ארכיטקטורת mamba שהמכפלה בה היא ליניארית ולכן היא מהירה יותר, ויש סוג 3 בשם SSM שמלה שכבות טרנספומר ו-mamba בתוך אותו מודל.
יש גם ארכיטקטורת liquid כמו במודלים lfm.
מתוך הטרנספורמר השלם שפותח ע"י גוגל, llm משתמש בחציו המפענח, ואילו מודלי הטמעה משתמשים בחציו המקודד.
כלומר, llm הוא חלק מהטרנספורמר (במידה והוא מבוסס עליו), ולא הפוך. -
-
@המלאך
לפי מה שהבנתי לשימוש אמתי לא חושב וכמעט בטוח שהם לא כמו קלוד אבל לסרוק קוד ולמצוא את הבאגים יכול להיות
וזה גם חלק מהמבחנים אז בקטע הזה הוא אולי יכול להיות ברמה גבוהה