שיתוף | תקרת הזכוכית של עולם הAI התפוצצה????
-
@המלאך הוא לא כתב בשום מקום שמודלי ממבה לא יכולים להיות מודלי שפה
-
@מתכנת-חובב וודאי.
אבל הוא הגדיר את החילוק כהאם יש טרנספורמר או אין..
לגופו של דבר לא צריך להיות גאון כדי להבין שמה שהוא אמר לא עובד ככה.
באגים זה דבר שיכול להיות בקצוות ההקשר, דבר שלטענתו המודל לא מחשב..
קצת קשה שלא לצחוק על התגובה הזו..
@pythoni
בכל מקרה הם טענו שזה דווקא כן! ברמת מודלי חזית כמו קלוד..
נ. ב. הסברתי כמה שיכולתי..
נ. ב. 2 למה נראה לך שנולדתי אתמול? שצריך ללמד אותי מה זה llm?
התכוונתי לומר שלהגיד שזה מבוסס טרנספורמר פירוש לומר שהשני לא. וכאן הטעות.
בכל מקרה אחרון.
כל llm משתמש בטרנספורמר משולב עם לינארי.@מתכנת-חובב מודה.
אני לא נלחם עם השוואות אלגברה לינארית בשתים בלילה.
אבל זה דברים ידועים.. -
@מתכנת-חובב נכון.
ולכן חזרתי בי.
כשכתבתי את התגובה כך היה זכור.
ובאותה נשימה כתבתי שעיקר דבריו עדיין לא נכונים.llm זה שם כללי, כלומר מודל שפה גדול, שיש לו כמה ארכיטקטורות אפשריות. יש ארכיטקטורת טרנספומר, שהמכפלה בה היא ריבועית, יש ארכיטקטורת mamba שהמכפלה בה היא ליניארית ולכן היא מהירה יותר, ויש סוג 3 בשם SSM שמלה שכבות טרנספומר ו-mamba בתוך אותו מודל.
יש גם ארכיטקטורת liquid כמו במודלים lfm.
מתוך הטרנספורמר השלם שפותח ע"י גוגל, llm משתמש בחציו המפענח, ואילו מודלי הטמעה משתמשים בחציו המקודד.
כלומר, llm הוא חלק מהטרנספורמר (במידה והוא מבוסס עליו), ולא הפוך. -
llm זה שם כללי, כלומר מודל שפה גדול, שיש לו כמה ארכיטקטורות אפשריות. יש ארכיטקטורת טרנספומר, שהמכפלה בה היא ריבועית, יש ארכיטקטורת mamba שהמכפלה בה היא ליניארית ולכן היא מהירה יותר, ויש סוג 3 בשם SSM שמלה שכבות טרנספומר ו-mamba בתוך אותו מודל.
יש גם ארכיטקטורת liquid כמו במודלים lfm.
מתוך הטרנספורמר השלם שפותח ע"י גוגל, llm משתמש בחציו המפענח, ואילו מודלי הטמעה משתמשים בחציו המקודד.
כלומר, llm הוא חלק מהטרנספורמר (במידה והוא מבוסס עליו), ולא הפוך. -
llm זה שם כללי, כלומר מודל שפה גדול, שיש לו כמה ארכיטקטורות אפשריות. יש ארכיטקטורת טרנספומר, שהמכפלה בה היא ריבועית, יש ארכיטקטורת mamba שהמכפלה בה היא ליניארית ולכן היא מהירה יותר, ויש סוג 3 בשם SSM שמלה שכבות טרנספומר ו-mamba בתוך אותו מודל.
יש גם ארכיטקטורת liquid כמו במודלים lfm.
מתוך הטרנספורמר השלם שפותח ע"י גוגל, llm משתמש בחציו המפענח, ואילו מודלי הטמעה משתמשים בחציו המקודד.
כלומר, llm הוא חלק מהטרנספורמר (במידה והוא מבוסס עליו), ולא הפוך. -
-
@המלאך
לפי מה שהבנתי לשימוש אמתי לא חושב וכמעט בטוח שהם לא כמו קלוד אבל לסרוק קוד ולמצוא את הבאגים יכול להיות
וזה גם חלק מהמבחנים אז בקטע הזה הוא אולי יכול להיות ברמה גבוהה
? { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}