שיתוף | תקרת הזכוכית של עולם הAI התפוצצה????
-
@המלאך טרנספורמר זו לא הארכיטקטורה של המודל שבתכלס' מקיפה כמעט את כל החלקים בו?
ואגב קצת מוזר לי שכולם פה מתווכחים כמבינים לעומק את הטכנולוגיות בעוד שאני עדיין מתבוסס במאמרים משנות ה 80 כדי להבין את שורשי הטכנולוגיה ונאבק עם משוואות באלגברה לינארית אל תוך הלילה
או שיש פה גאונים או שממהרים לקפוץ למסקנות
כמובן שהגיוני שמשהו שם לא כצעקתה אבל להוכיח את זה על בסיס עקרונות טכניים זה קצת מצחיק@מתכנת-חובב וודאי.
אבל הוא הגדיר את החילוק כהאם יש טרנספורמר או אין..
לגופו של דבר לא צריך להיות גאון כדי להבין שמה שהוא אמר לא עובד ככה.
באגים זה דבר שיכול להיות בקצוות ההקשר, דבר שלטענתו המודל לא מחשב..
קצת קשה שלא לצחוק על התגובה הזו..
@pythoni
בכל מקרה הם טענו שזה דווקא כן! ברמת מודלי חזית כמו קלוד..
נ. ב. הסברתי כמה שיכולתי..
נ. ב. 2 למה נראה לך שנולדתי אתמול? שצריך ללמד אותי מה זה llm?
התכוונתי לומר שלהגיד שזה מבוסס טרנספורמר פירוש לומר שהשני לא. וכאן הטעות.
בכל מקרה אחרון.
כל llm משתמש בטרנספורמר משולב עם לינארי.@מתכנת-חובב מודה.
אני לא נלחם עם השוואות אלגברה לינארית בשתים בלילה.
אבל זה דברים ידועים.. -
@מתכנת-חובב וודאי.
אבל הוא הגדיר את החילוק כהאם יש טרנספורמר או אין..
לגופו של דבר לא צריך להיות גאון כדי להבין שמה שהוא אמר לא עובד ככה.
באגים זה דבר שיכול להיות בקצוות ההקשר, דבר שלטענתו המודל לא מחשב..
קצת קשה שלא לצחוק על התגובה הזו..
@pythoni
בכל מקרה הם טענו שזה דווקא כן! ברמת מודלי חזית כמו קלוד..
נ. ב. הסברתי כמה שיכולתי..
נ. ב. 2 למה נראה לך שנולדתי אתמול? שצריך ללמד אותי מה זה llm?
התכוונתי לומר שלהגיד שזה מבוסס טרנספורמר פירוש לומר שהשני לא. וכאן הטעות.
בכל מקרה אחרון.
כל llm משתמש בטרנספורמר משולב עם לינארי.@מתכנת-חובב מודה.
אני לא נלחם עם השוואות אלגברה לינארית בשתים בלילה.
אבל זה דברים ידועים..@המלאך כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:
אבל הוא הגדיר את החילוק כהאם יש טרנספורמר או אין..
לגופו של דבר לא צריך להיות טיפש כדי להבין שמה שהוא אמר לא עובד ככה.למה לא?
אני לא מכיר את הארכיטקטורות של המודלים של היום אבל להבנתי מודלי mamba לדוגמה הם לא בארכיטקטורת טרנספורמר וצריכת החישוב שלהם היא ליניארית
איפה הייתה הטעות?צריך עזרה בשחזור מידע? ייעוץ? egozkokus1@gmail.com
-
@המלאך כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:
אבל הוא הגדיר את החילוק כהאם יש טרנספורמר או אין..
לגופו של דבר לא צריך להיות טיפש כדי להבין שמה שהוא אמר לא עובד ככה.למה לא?
אני לא מכיר את הארכיטקטורות של המודלים של היום אבל להבנתי מודלי mamba לדוגמה הם לא בארכיטקטורת טרנספורמר וצריכת החישוב שלהם היא ליניארית
איפה הייתה הטעות? -
@מתכנת-חובב צודק.
אחזתי שהוא כתב לגבי הllm, לא לגבי המודלים הספציפיים.
אבל דרך אגב.
@pythoni
מטמון קי וי זה דבר שכל מודל למיטב ידיעתי משתמש בו..@המלאך כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:
אחזתי שהוא כתב לגבי הllm, לא לגבי המודלים הספציפיים.
גם מודלי LLM יכולים להיות ליניאריים
צריך עזרה בשחזור מידע? ייעוץ? egozkokus1@gmail.com
-
@המלאך כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:
אחזתי שהוא כתב לגבי הllm, לא לגבי המודלים הספציפיים.
גם מודלי LLM יכולים להיות ליניאריים
-
@מתכנת-חובב לא.
שהחילוק בין מודלי llm לממבה זה הטרנספורמר.
מה שכמובן לא נכון, יש גם ממבה לllm.@המלאך הוא לא כתב בשום מקום שמודלי ממבה לא יכולים להיות מודלי שפה
צריך עזרה בשחזור מידע? ייעוץ? egozkokus1@gmail.com
-
@המלאך הוא לא כתב בשום מקום שמודלי ממבה לא יכולים להיות מודלי שפה
-
@מתכנת-חובב וודאי.
אבל הוא הגדיר את החילוק כהאם יש טרנספורמר או אין..
לגופו של דבר לא צריך להיות גאון כדי להבין שמה שהוא אמר לא עובד ככה.
באגים זה דבר שיכול להיות בקצוות ההקשר, דבר שלטענתו המודל לא מחשב..
קצת קשה שלא לצחוק על התגובה הזו..
@pythoni
בכל מקרה הם טענו שזה דווקא כן! ברמת מודלי חזית כמו קלוד..
נ. ב. הסברתי כמה שיכולתי..
נ. ב. 2 למה נראה לך שנולדתי אתמול? שצריך ללמד אותי מה זה llm?
התכוונתי לומר שלהגיד שזה מבוסס טרנספורמר פירוש לומר שהשני לא. וכאן הטעות.
בכל מקרה אחרון.
כל llm משתמש בטרנספורמר משולב עם לינארי.@מתכנת-חובב מודה.
אני לא נלחם עם השוואות אלגברה לינארית בשתים בלילה.
אבל זה דברים ידועים.. -
@מתכנת-חובב נכון.
ולכן חזרתי בי.
כשכתבתי את התגובה כך היה זכור.
ובאותה נשימה כתבתי שעיקר דבריו עדיין לא נכונים.llm זה שם כללי, כלומר מודל שפה גדול, שיש לו כמה ארכיטקטורות אפשריות. יש ארכיטקטורת טרנספומר, שהמכפלה בה היא ריבועית, יש ארכיטקטורת mamba שהמכפלה בה היא ליניארית ולכן היא מהירה יותר, ויש סוג 3 בשם SSM שמלה שכבות טרנספומר ו-mamba בתוך אותו מודל.
יש גם ארכיטקטורת liquid כמו במודלים lfm.
מתוך הטרנספורמר השלם שפותח ע"י גוגל, llm משתמש בחציו המפענח, ואילו מודלי הטמעה משתמשים בחציו המקודד.
כלומר, llm הוא חלק מהטרנספורמר (במידה והוא מבוסס עליו), ולא הפוך. -
llm זה שם כללי, כלומר מודל שפה גדול, שיש לו כמה ארכיטקטורות אפשריות. יש ארכיטקטורת טרנספומר, שהמכפלה בה היא ריבועית, יש ארכיטקטורת mamba שהמכפלה בה היא ליניארית ולכן היא מהירה יותר, ויש סוג 3 בשם SSM שמלה שכבות טרנספומר ו-mamba בתוך אותו מודל.
יש גם ארכיטקטורת liquid כמו במודלים lfm.
מתוך הטרנספורמר השלם שפותח ע"י גוגל, llm משתמש בחציו המפענח, ואילו מודלי הטמעה משתמשים בחציו המקודד.
כלומר, llm הוא חלק מהטרנספורמר (במידה והוא מבוסס עליו), ולא הפוך. -
llm זה שם כללי, כלומר מודל שפה גדול, שיש לו כמה ארכיטקטורות אפשריות. יש ארכיטקטורת טרנספומר, שהמכפלה בה היא ריבועית, יש ארכיטקטורת mamba שהמכפלה בה היא ליניארית ולכן היא מהירה יותר, ויש סוג 3 בשם SSM שמלה שכבות טרנספומר ו-mamba בתוך אותו מודל.
יש גם ארכיטקטורת liquid כמו במודלים lfm.
מתוך הטרנספורמר השלם שפותח ע"י גוגל, llm משתמש בחציו המפענח, ואילו מודלי הטמעה משתמשים בחציו המקודד.
כלומר, llm הוא חלק מהטרנספורמר (במידה והוא מבוסס עליו), ולא הפוך. -
-
@המלאך
לפי מה שהבנתי לשימוש אמתי לא חושב וכמעט בטוח שהם לא כמו קלוד אבל לסרוק קוד ולמצוא את הבאגים יכול להיות
וזה גם חלק מהמבחנים אז בקטע הזה הוא אולי יכול להיות ברמה גבוהה
? { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}