שיתוף | תקרת הזכוכית של עולם הAI התפוצצה????
-
@pythoni כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:
זה לא סטארט אפ חדש ומשהו גאוני כול כך זה פשוט מודל עם תהודה דליליה שזה אומר שהקונטקסט כמעט לינארי כמו ממבה שזה לינארי אך כאן זה לא לינארי לגמרי פשוט לא כול מחושבים אלא רק כאלה שזהו כחשובים ובנוסף בנו את זה לקוד המודל תוכנן מראש לפעול על בסיסי קוד ולא על טקסט פרוזה רציף. קוד תוכנה מתאפיין במבנה מודולרי, היררכי ולוגי (פונקציות, מחלקות, קריאות מקומיות). מבנה זה מאפשר למנגנונים דלילים לאתר את הקשרים הנדרשים ביעילות רבה יותר, שכן התלות בין חלקי הקוד מוגדרת היטב ואינה מפוזרת באופן אקראי על פני מיליוני שורות
פרשת סוקל או גאונות טהורה?
@יוסלה-קניקובסקי
נכון או לא נכון הם מחרטטים בביטחון
-
@המלאך זה נכון ולא נכון
1 מה שהם באמת הצליחו לעשות זה לקחת מודל שהוא לא SSM אלא Attention אך שאינו מחשב את כול האסימונים אלא מזהה את האלה שנראים לו רלונטים וביחד עם דחיסה אגרסיבית של הזיכרון KV בכ90 אחוז כך יש הרבה פחות קריאות זיכרון ופחות תעבורה בין מגשי עיבוד שיוצר צואר בקבוק ואז פחות מהירות לעומת מודל זה שהוא עובד כמעט כמו SSM2 זה נכון שזה לא ברמת מודלי חזית כמו קלוד אך הוא יכול לשמש כסורק לפרויקטים שלמים למצוא את החלק הבעיתי ומשם לדוגמא אפשר לשלוח לקלוד ומה שקיבל בציונים הגבוהים)יחסית זה בגלל שבמבחני איתור באגים הוא פשוט סורק מהר בהתיחסות למה שצריך בעוד מודלים גדולים מחשבים בצורה רביעית מלאה וכבדה אך בפתרון בעיות אין ספק שקלוד יהיה פי 2 טוב
@י.-פל.אני כתבתי את התשובה אך היה מבולבל וקשה להבנה אז העברתי לגימיני את סוף התשובה והא ניסח את הסוף )חצי חצי
-
@jack חפש בHugging Face את המודלMamba שהוא מסוג SSM )לינארי ) בניגוד למודלים הרגילים שהם מסוג Transformer
אלא אם כן אתה AI ללא גישה לרשת
ההבדל הTransformer
אם הכנסתי 100 מילים הוא משווה כל מילה מתוך ה-100 לכל אחת מ-99 המילים האחרות.כמות פעולות: בערך 100 × 100 10,000= השוואות.הלינארי פשוט יחשב 100 מילים
-
@המלאך טרנספורמר זו לא הארכיטקטורה של המודל שבתכלס' מקיפה כמעט את כל החלקים בו?
ואגב קצת מוזר לי שכולם פה מתווכחים כמבינים לעומק את הטכנולוגיות בעוד שאני עדיין מתבוסס במאמרים משנות ה 80 כדי להבין את שורשי הטכנולוגיה ונאבק עם משוואות באלגברה לינארית אל תוך הלילה
או שיש פה גאונים או שממהרים לקפוץ למסקנות
כמובן שהגיוני שמשהו שם לא כצעקתה אבל להוכיח את זה על בסיס עקרונות טכניים זה קצת מצחיקצריך עזרה בשחזור מידע? ייעוץ? egozkokus1@gmail.com
-
@המלאך לגבי ההגדרה של כול ארכיטקטורת המודל שזה Transformer משודרג/משוכתב שזה חלק קטן מהמודל היא קצת. . .
וגם זה מודל LLM מסוג Transformerנ.ב
אם תוכל לפרט ולהסביר יותר את מה שאתה טוען אשמח
נ.ב 2
LLM פרושו מודל שפה גדול ויש כול מיני סוגים של LLM
נ.ב 3
אין לי שום קשר עסקי או רגשי לחברה הנל -
@המלאך טרנספורמר זו לא הארכיטקטורה של המודל שבתכלס' מקיפה כמעט את כל החלקים בו?
ואגב קצת מוזר לי שכולם פה מתווכחים כמבינים לעומק את הטכנולוגיות בעוד שאני עדיין מתבוסס במאמרים משנות ה 80 כדי להבין את שורשי הטכנולוגיה ונאבק עם משוואות באלגברה לינארית אל תוך הלילה
או שיש פה גאונים או שממהרים לקפוץ למסקנות
כמובן שהגיוני שמשהו שם לא כצעקתה אבל להוכיח את זה על בסיס עקרונות טכניים זה קצת מצחיק@מתכנת-חובב וודאי.
אבל הוא הגדיר את החילוק כהאם יש טרנספורמר או אין..
לגופו של דבר לא צריך להיות גאון כדי להבין שמה שהוא אמר לא עובד ככה.
באגים זה דבר שיכול להיות בקצוות ההקשר, דבר שלטענתו המודל לא מחשב..
קצת קשה שלא לצחוק על התגובה הזו..
@pythoni
בכל מקרה הם טענו שזה דווקא כן! ברמת מודלי חזית כמו קלוד..
נ. ב. הסברתי כמה שיכולתי..
נ. ב. 2 למה נראה לך שנולדתי אתמול? שצריך ללמד אותי מה זה llm?
התכוונתי לומר שלהגיד שזה מבוסס טרנספורמר פירוש לומר שהשני לא. וכאן הטעות.
בכל מקרה אחרון.
כל llm משתמש בטרנספורמר משולב עם לינארי.@מתכנת-חובב מודה.
אני לא נלחם עם השוואות אלגברה לינארית בשתים בלילה.
אבל זה דברים ידועים.. -
@מתכנת-חובב וודאי.
אבל הוא הגדיר את החילוק כהאם יש טרנספורמר או אין..
לגופו של דבר לא צריך להיות גאון כדי להבין שמה שהוא אמר לא עובד ככה.
באגים זה דבר שיכול להיות בקצוות ההקשר, דבר שלטענתו המודל לא מחשב..
קצת קשה שלא לצחוק על התגובה הזו..
@pythoni
בכל מקרה הם טענו שזה דווקא כן! ברמת מודלי חזית כמו קלוד..
נ. ב. הסברתי כמה שיכולתי..
נ. ב. 2 למה נראה לך שנולדתי אתמול? שצריך ללמד אותי מה זה llm?
התכוונתי לומר שלהגיד שזה מבוסס טרנספורמר פירוש לומר שהשני לא. וכאן הטעות.
בכל מקרה אחרון.
כל llm משתמש בטרנספורמר משולב עם לינארי.@מתכנת-חובב מודה.
אני לא נלחם עם השוואות אלגברה לינארית בשתים בלילה.
אבל זה דברים ידועים..@המלאך כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:
אבל הוא הגדיר את החילוק כהאם יש טרנספורמר או אין..
לגופו של דבר לא צריך להיות טיפש כדי להבין שמה שהוא אמר לא עובד ככה.למה לא?
אני לא מכיר את הארכיטקטורות של המודלים של היום אבל להבנתי מודלי mamba לדוגמה הם לא בארכיטקטורת טרנספורמר וצריכת החישוב שלהם היא ליניארית
איפה הייתה הטעות?צריך עזרה בשחזור מידע? ייעוץ? egozkokus1@gmail.com
-
@המלאך כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:
אבל הוא הגדיר את החילוק כהאם יש טרנספורמר או אין..
לגופו של דבר לא צריך להיות טיפש כדי להבין שמה שהוא אמר לא עובד ככה.למה לא?
אני לא מכיר את הארכיטקטורות של המודלים של היום אבל להבנתי מודלי mamba לדוגמה הם לא בארכיטקטורת טרנספורמר וצריכת החישוב שלהם היא ליניארית
איפה הייתה הטעות? -
@מתכנת-חובב צודק.
אחזתי שהוא כתב לגבי הllm, לא לגבי המודלים הספציפיים.
אבל דרך אגב.
@pythoni
מטמון קי וי זה דבר שכל מודל למיטב ידיעתי משתמש בו..@המלאך כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:
אחזתי שהוא כתב לגבי הllm, לא לגבי המודלים הספציפיים.
גם מודלי LLM יכולים להיות ליניאריים
צריך עזרה בשחזור מידע? ייעוץ? egozkokus1@gmail.com
-
@המלאך כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:
אחזתי שהוא כתב לגבי הllm, לא לגבי המודלים הספציפיים.
גם מודלי LLM יכולים להיות ליניאריים
-
@מתכנת-חובב לא.
שהחילוק בין מודלי llm לממבה זה הטרנספורמר.
מה שכמובן לא נכון, יש גם ממבה לllm.@המלאך הוא לא כתב בשום מקום שמודלי ממבה לא יכולים להיות מודלי שפה
צריך עזרה בשחזור מידע? ייעוץ? egozkokus1@gmail.com
-
@המלאך הוא לא כתב בשום מקום שמודלי ממבה לא יכולים להיות מודלי שפה
@מתכנת-חובב נכון.
ולכן חזרתי בי.
כשכתבתי את התגובה כך היה זכור.
ובאותה נשימה כתבתי שעיקר דבריו עדיין לא נכונים. -
@מתכנת-חובב וודאי.
אבל הוא הגדיר את החילוק כהאם יש טרנספורמר או אין..
לגופו של דבר לא צריך להיות גאון כדי להבין שמה שהוא אמר לא עובד ככה.
באגים זה דבר שיכול להיות בקצוות ההקשר, דבר שלטענתו המודל לא מחשב..
קצת קשה שלא לצחוק על התגובה הזו..
@pythoni
בכל מקרה הם טענו שזה דווקא כן! ברמת מודלי חזית כמו קלוד..
נ. ב. הסברתי כמה שיכולתי..
נ. ב. 2 למה נראה לך שנולדתי אתמול? שצריך ללמד אותי מה זה llm?
התכוונתי לומר שלהגיד שזה מבוסס טרנספורמר פירוש לומר שהשני לא. וכאן הטעות.
בכל מקרה אחרון.
כל llm משתמש בטרנספורמר משולב עם לינארי.@מתכנת-חובב מודה.
אני לא נלחם עם השוואות אלגברה לינארית בשתים בלילה.
אבל זה דברים ידועים..
? { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}