שיתוף | תקרת הזכוכית של עולם הAI התפוצצה????
-
@המלאך נשמע מאוד מוזר. מילא להצליח לפתור בעיה בארכיטקטורת הטרנספורמר הקלאסית. אבל שהאיכות תעלה על כל המודלים המובילים, בלי שיש להם אפילו מאית מכוח החישוב שיש לשחקנים הגדולים, אין להם את הדאטה העצום, אין להם את המדענים הגדולים בתחום, ואין להם מימון לדבר הזה... זה נראה זיוף.
ראיתי כבר כמה פעמים בחודשים האחרונים דברים בסגנון, לדוגמא סטארטאפ אחד שטען שהצליח לפתח מודל שיכול להתרחב לפי דרישות המשימה או משהו ברעיון, או חברה שהעלתה אלפי מודלים ל-HF עד שאחד מרדיט גילה שאלו העתקים מדוייקים של מודלים אחרים, אפילו עם אותו HASH.
עוד דבר מוזר זה שבדרך כלל בפריצות דרך כמו בקלוד מיתוס החברה מאפשרת גישה מגבלת למספר מצומצם של אנשי מקצוע וידוענים בתחום שמנסים את הטכנולוגיה החדשה, ורק אז זה מתפרסם. הפעם חוץ מהפרסום באתר אין שום מקור שזה נכון... -
זה לא סטארט אפ חדש ומשהו גאוני כול כך זה פשוט מודל עם תהודה דליליה שזה אומר שהקונטקסט כמעט לינארי כמו ממבה שזה לינארי אך כאן זה לא לינארי לגמרי פשוט לא כול מחושבים אלא רק כאלה שזהו כחשובים ובנוסף בנו את זה לקוד המודל תוכנן מראש לפעול על בסיסי קוד ולא על טקסט פרוזה רציף. קוד תוכנה מתאפיין במבנה מודולרי, היררכי ולוגי (פונקציות, מחלקות, קריאות מקומיות). מבנה זה מאפשר למנגנונים דלילים לאתר את הקשרים הנדרשים ביעילות רבה יותר, שכן התלות בין חלקי הקוד מוגדרת היטב ואינה מפוזרת באופן אקראי על פני מיליוני שורות
-
זה לא סטארט אפ חדש ומשהו גאוני כול כך זה פשוט מודל עם תהודה דליליה שזה אומר שהקונטקסט כמעט לינארי כמו ממבה שזה לינארי אך כאן זה לא לינארי לגמרי פשוט לא כול מחושבים אלא רק כאלה שזהו כחשובים ובנוסף בנו את זה לקוד המודל תוכנן מראש לפעול על בסיסי קוד ולא על טקסט פרוזה רציף. קוד תוכנה מתאפיין במבנה מודולרי, היררכי ולוגי (פונקציות, מחלקות, קריאות מקומיות). מבנה זה מאפשר למנגנונים דלילים לאתר את הקשרים הנדרשים ביעילות רבה יותר, שכן התלות בין חלקי הקוד מוגדרת היטב ואינה מפוזרת באופן אקראי על פני מיליוני שורות
@pythoni מה הקשר?
1 - Sparse attention זה משפחה של רעיונות.
לא נכון להגיד שאין חדש
2 - בניגוד למצב זה למרות שמשתמש ב attention, עדיין נשאר כsub-quadratic ומוגדר מודל מllm לא משהו רעיוני.
3 - גם אם נניח וזה קוד וקוד יותר קל לחישוב, זה לא נותן הפרש בין 2 מליון לשרתי המפלצת של גוגל ל12!!! מליון טוקנים.
זה אומר חישוב היסטוריה וprים..
זה דבר שלגוגל עם כל המשאבים יקח כמויות של זמן חישוב ועלויות חישוב מפלצתיות.
להזכירך הם טוענים למהירות של פי 52! יותר מהר,
כמו"כ הם טוענים להוזלה משמעותית בעלויות חישוב.
זה שינוי יותר גדול.
כן.
לדעתי שינוי מלא של הטרנספורמר.
4 - אין מצב להסתמך רק על הרעיון הזה.
באגים [כידוע לכל מתכנת בר בי רב] הם דבר מאוד דינמי. הם יכולים להיות בקצוות של ההקשר - איך מודל שהם מצהירים שחכם ברמה של קלוד אופוס 4.7 וgpt 5.5 יוכל שלא לדעת למה באגים קיימים כי הוא לא מחשב אותם לינארית?
אלא אם כן.
אתה צודק.
וזה באמת הגישה של @א.מ.ד. ו @nh.local .
כי זה אומר בגדול שהם [החברה כן? לא אמד ואן איץ' לוקל
] חירטטו את השכל.
אבל להגיד שזה הגישה וזה עובד? לא נכון בכלל. -
זה לא סטארט אפ חדש ומשהו גאוני כול כך זה פשוט מודל עם תהודה דליליה שזה אומר שהקונטקסט כמעט לינארי כמו ממבה שזה לינארי אך כאן זה לא לינארי לגמרי פשוט לא כול מחושבים אלא רק כאלה שזהו כחשובים ובנוסף בנו את זה לקוד המודל תוכנן מראש לפעול על בסיסי קוד ולא על טקסט פרוזה רציף. קוד תוכנה מתאפיין במבנה מודולרי, היררכי ולוגי (פונקציות, מחלקות, קריאות מקומיות). מבנה זה מאפשר למנגנונים דלילים לאתר את הקשרים הנדרשים ביעילות רבה יותר, שכן התלות בין חלקי הקוד מוגדרת היטב ואינה מפוזרת באופן אקראי על פני מיליוני שורות
-
זה לא סטארט אפ חדש ומשהו גאוני כול כך זה פשוט מודל עם תהודה דליליה שזה אומר שהקונטקסט כמעט לינארי כמו ממבה שזה לינארי אך כאן זה לא לינארי לגמרי פשוט לא כול מחושבים אלא רק כאלה שזהו כחשובים ובנוסף בנו את זה לקוד המודל תוכנן מראש לפעול על בסיסי קוד ולא על טקסט פרוזה רציף. קוד תוכנה מתאפיין במבנה מודולרי, היררכי ולוגי (פונקציות, מחלקות, קריאות מקומיות). מבנה זה מאפשר למנגנונים דלילים לאתר את הקשרים הנדרשים ביעילות רבה יותר, שכן התלות בין חלקי הקוד מוגדרת היטב ואינה מפוזרת באופן אקראי על פני מיליוני שורות
-
@pythoni מה הקשר?
1 - Sparse attention זה משפחה של רעיונות.
לא נכון להגיד שאין חדש
2 - בניגוד למצב זה למרות שמשתמש ב attention, עדיין נשאר כsub-quadratic ומוגדר מודל מllm לא משהו רעיוני.
3 - גם אם נניח וזה קוד וקוד יותר קל לחישוב, זה לא נותן הפרש בין 2 מליון לשרתי המפלצת של גוגל ל12!!! מליון טוקנים.
זה אומר חישוב היסטוריה וprים..
זה דבר שלגוגל עם כל המשאבים יקח כמויות של זמן חישוב ועלויות חישוב מפלצתיות.
להזכירך הם טוענים למהירות של פי 52! יותר מהר,
כמו"כ הם טוענים להוזלה משמעותית בעלויות חישוב.
זה שינוי יותר גדול.
כן.
לדעתי שינוי מלא של הטרנספורמר.
4 - אין מצב להסתמך רק על הרעיון הזה.
באגים [כידוע לכל מתכנת בר בי רב] הם דבר מאוד דינמי. הם יכולים להיות בקצוות של ההקשר - איך מודל שהם מצהירים שחכם ברמה של קלוד אופוס 4.7 וgpt 5.5 יוכל שלא לדעת למה באגים קיימים כי הוא לא מחשב אותם לינארית?
אלא אם כן.
אתה צודק.
וזה באמת הגישה של @א.מ.ד. ו @nh.local .
כי זה אומר בגדול שהם [החברה כן? לא אמד ואן איץ' לוקל] חירטטו את השכל.
אבל להגיד שזה הגישה וזה עובד? לא נכון בכלל.@המלאך זה נכון ולא נכון
1 מה שהם באמת הצליחו לעשות זה לקחת מודל שהוא לא SSM אלא Attention אך שאינו מחשב את כול האסימונים אלא מזהה את האלה שנראים לו רלונטים וביחד עם דחיסה אגרסיבית של הזיכרון KV בכ90 אחוז כך יש הרבה פחות קריאות זיכרון ופחות תעבורה בין מגשי עיבוד שיוצר צואר בקבוק ואז פחות מהירות לעומת מודל זה שהוא עובד כמעט כמו SSM2 זה נכון שזה לא ברמת מודלי חזית כמו קלוד אך הוא יכול לשמש כסורק לפרויקטים שלמים למצוא את החלק הבעיתי ומשם לדוגמא אפשר לשלוח לקלוד ומה שקיבל בציונים הגבוהים)יחסית זה בגלל שבמבחני איתור באגים הוא פשוט סורק מהר בהתיחסות למה שצריך בעוד מודלים גדולים מחשבים בצורה רביעית מלאה וכבדה אך בפתרון בעיות אין ספק שקלוד יהיה פי 2 טוב
@י.-פל.אני כתבתי את התשובה אך היה מבולבל וקשה להבנה אז העברתי לגימיני את סוף התשובה והא ניסח את הסוף )חצי חצי
-
@pythoni מה זה כל הממבו גמבו שגיבבת?!
אני תוהה האם מדובר בB-או-T רח"ל? (אם אתה אנושי אתה תבין את הקשר אם לא סביר להניח שהמודל שפה שהשתמשת בו לא יבין.)
@jack חפש בHugging Face את המודלMamba שהוא מסוג SSM )לינארי ) בניגוד למודלים הרגילים שהם מסוג Transformer
אלא אם כן אתה AI ללא גישה לרשת
ההבדל הTransformer
אם הכנסתי 100 מילים הוא משווה כל מילה מתוך ה-100 לכל אחת מ-99 המילים האחרות.כמות פעולות: בערך 100 × 100 10,000= השוואות.הלינארי פשוט יחשב 100 מילים
-
זה לא סטארט אפ חדש ומשהו גאוני כול כך זה פשוט מודל עם תהודה דליליה שזה אומר שהקונטקסט כמעט לינארי כמו ממבה שזה לינארי אך כאן זה לא לינארי לגמרי פשוט לא כול מחושבים אלא רק כאלה שזהו כחשובים ובנוסף בנו את זה לקוד המודל תוכנן מראש לפעול על בסיסי קוד ולא על טקסט פרוזה רציף. קוד תוכנה מתאפיין במבנה מודולרי, היררכי ולוגי (פונקציות, מחלקות, קריאות מקומיות). מבנה זה מאפשר למנגנונים דלילים לאתר את הקשרים הנדרשים ביעילות רבה יותר, שכן התלות בין חלקי הקוד מוגדרת היטב ואינה מפוזרת באופן אקראי על פני מיליוני שורות
@pythoni כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:
זה לא סטארט אפ חדש ומשהו גאוני כול כך זה פשוט מודל עם תהודה דליליה שזה אומר שהקונטקסט כמעט לינארי כמו ממבה שזה לינארי אך כאן זה לא לינארי לגמרי פשוט לא כול מחושבים אלא רק כאלה שזהו כחשובים ובנוסף בנו את זה לקוד המודל תוכנן מראש לפעול על בסיסי קוד ולא על טקסט פרוזה רציף. קוד תוכנה מתאפיין במבנה מודולרי, היררכי ולוגי (פונקציות, מחלקות, קריאות מקומיות). מבנה זה מאפשר למנגנונים דלילים לאתר את הקשרים הנדרשים ביעילות רבה יותר, שכן התלות בין חלקי הקוד מוגדרת היטב ואינה מפוזרת באופן אקראי על פני מיליוני שורות
פרשת סוקל או גאונות טהורה?
-
@pythoni כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:
זה לא סטארט אפ חדש ומשהו גאוני כול כך זה פשוט מודל עם תהודה דליליה שזה אומר שהקונטקסט כמעט לינארי כמו ממבה שזה לינארי אך כאן זה לא לינארי לגמרי פשוט לא כול מחושבים אלא רק כאלה שזהו כחשובים ובנוסף בנו את זה לקוד המודל תוכנן מראש לפעול על בסיסי קוד ולא על טקסט פרוזה רציף. קוד תוכנה מתאפיין במבנה מודולרי, היררכי ולוגי (פונקציות, מחלקות, קריאות מקומיות). מבנה זה מאפשר למנגנונים דלילים לאתר את הקשרים הנדרשים ביעילות רבה יותר, שכן התלות בין חלקי הקוד מוגדרת היטב ואינה מפוזרת באופן אקראי על פני מיליוני שורות
פרשת סוקל או גאונות טהורה?
@יוסלה-קניקובסקי
נכון או לא נכון הם מחרטטים בביטחון
-
@המלאך זה נכון ולא נכון
1 מה שהם באמת הצליחו לעשות זה לקחת מודל שהוא לא SSM אלא Attention אך שאינו מחשב את כול האסימונים אלא מזהה את האלה שנראים לו רלונטים וביחד עם דחיסה אגרסיבית של הזיכרון KV בכ90 אחוז כך יש הרבה פחות קריאות זיכרון ופחות תעבורה בין מגשי עיבוד שיוצר צואר בקבוק ואז פחות מהירות לעומת מודל זה שהוא עובד כמעט כמו SSM2 זה נכון שזה לא ברמת מודלי חזית כמו קלוד אך הוא יכול לשמש כסורק לפרויקטים שלמים למצוא את החלק הבעיתי ומשם לדוגמא אפשר לשלוח לקלוד ומה שקיבל בציונים הגבוהים)יחסית זה בגלל שבמבחני איתור באגים הוא פשוט סורק מהר בהתיחסות למה שצריך בעוד מודלים גדולים מחשבים בצורה רביעית מלאה וכבדה אך בפתרון בעיות אין ספק שקלוד יהיה פי 2 טוב
@י.-פל.אני כתבתי את התשובה אך היה מבולבל וקשה להבנה אז העברתי לגימיני את סוף התשובה והא ניסח את הסוף )חצי חצי
-
@jack חפש בHugging Face את המודלMamba שהוא מסוג SSM )לינארי ) בניגוד למודלים הרגילים שהם מסוג Transformer
אלא אם כן אתה AI ללא גישה לרשת
ההבדל הTransformer
אם הכנסתי 100 מילים הוא משווה כל מילה מתוך ה-100 לכל אחת מ-99 המילים האחרות.כמות פעולות: בערך 100 × 100 10,000= השוואות.הלינארי פשוט יחשב 100 מילים
-
@המלאך טרנספורמר זו לא הארכיטקטורה של המודל שבתכלס' מקיפה כמעט את כל החלקים בו?
ואגב קצת מוזר לי שכולם פה מתווכחים כמבינים לעומק את הטכנולוגיות בעוד שאני עדיין מתבוסס במאמרים משנות ה 80 כדי להבין את שורשי הטכנולוגיה ונאבק עם משוואות באלגברה לינארית אל תוך הלילה
או שיש פה גאונים או שממהרים לקפוץ למסקנות
כמובן שהגיוני שמשהו שם לא כצעקתה אבל להוכיח את זה על בסיס עקרונות טכניים זה קצת מצחיקצריך עזרה בשחזור מידע? ייעוץ? egozkokus1@gmail.com
-
@המלאך לגבי ההגדרה של כול ארכיטקטורת המודל שזה Transformer משודרג/משוכתב שזה חלק קטן מהמודל היא קצת. . .
וגם זה מודל LLM מסוג Transformerנ.ב
אם תוכל לפרט ולהסביר יותר את מה שאתה טוען אשמח
נ.ב 2
LLM פרושו מודל שפה גדול ויש כול מיני סוגים של LLM
נ.ב 3
אין לי שום קשר עסקי או רגשי לחברה הנל -
@המלאך טרנספורמר זו לא הארכיטקטורה של המודל שבתכלס' מקיפה כמעט את כל החלקים בו?
ואגב קצת מוזר לי שכולם פה מתווכחים כמבינים לעומק את הטכנולוגיות בעוד שאני עדיין מתבוסס במאמרים משנות ה 80 כדי להבין את שורשי הטכנולוגיה ונאבק עם משוואות באלגברה לינארית אל תוך הלילה
או שיש פה גאונים או שממהרים לקפוץ למסקנות
כמובן שהגיוני שמשהו שם לא כצעקתה אבל להוכיח את זה על בסיס עקרונות טכניים זה קצת מצחיק@מתכנת-חובב וודאי.
אבל הוא הגדיר את החילוק כהאם יש טרנספורמר או אין..
לגופו של דבר לא צריך להיות גאון כדי להבין שמה שהוא אמר לא עובד ככה.
באגים זה דבר שיכול להיות בקצוות ההקשר, דבר שלטענתו המודל לא מחשב..
קצת קשה שלא לצחוק על התגובה הזו..
@pythoni
בכל מקרה הם טענו שזה דווקא כן! ברמת מודלי חזית כמו קלוד..
נ. ב. הסברתי כמה שיכולתי..
נ. ב. 2 למה נראה לך שנולדתי אתמול? שצריך ללמד אותי מה זה llm?
התכוונתי לומר שלהגיד שזה מבוסס טרנספורמר פירוש לומר שהשני לא. וכאן הטעות.
בכל מקרה אחרון.
כל llm משתמש בטרנספורמר משולב עם לינארי.@מתכנת-חובב מודה.
אני לא נלחם עם השוואות אלגברה לינארית בשתים בלילה.
אבל זה דברים ידועים.. -
@מתכנת-חובב וודאי.
אבל הוא הגדיר את החילוק כהאם יש טרנספורמר או אין..
לגופו של דבר לא צריך להיות גאון כדי להבין שמה שהוא אמר לא עובד ככה.
באגים זה דבר שיכול להיות בקצוות ההקשר, דבר שלטענתו המודל לא מחשב..
קצת קשה שלא לצחוק על התגובה הזו..
@pythoni
בכל מקרה הם טענו שזה דווקא כן! ברמת מודלי חזית כמו קלוד..
נ. ב. הסברתי כמה שיכולתי..
נ. ב. 2 למה נראה לך שנולדתי אתמול? שצריך ללמד אותי מה זה llm?
התכוונתי לומר שלהגיד שזה מבוסס טרנספורמר פירוש לומר שהשני לא. וכאן הטעות.
בכל מקרה אחרון.
כל llm משתמש בטרנספורמר משולב עם לינארי.@מתכנת-חובב מודה.
אני לא נלחם עם השוואות אלגברה לינארית בשתים בלילה.
אבל זה דברים ידועים..@המלאך כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:
אבל הוא הגדיר את החילוק כהאם יש טרנספורמר או אין..
לגופו של דבר לא צריך להיות טיפש כדי להבין שמה שהוא אמר לא עובד ככה.למה לא?
אני לא מכיר את הארכיטקטורות של המודלים של היום אבל להבנתי מודלי mamba לדוגמה הם לא בארכיטקטורת טרנספורמר וצריכת החישוב שלהם היא ליניארית
איפה הייתה הטעות?צריך עזרה בשחזור מידע? ייעוץ? egozkokus1@gmail.com
-
@המלאך כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:
אבל הוא הגדיר את החילוק כהאם יש טרנספורמר או אין..
לגופו של דבר לא צריך להיות טיפש כדי להבין שמה שהוא אמר לא עובד ככה.למה לא?
אני לא מכיר את הארכיטקטורות של המודלים של היום אבל להבנתי מודלי mamba לדוגמה הם לא בארכיטקטורת טרנספורמר וצריכת החישוב שלהם היא ליניארית
איפה הייתה הטעות? -
@מתכנת-חובב צודק.
אחזתי שהוא כתב לגבי הllm, לא לגבי המודלים הספציפיים.
אבל דרך אגב.
@pythoni
מטמון קי וי זה דבר שכל מודל למיטב ידיעתי משתמש בו..@המלאך כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:
אחזתי שהוא כתב לגבי הllm, לא לגבי המודלים הספציפיים.
גם מודלי LLM יכולים להיות ליניאריים
צריך עזרה בשחזור מידע? ייעוץ? egozkokus1@gmail.com
-
@המלאך כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:
אחזתי שהוא כתב לגבי הllm, לא לגבי המודלים הספציפיים.
גם מודלי LLM יכולים להיות ליניאריים
-
@מתכנת-חובב לא.
שהחילוק בין מודלי llm לממבה זה הטרנספורמר.
מה שכמובן לא נכון, יש גם ממבה לllm.@המלאך הוא לא כתב בשום מקום שמודלי ממבה לא יכולים להיות מודלי שפה
צריך עזרה בשחזור מידע? ייעוץ? egozkokus1@gmail.com
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}