שיתוף | תקרת הזכוכית של עולם הAI התפוצצה????

[א.מ.ד.]

@המלאך אגב, הרעיון שהם מביאים לא כזה מופרך, כי את בעיית העלייה הריבועית בצריכת החישוב שיש בטרנספורמר הרגיל, כבר פתרו מזמן עם ארכיטקטורת ה-MAMBA שבה צריכת החישוב עולה באופן ליניארי. אז אולי זה באמת מודל המבוסס על MAMBA רק שאומן להקשר ארוך. ייתכן שמעבר למיליון טוקנים האיכות גרועה, פשוט אין למה להשוות...
מעניין גם שבשם המודל כתוב 1M ולא 12M...

[jack]

@א.מ.ד. האמת אני מתפלא אבל בדיוק להיפך.

הרי במוח שלנו (וגם של בע"ח) מתבצעים פעולות חישוביות הרבה יותר מורכבות ומהירות ובעלות אפסית בהשוואה למעבדי סיליקון.

אבל ברצינות זה לא כל כך מופרך שחברה קטנה תשיג את מה שהגדולות היו עיוורות לו

[א.מ.ד.]

@jack כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

@א.מ.ד. האמת אני מתפלא אבל בדיוק להיפך.

הרי במוח שלנו (וגם של בע"ח) מתבצעים פעולות חישוביות הרבה יותר מורכבות ומהירות ובעלות אפסית בהשוואה למעבדי סיליקון.

אין צייר כאלוקינו...

@jack כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

אבל ברצינות זה לא כל כך מופרך שחברה קטנה תשיג את מה שהגדולות היו עיוורות לו

לא קשור למופרך, עניין של צווארי בקבוק טכניים...

[מתכנת חובב]

@jack כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

הרי במוח שלנו (וגם של בע"ח) מתבצעים פעולות חישוביות הרבה יותר מורכבות ומהירות ובעלות אפסית בהשוואה למעבדי סיליקון.

אתה בטוח בזה? אני לא
הפעילות של המוח ושל מחשב שונות אחת מהשניה בצורה מהותית ונכון להיום אין טכנולוגיה שיודעת לחקות במדוייק את גוף האדם אבל גם כל האנשים בעולם לא יכולים לנצח את מחשב על במהירות ביצוע של חישובים מדוייקים
ואגב אני לא חושב שיש מישהו שטוען שהסיבה שאין רובוטים יומנואידים היא בגלל שאין מספיק כוח מחשוב

[NH.LOCAL]

@jack כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

אבל ברצינות זה לא כל כך מופרך שחברה קטנה תשיג את מה שהגדולות היו עיוורות לו

לא מופרך לחלוטין, אבל די קרוב לשם.
וההיסטוריה מוכיחה את זה.

פריצות דרך קטנות פה ושם בהחלט יכולות לקרות על ידי גופים קטנים, אבל לרוב לא מעבר לזה.

Spoiler

גם @רפאל-vnkl כתב לי באישי שהוא התכוון לסטארטפים של OpenAI ואנתרופיק, שהם למעשה רחוקים מלהיות "גוף קטן ומצוצמם עם משאבים מוגבלים ומומחים אלמונים" כמו המקרה הנוכחי

[י. פל.]

@NH.LOCAL כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

דוגמאות בבקשה

דיפסיק? או האלו של הווידאו?

[YAHBDK]

@המלאך

Spoiler

אתה חושב שהוא מאובטח?

[א.מ.ד.]

@י.-פל. כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

דיפסיק? או האלו של הווידאו?

דיפסיק היא ממש לא סטארט-אפ קטן. כבר בזמן השקת דיפסיק V3 היא היתה מוכרת בקהילת ה-AI.
גם לא בייטדאנס שאתה לכאורה מתכוון אליה. 150,000 עובדים זה קצת יותר מסטארטאפ.
חוץ מזה שאלו לא פריצות דרך משמעותיות אלא ייעול תהליכים קיימים.

[המלאך]

@YAHBDK מבחינת מה?
1 מדובר פה על גישה מוקדמת כן? רוב האנשים לא יזכו לכבוד.
2 הם טוענים שנתוני השיחה לא הולכים לאימון המודלים.
3 הם נראים די רשמיים.
4 יש להם גם [לטענתם השקעה של 20 m דולר.
אבל מכאן ועד לתת להם קוד מקור למערכת הפעלה חדשנית שלקח עשרות שנים לפתח? אולי קצת פחות.
לא הייתי שם שם דברים חשובים מדי בהתחלה. [שוב כל זה אם זה באמת כטענתם, ומסתמא שזה סתם ניפוח].

@א.מ.ד. כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

חוץ מזה שאלו לא פריצות דרך משמעותיות אלא ייעול תהליכים קיימים.

עדיין.
יש מצב שחברה קטנה תשנה דרך לחלוטין.
לחברות הענק יש אינטרס שלא לשנות כיוון, הם שנים מפתחים את המודלים שלהם על הארכיטקטורה שלהם בצורה ספציפית.
השינוי הזה זה שינוי רחב מאוד.

[NH.LOCAL]

@י.-פל. כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

דיפסיק? או האלו של הווידאו?

דיפסיק, Z.ai, Moonshot AI, Mi, שיומי, ושאר החברות הסיניות המתמחות במודלי AI, הן ממש לא סטארטפים קטנים. הם ממונים על ידי חברות ענק משומנות היטב בהרבה מאוד כסף

ואפילו הם מתמחים בעיקר בהעתקה מהחברות האמריקאיות, והן עושות את זה בהצלחה רבה יאמר לשבחן, וכמובן גם מביאות הרבה חידושים בתחום היעילות ושיפורי ארכקטורה. אבל שוב - הם ממש לא גופים קטנים עם מימון מוגבל, בדיוק להיפך

Mistral היא אולי אחת הדוגמאות לסטארטאפ לא גדול מידי שהביא מוצרים ברמה
אבל גם הם לא הביאו חידושים או פריצות דרך משמעותיות בתחום

לחידוד העניין:

לכל אחת מהסטארטאפים שציינתי יש מימון מגופים גדולים יותר בסדר גודל שמתחיל במליארד דולר לכל הפחות.

מימון של 20 מיליון דולר עבור subq, מרשים ככל שיהיה, הוא בקושי טיפה בים, ביחס לסדר גודל של ההשקעות של החברות המוכרות יותר הפועלות בתחום

[מתכנת חובב]

כבר היו מקרים מעולם של חברות קטנות ואנשים שהצליחו לפתח דברים שחברות גדולות נכשלו בהם
אם כי זה לא בר השוואה למאמץ עולמי בהיקף ובתקציב גדול כל כך
בכל אופן זה מעניין כדיון תיאורטי האם יש עדיפות לגוף גדול על פני צוות קטן בפיתוח של רעיון או שיטה חדשים לגמרי
אם הברק היכה אצל הצוות הקטן למה יש סיבה לחשוב שהחברה הגדולה הייתה אמורה להצליח יותר ממנו?
נדמיין את זה ככה
ניקח את כל הצוותים בכל החברות ואת הצוות הקטן שלנו
כל צוות עובד בנפרד
המעלה בחברות הגדולות היא שהצוותים נעזרים אחד בשני מה שלא קיים בצוות עצמאי
אבל יש לזה יתרון כשמגלים רעיון מהפכני?
אמנם יש פה שאלה של כוח מחשובי עצום שכנראה בכל מקרה יידרש אבל הדיון עדיין תקף ומעניין

[CSS 0]

@המלאך שלחו לי הודעה חזרה על ההרשמה למייל:

Spoiler

תודה שנרשמתם לגישה מוקדמת לגרסת הבטא של SubQ. התגובה ב-48 השעות האחרונות הייתה עצומה - וראינו את ההתרגשות והספקנות. שניהם הוגנים. אנחנו מעדיפים לזכות באמון מאשר לבקש אותו.

בשבוע הבא נפרסם את כרטיס המודל שלנו עם נתונים נוספים ואימות של צד שלישי. טענות לא שוות כלום בלי הוכחות, ואנחנו מתכננים לגבות את שלנו.

אנחנו גם מחזקים את לוח הזמנים של ההפצה שלנו ומתכננים להתחיל לפתוח בקרוב את גישת הבטא. חכו רגע. זה יהיה שווה את ההמתנה.

בינתיים, עקבו אחרינו ב-X:

אלכס (מייסד/מנהל טכנולוגיות ראשי)
תת-Q
תודה שהקדמתם. יש לנו הרבה מה להראות לכם.

אלכס וצוות SubQ

[NH.LOCAL]

@CSS-0 רק שים לב שגם לפי הטענות שלהם, המודל לא מביא ביצועי חלון הקשר יוצאי דופן ביחס למודלים הקיימים בשוק

[YAHBDK]

@CSS-0
מוזר אני קבלתי למייל משהו אחר

Spoiler

[א.מ.ד.]

@מתכנת-חובב כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

אמנם יש פה שאלה של כוח מחשובי עצום שכנראה בכל מקרה יידרש אבל הדיון עדיין תקף ומעניין

כמו שכתבתי, ייתכן שהם הגיעו לפריצת דרך בארכיטקטורה, אבל כדי להגיע לרמה של אופוס 4.7 הם צריכים את החומרה המתאימה והתקציב המתאים והדאטה המתאים. תקציב של 20 מיליון הוא ממש אפסי בתחום. אפילו דיפסיק שטוענת שעלות האימון היתה 5.6 מיליון, זה היה אחרי ניסוי וטעייה רבים, לא כולל משכורות ושאר עלויות של חברה, ולא כולל עלות החומרה, וכאמור דיפסיק כבר היתה אחרי שנים של פעילות מוערכת וצברה מספיק ידע.
להגיע עם 20 מיליון דולר להישגים כאלו זה נשמע מונפץ.

[מתכנת חובב]

@א.מ.ד. נראה שלא הבנת את כוונתי
אין שום אפשרות לדחות את האפשרות שהם הגיעו לפריצת דרך משמעותית שלא מצריכה תקציב גדול
אלא מה? בהתחשב בעובדה שהם אלפית מהמאמץ העולמי ופחות מזה התקציב אז אין לזה הרבה סיכוי אבל אי אפשר לשלול את זה לגמרי
הדיון שהצעתי היה תיאורטי ולא מעשי כי אין לי עניין לדון בדבר כל כך לא מסתבר
אם אתה חושב אחרת אשמח אם תוכל להציג טענה לוגית ולא כזאת שמתבססת על נתונים שלא רלוונטיים בהינתן מצב של פריצת דרך נדירה