שיתוף | תקרת הזכוכית של עולם הAI התפוצצה????

[NH.LOCAL]

@רפאל-vnkl כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

@NH.LOCAL מה זאת אומרת. המון פרצות דרך משמעותיות הגיעו דווקא מהסטארטאפים הקטנים!

דוגמאות בבקשה

Spoiler

גם OpenAI ואנתרופיק הן "סטארטאפ" בהגדרה, אבל בפועל הם גופי ענק עם מומחים גדולים וותיקים בתחום ה-AI, ומימון בסדרי גודל עצומים, לא בדיוק הסטארטאפ הקלאסי...

[דוד 33]

@המלאך
מה ניתן ליצור בAI הזה?

[המלאך]

@דוד-33 קודם כל.
נכון להרגע לא ניתן להשתמש בו. הוא ניסיוני.
מה שאומר שהם כרגע מחפשים משתמשים שיבדקו אותו.
ניתן להגיש בקשה בקישור בפוסט הראשון.
לגבי עצם השימוש מדובר פה בLLM רגיל. כמו GPT וג'מיני.

[א.מ.ד.]

@המלאך נשמע מאוד מוזר. מילא להצליח לפתור בעיה בארכיטקטורת הטרנספורמר הקלאסית. אבל שהאיכות תעלה על כל המודלים המובילים, בלי שיש להם אפילו מאית מכוח החישוב שיש לשחקנים הגדולים, אין להם את הדאטה העצום, אין להם את המדענים הגדולים בתחום, ואין להם מימון לדבר הזה... זה נראה זיוף.
ראיתי כבר כמה פעמים בחודשים האחרונים דברים בסגנון, לדוגמא סטארטאפ אחד שטען שהצליח לפתח מודל שיכול להתרחב לפי דרישות המשימה או משהו ברעיון, או חברה שהעלתה אלפי מודלים ל-HF עד שאחד מרדיט גילה שאלו העתקים מדוייקים של מודלים אחרים, אפילו עם אותו HASH.
עוד דבר מוזר זה שבדרך כלל בפריצות דרך כמו בקלוד מיתוס החברה מאפשרת גישה מגבלת למספר מצומצם של אנשי מקצוע וידוענים בתחום שמנסים את הטכנולוגיה החדשה, ורק אז זה מתפרסם. הפעם חוץ מהפרסום באתר אין שום מקור שזה נכון...

[המלאך]

@א.מ.ד. ייתכן.
כמו שאמר @nh.local אי אפשר להאמין עד שיביאו הוכחה.
אבל על הצד שכן, זה ממש יהיה מטורף.
בכל קנה מידה,
בכל מקרה נרשמתי, נראה מה התקדם עם זה..

[א.מ.ד.]

@המלאך אגב, הרעיון שהם מביאים לא כזה מופרך, כי את בעיית העלייה הריבועית בצריכת החישוב שיש בטרנספורמר הרגיל, כבר פתרו מזמן עם ארכיטקטורת ה-MAMBA שבה צריכת החישוב עולה באופן ליניארי. אז אולי זה באמת מודל המבוסס על MAMBA רק שאומן להקשר ארוך. ייתכן שמעבר למיליון טוקנים האיכות גרועה, פשוט אין למה להשוות...
מעניין גם שבשם המודל כתוב 1M ולא 12M...

[jack]

@א.מ.ד. האמת אני מתפלא אבל בדיוק להיפך.

הרי במוח שלנו (וגם של בע"ח) מתבצעים פעולות חישוביות הרבה יותר מורכבות ומהירות ובעלות אפסית בהשוואה למעבדי סיליקון.

אבל ברצינות זה לא כל כך מופרך שחברה קטנה תשיג את מה שהגדולות היו עיוורות לו

[א.מ.ד.]

@jack כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

@א.מ.ד. האמת אני מתפלא אבל בדיוק להיפך.

הרי במוח שלנו (וגם של בע"ח) מתבצעים פעולות חישוביות הרבה יותר מורכבות ומהירות ובעלות אפסית בהשוואה למעבדי סיליקון.

אין צייר כאלוקינו...

@jack כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

אבל ברצינות זה לא כל כך מופרך שחברה קטנה תשיג את מה שהגדולות היו עיוורות לו

לא קשור למופרך, עניין של צווארי בקבוק טכניים...

[מתכנת חובב]

@jack כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

הרי במוח שלנו (וגם של בע"ח) מתבצעים פעולות חישוביות הרבה יותר מורכבות ומהירות ובעלות אפסית בהשוואה למעבדי סיליקון.

אתה בטוח בזה? אני לא
הפעילות של המוח ושל מחשב שונות אחת מהשניה בצורה מהותית ונכון להיום אין טכנולוגיה שיודעת לחקות במדוייק את גוף האדם אבל גם כל האנשים בעולם לא יכולים לנצח את מחשב על במהירות ביצוע של חישובים מדוייקים
ואגב אני לא חושב שיש מישהו שטוען שהסיבה שאין רובוטים יומנואידים היא בגלל שאין מספיק כוח מחשוב

[NH.LOCAL]

@jack כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

אבל ברצינות זה לא כל כך מופרך שחברה קטנה תשיג את מה שהגדולות היו עיוורות לו

לא מופרך לחלוטין, אבל די קרוב לשם.
וההיסטוריה מוכיחה את זה.

פריצות דרך קטנות פה ושם בהחלט יכולות לקרות על ידי גופים קטנים, אבל לרוב לא מעבר לזה.

Spoiler

גם @רפאל-vnkl כתב לי באישי שהוא התכוון לסטארטפים של OpenAI ואנתרופיק, שהם למעשה רחוקים מלהיות "גוף קטן ומצוצמם עם משאבים מוגבלים ומומחים אלמונים" כמו המקרה הנוכחי

[י. פל.]

@NH.LOCAL כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

דוגמאות בבקשה

דיפסיק? או האלו של הווידאו?

[YAHBDK]

@המלאך

Spoiler

אתה חושב שהוא מאובטח?

[א.מ.ד.]

@י.-פל. כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

דיפסיק? או האלו של הווידאו?

דיפסיק היא ממש לא סטארט-אפ קטן. כבר בזמן השקת דיפסיק V3 היא היתה מוכרת בקהילת ה-AI.
גם לא בייטדאנס שאתה לכאורה מתכוון אליה. 150,000 עובדים זה קצת יותר מסטארטאפ.
חוץ מזה שאלו לא פריצות דרך משמעותיות אלא ייעול תהליכים קיימים.

[המלאך]

@YAHBDK מבחינת מה?
1 מדובר פה על גישה מוקדמת כן? רוב האנשים לא יזכו לכבוד.
2 הם טוענים שנתוני השיחה לא הולכים לאימון המודלים.
3 הם נראים די רשמיים.
4 יש להם גם [לטענתם השקעה של 20 m דולר.
אבל מכאן ועד לתת להם קוד מקור למערכת הפעלה חדשנית שלקח עשרות שנים לפתח? אולי קצת פחות.
לא הייתי שם שם דברים חשובים מדי בהתחלה. [שוב כל זה אם זה באמת כטענתם, ומסתמא שזה סתם ניפוח].

@א.מ.ד. כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

חוץ מזה שאלו לא פריצות דרך משמעותיות אלא ייעול תהליכים קיימים.

עדיין.
יש מצב שחברה קטנה תשנה דרך לחלוטין.
לחברות הענק יש אינטרס שלא לשנות כיוון, הם שנים מפתחים את המודלים שלהם על הארכיטקטורה שלהם בצורה ספציפית.
השינוי הזה זה שינוי רחב מאוד.

[NH.LOCAL]

@י.-פל. כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

דיפסיק? או האלו של הווידאו?

דיפסיק, Z.ai, Moonshot AI, Mi, שיומי, ושאר החברות הסיניות המתמחות במודלי AI, הן ממש לא סטארטפים קטנים. הם ממונים על ידי חברות ענק משומנות היטב בהרבה מאוד כסף

ואפילו הם מתמחים בעיקר בהעתקה מהחברות האמריקאיות, והן עושות את זה בהצלחה רבה יאמר לשבחן, וכמובן גם מביאות הרבה חידושים בתחום היעילות ושיפורי ארכקטורה. אבל שוב - הם ממש לא גופים קטנים עם מימון מוגבל, בדיוק להיפך

Mistral היא אולי אחת הדוגמאות לסטארטאפ לא גדול מידי שהביא מוצרים ברמה
אבל גם הם לא הביאו חידושים או פריצות דרך משמעותיות בתחום

לחידוד העניין:

לכל אחת מהסטארטאפים שציינתי יש מימון מגופים גדולים יותר בסדר גודל שמתחיל במליארד דולר לכל הפחות.

מימון של 20 מיליון דולר עבור subq, מרשים ככל שיהיה, הוא בקושי טיפה בים, ביחס לסדר גודל של ההשקעות של החברות המוכרות יותר הפועלות בתחום

[מתכנת חובב]

כבר היו מקרים מעולם של חברות קטנות ואנשים שהצליחו לפתח דברים שחברות גדולות נכשלו בהם
אם כי זה לא בר השוואה למאמץ עולמי בהיקף ובתקציב גדול כל כך
בכל אופן זה מעניין כדיון תיאורטי האם יש עדיפות לגוף גדול על פני צוות קטן בפיתוח של רעיון או שיטה חדשים לגמרי
אם הברק היכה אצל הצוות הקטן למה יש סיבה לחשוב שהחברה הגדולה הייתה אמורה להצליח יותר ממנו?
נדמיין את זה ככה
ניקח את כל הצוותים בכל החברות ואת הצוות הקטן שלנו
כל צוות עובד בנפרד
המעלה בחברות הגדולות היא שהצוותים נעזרים אחד בשני מה שלא קיים בצוות עצמאי
אבל יש לזה יתרון כשמגלים רעיון מהפכני?
אמנם יש פה שאלה של כוח מחשובי עצום שכנראה בכל מקרה יידרש אבל הדיון עדיין תקף ומעניין

[CSS 0]

@המלאך שלחו לי הודעה חזרה על ההרשמה למייל:

Spoiler

תודה שנרשמתם לגישה מוקדמת לגרסת הבטא של SubQ. התגובה ב-48 השעות האחרונות הייתה עצומה - וראינו את ההתרגשות והספקנות. שניהם הוגנים. אנחנו מעדיפים לזכות באמון מאשר לבקש אותו.

בשבוע הבא נפרסם את כרטיס המודל שלנו עם נתונים נוספים ואימות של צד שלישי. טענות לא שוות כלום בלי הוכחות, ואנחנו מתכננים לגבות את שלנו.

אנחנו גם מחזקים את לוח הזמנים של ההפצה שלנו ומתכננים להתחיל לפתוח בקרוב את גישת הבטא. חכו רגע. זה יהיה שווה את ההמתנה.

בינתיים, עקבו אחרינו ב-X:

אלכס (מייסד/מנהל טכנולוגיות ראשי)
תת-Q
תודה שהקדמתם. יש לנו הרבה מה להראות לכם.

אלכס וצוות SubQ

[NH.LOCAL]

@CSS-0 רק שים לב שגם לפי הטענות שלהם, המודל לא מביא ביצועי חלון הקשר יוצאי דופן ביחס למודלים הקיימים בשוק

[YAHBDK]

@CSS-0
מוזר אני קבלתי למייל משהו אחר

Spoiler

[א.מ.ד.]

@מתכנת-חובב כתב בשיתוף | תקרת הזכוכית של עולם הAI התפוצצה????:

אמנם יש פה שאלה של כוח מחשובי עצום שכנראה בכל מקרה יידרש אבל הדיון עדיין תקף ומעניין

כמו שכתבתי, ייתכן שהם הגיעו לפריצת דרך בארכיטקטורה, אבל כדי להגיע לרמה של אופוס 4.7 הם צריכים את החומרה המתאימה והתקציב המתאים והדאטה המתאים. תקציב של 20 מיליון הוא ממש אפסי בתחום. אפילו דיפסיק שטוענת שעלות האימון היתה 5.6 מיליון, זה היה אחרי ניסוי וטעייה רבים, לא כולל משכורות ושאר עלויות של חברה, ולא כולל עלות החומרה, וכאמור דיפסיק כבר היתה אחרי שנים של פעילות מוערכת וצברה מספיק ידע.
להגיע עם 20 מיליון דולר להישגים כאלו זה נשמע מונפץ.