בקשת מידע | בניית תוכנה שלימה עם AI

דאנציג

@לא-מתייאש כתב:

עכשיו עוד דבר שאני לא יודע, ואת זה, זה משהו משלי, האם יהיה לנו בכלל גישה ל-AI במחיר של היום ? משתמשים כבדים חישבו שמנוי של 200 דולר שווה אלפי דולרים בחודש לפי מחיר ה-API. נכון שה-API זה לא העלות האמיתית ושהעלויות יורדות, אבל ענקיות הטכנולוגיה שופכות השנה בערך 700 מיליארד דולר על תשתיות, ומי משלם ? היזמים ? עד מתי ?
ועוד דבר, OpenAI ו-Anthropic מכריזים בקול רם על כל מודל חדש, אבל את הרווחים שלהם הם לא מפרסמים, למה ? כי אין מה שאנחנו יודעים זה רק מהדלפות וזה מינוס עצום.

אם באמת החברות הגדולות במינוס, אז זה רק עניין של זמן כמו שכתבת.
אבל לדעתי בכל מקרה רק מי שיודע קוד ישאר בתחום.

והאמת היא, שבכונני SSD ובזכרון RAM כבר התפוצץ והמחירים קפצו ללא השוואה ללפני שנה וחצי, כך שזה באמת נשמע מאוד הגיוני.
ולכאורה סגירת המפרץ והתקיפות בסעודיה משפיעים המון על כל התפעול, ובפרט על הAI שצורך כמויות חשמל אסטרונומיות.

@לא-מתייאש כתב:

ומה עם המודלים הפתוחים ? ברור שהם לא ייעלמו, מי שהוריד מודל ישמור אותו, אבל מי יממן את הבא ?

@א.מ.ד.
כבר כתב על זה פוסט בעבר, אבל מכיון אחר, כך שבאמת נשמע שכדאי להוריד מודלים אופליין.

השאלה היא האם זה לא אותם חובבי קונספירציה שאומרים שכל הסיבה למעבר לרכב חשמלי היא כדי שכולם יהיו תלויים בחשמל, ואז יעלו את המחירים של החשמל וכו'.

רציונל

@NH.LOCAL כתב:

והמגמה ממשיכה גם במודלים הכי חזקים:
o3-pro עלה $20 למיליון טוקנים קלט ו-$80 בפלט. GPT-6.1 Sol עולה $2 ו-$10 בהתאמה, כלומר פי 8 עד 10 פחות למודל הרבה יותר טוב בפער - o3-pro קיבל 147 במדד ECI של Epoch, מול 166 ל-GPT-6.1 Sol. ב-ARC-AGI-2 הפער הוא 5% מול 94%.

כלומר בתוך 16 חודשים: כמעט עשירית המחיר, וביצועים גבוהים בפער עצום.

השאלה אם זה אמיתי או תחרות

דאנציג

@NH.LOCAL
השאלה היא האם החברות מרוויחות.
אתה אוהב לעשות תחקירים, (אני לא מבין בזה), אולי תעשה תחקיר כמה הרוויחו OPENAI, אנטרופיק וכו'.

NH.LOCAL

@רציונל כתב:

השאלה אם זה אמיתי או תחרות

@דאנציג כתב בבקשת מידע | בניית תוכנה שלימה עם AI:

@NH.LOCAL
השאלה היא האם החברות מרוויחות.
אתה אוהב לעשות תחקירים, (אני לא מבין בזה), אולי תעשה תחקיר כמה הרוויחו OPENAI, אנטרופיק וכו'.

איזו מן שאלה? לפי הנתונים אנתרופיק ברווח עצום על ההסקה. כולל המנויים.

ובכל מקרה, גם אם יש תחרות, חברות לא יכולות להוריד מחירים פי 1000 ועדיין להרוויח.
ירידה כזו חייבת לנבוע מירידת עלויות אמיתית, לא רק תחרות.

אסם יכולה להוריד את מחירי הבמבה ל-2 שקל לחבילה ועדיין להמשיך להרוויח.
אבל היא בהחלט לא יכולה להוריד את המחיר ל-2 אגורות לחבילה ועדיין להרוויח.

ישראל123

@דאנציג עד כמה שידוע לי אנת'רופיק נמצאים ברווח מסיבה פשוטה שהם הלכו ישירות למשתמשים העסקיים (לפני חצי שנה מעל 1000 לקוחות של מעל מיליון דולר) והיא תופסת נתח של 80% מהשוק העסקי. בשונה מאופןאי שהלכו על המשתמש הפרטי ונמצאים בהפסדים

NH.LOCAL

@ישראל123 כתב:

@דאנציג עד כמה שידוע לי אנת'רופיק נמצאים ברווח מסיבה פשוטה שהם הלכו ישירות למשתמשים העסקיים (לפני חצי שנה מעל 1000 לקוחות של מעל מיליון דולר) והיא תופסת נתח של 80% מהשוק העסקי. בשונה מאופןאי שהלכו על המשתמש הפרטי ונמצאים בהפסדים

ההפסדים הם בגלל עלות אימוני מודל, לא בגלל הסקה למשתמשים. רוב המחשוב היום הולך לאימון ולא להסקה.

ושוב, זה לא באמת משנה את העובדה שהמחירים ירדו באופן אמיתי, לא רק תחרות.

אתה באופן אישי יכול להריץ מודלים ברמה גבוהה יותר מ-GPT 4 על המחשב האישי שלך.
זה נובע ישירות מיעילות עצומה של המודלים, לא מתחרות.

רציונל

@NH.LOCAL כתב:

איזו מן שאלה? לפי הנתונים אנתרופיק ברווח עצום על ההסקה. כולל המנויים.

אם כך צודק אבל לפי הנתונים של @לא-מתייאש זה לא כך אז זה צריך בירור
בכל מקרה ואני לא חושב שתחלוק על זה , כשהשוק יתייצב, וחלק מהחברות יקרסו ואלה שניצחו יהיהו בטוחות בעצמם, המחירים יעלו

NH.LOCAL

@רציונל כתב:

בכל מקרה ואני לא חושב שתחלוק על זה , כשהשוק יתייצב, וחלק מהחברות יקרסו ואלה שניצחו יהיהו בטוחות בעצמם, המחירים יעלו

בטווח הארוך אנחנו צועדים בבירור לאינטליגנציה זולה מידי למדידה. אין מנוס מלהגיע לשם.

אם כך צודק אבל לפי הנתונים של @לא-מתייאש זה לא כך אז זה צריך בירור

@לא-מתייאש הוא מתכנת ענק, מנוסה בהרבה ויותר שנים בתחום ממני. אני מעריך אותו מאוד על היכולות שלו, אבל בתחום ה-AI הוא פשוט טועה או לא מעודכן.

מוסכם לגמרי ש-AI עדיין טועה לא מעט, דורש פיקוח הדוק, ויש לו כמה בעיות מהותיות.
עם זאת, בדיוק כמו יאן לקון, נראה שהתפיסה שלו מוטה חזק מידי נגד LLMs, והנתונים שלו לא תואמים את המגמות בפועל בשנים האחרונות.

במשך שנים מתכנתים וחוקרי AI רבים טעו שוב ושוב בתחזיות או זיהוי מגמות בתחום ה-AI. היותך מתכנת טוב לא נותנת לך יותר ידיעה על המצב, להיפך היא גורמת להטיה קשה, בגלל הפחד לאבד את היתרון מול שאר האנושות.

אני עוקב אחרי הנושא כבר 4 שנים ותמיד הייתי אופטימיסט, עוד כש-AI בקושי הצליח לכתוב פוקנציה.
מתכנתים באופן עקבי ניסו לטמון את הראש בחול, זה לא עבד להם, וחבל.

רבים וטובים מ@לא-מתיאש, כולל כאלו שבתחום כבר 30 שנה ויותר, כבר הבינו את המצב, וזה לא הולך להשתנות.

@לא-מתייאש כפי שכתבתי, ניפגש שוב בעוד שנה. בוא נראה מי רואה טוב יותר את קו המגמה.

תרגום: בכל אחד מהקומיקסים כתוב "זה בועה..."

צדיק תמים

@לא-מתייאש כתב:

עכשיו עוד דבר שאני לא יודע, ואת זה, זה משהו משלי, האם יהיה לנו בכלל גישה ל-AI במחיר של היום ? משתמשים כבדים חישבו שמנוי של 200 דולר שווה אלפי דולרים בחודש לפי מחיר ה-API. נכון שה-API זה לא העלות האמיתית ושהעלויות יורדות, אבל ענקיות הטכנולוגיה שופכות השנה בערך 700 מיליארד דולר על תשתיות, ומי משלם ? היזמים ? עד מתי ?

מנכ"ל opencode כתב שעל הרצת מודלים פתוחים יש לחברה שלו 80% רווח ושסביר שהרווח של קלוד על האינפרנס זה 90% בערך

י. פל.

@אוויר כתב:

ציטוט טרי כמה שווה AI

בכוונה אתה לא מביא גם את זה?
https://www.geektime.co.il/16-year-old-researcher-finds-microsoft-bug/

@לא-מתייאש כתב:

גם את זה OpenAI כתבו בעצמם במאמר שלהם.

אתה לא מציין שהמאמר הזה ישן מאוד מאוד.

@לא-מתייאש כתב:

אבל לפטר מסיבות כלכליות זה לא נראה טוב בעיני המשקיעים, אז אמרו "אנחנו עוברים ל-AI". קוראים לזה "AI-washing"

טיעון שנאמר לפני כשנה וחצי לערך. עד עכשיו עוד מפטרים עובדים בגלל 2022-2023?

@לא-מתייאש כתב:

רק שיש דרישות רק לסניורים

אין לי כח לחפש, אבל בגיקטיים - שבישראל נחשב לאחד האתרים החשובים - נכתב במפורש לפני תקופה, שהסיניורים מתחילים להרגיש היטב את גלי הפיטורים.

@לא-מתייאש כתב:

ומי משלם ? היזמים ? עד מתי ?

כבר ענה על זה @nh.local - עובדתית זה לא נכון.

@לא-מתייאש כתב:

אבל את הרווחים שלהם הם לא מפרסמים,

ומה עם התשקיפים הראשוניים לבורסה, שכבר פורסמו?

@לא-מתייאש כתב:

אוליי אפשר להשוות את זה לקונקורד, הטכנולוגיה עבדה, מ-1977 טסו מלונדון ופריז לניו יורק בשלוש וחצי שעות, היו לקוחות, אבל כרטיס הלוך חזור עלה בערך 12,000 דולר, העלויות עלו, הביקוש ירד, וב-2003 זה פשוט נעצר. כבר יותר מעשרים שנה אין טיסות על-קוליות. הטכנולוגיה לא נעלמה, הכלכלה הרגה אותה. ובמקרה הטוב זה יהיה כמו אובר, שנים של נסיעות זולות על חשבון המשקיעים, ואחר כך המחירים קפצו בכמעט 92% בין 2018 ל-2021.

הדוגמא שלך תפסה אותי.
הקונקוד היה מוצר מצליח. אבל הוא - בניגוד למה שאתה כותב - לא מת בגלל חוסר רווחיות!!! הוא מת בגלל התערבות הרגולטור - בום על קולי, וכולי.
זה אכן סכנה גדולה: אם הרגולטור יעצור את הפיתוח בגלל הסכנות שבAI, הסוף יהיה אכן כמו הקונקורד... לא בגלל אי-רווחיות מהמודל: בגלל אי-רווחיות לאחר ההגבלות!

@לא-מתייאש כתב:

אפילו 32B שאומן ביעילות (OLMo 3) לקח בערך חודשיים על 1,024 כרטיסי H100, זה מיליוני דולרים רק בחישוב.

חודשיים?
https://www.geektime.co.il/reflection-seeks-to-be-american-deepseek-and-launches-beam-model/#:~:text=תהליך האימון של המודל נמשך ארבעה שבועות בלבד%2C אך דרש כמות אדירה של חומרה – למעלה מעשרת אלפים שבבי Blackwell של אנבידיה
כן, זה היה הרבה שבבים. אבל פחות מחודש!!!

@לא-מתייאש כתב:

ובינתיים גם החשמל לא עומד בקצב, בניית מרכזי נתונים כבר מתעכבת כי אין חיבורים לרשת.

רק בישראל. לפחות כך ידוע לי.

לסיכום: דעתך בתיכנות, אני חושב עדיפה על כל חברי הפורום כאן. אתה, בשנה מכולם, מתכנת ברמה בין לאומית.
אבל בנושא הזה, נראה שאין לך זמן להתעדכן ברמה היומ-יומית, כי אתה עושה דברים ענקיים!
אני מבקש שח"ו לא תראה פה פגיעה חלילה... זה רק דיון ענייני על העתיד וההווה של הAI.

NH.LOCAL

@י.-פל. כתב:

זה אכן סכנה גדולה: אם הרגולטור יעצור את הפיתוח בגלל הסכנות שבAI, הסוף יהיה אכן כמו הקונקורד... לא בגלל אי-רווחיות מהמודל: בגלל אי-רווחיות לאחר ההגבלות!

רק הערה קטנה: רגולטור יכול לעצור מטוסים, הוא לא יכול לעצור מודלי AI בקוד פתוח. זה פשוט לא ריאלי.
זה בערך כמו הניסיון הרגולטורי לעצור העתקה פיראטית של אלבומי זמרים...

וב"ה טראמפ בשלטון, אז לפחות בעתיד הקרוב אנחנו מסודרים...

י. פל.

@NH.LOCAL כתב:

וב"ה טראמפ בשלטון, אז לפחות בעתיד הקרוב אנחנו מסודרים...

לא בטוח. אם מחר בבוקר הוא יקום מצונן, יתכן שהוא יאסור + עונש מוות בתלייה על שימוש בAI

NH.LOCAL

@י.-פל. כתב:

לא בטוח. אם מחר בבוקר הוא יקום מצונן, יתכן שהוא יאסור + עונש מוות בתלייה על שימוש בAI

זה כבר היה רעיון של בארני סאנדרס... הימין אף פעם לא היה כזה פאשיסטי