הסבר | מדריכי AI מאלף עד תיו | תגובות

[המלאך]

@hartkhartk העלת שם הרבה מושגים, רובם לא קשורים ואת 90% מהם רוב מתכנתי הAI לא מכירים ולא צריכים להכיר, אם כוונתך לכך אז אתה לא אמור להכיר את המושגים, אלא רק את הבסיס של הדרך לשימוש בסוכני קוד,
אם רצונך להיות מדען נתונים או כל מיקצוע אחר דומה לכך, אז המדריכים להערכתי יקדמו אותך,

בעיקרון אני מתכנן במדריך הבא לגעת בנושא החשיבה של הAI וזה אמור לגעת בהמון מונחים..

[NH.LOCAL]

@hartkhartk כתב:

ומעל הכל האם תחום זה גם נטרף\יטרף על ידי ה-ai?

כן, בוודאי. הוא לא שונה מהותית משאר תחומי התכנות

[המלאך]

@י.-פל. בזה צודק.

אז אולי צריך לומר 'המציא ארכיטקטורה', כפשרה

דרך אגב, כל התקדמות הבינה משקפת יחד עם התקדמות המעבדים, כמו שאחרי הGPU ועונת משחקי המחשב הרשתות צצו, כך אחרי הTPU צצו מודלי ההסקה (טוב טכנית זה היה הפוך אבל הצד השווה שבהם שהם באו אחד אחרי השני..)

[NH.LOCAL]

@המלאך כתב:

@י.-פל.
כן,
העניין הוא שהGPU לכשלעצמו היה כלי עזר לדיפ לרנינג ולא להפך..
אחרי הכל אתה לא מהסוברים שהתוכנה היא כלי עזר לחומרה אלא להפך..

@י.-פל. כתב:

נכון, אבל בלעדיו לא היה מתחיל כלום.
כלומר, מודל התמונה לא חידש שום דבר מיוחד. הכל היה לפני.
מה שהוא חידש זה הגודל, וזה התאפשר רק בגלל הgpu.

בתחום הזה, במידה רבה מה שבאמת חשוב זה החומרה וגודל הנתונים. לכן, פריצות דרך בתחום החומרה תמיד יובילו לפריצות דרך של המודלים עצמם.

GPT 3 נוצר ישירות מיכולות ה-GPU החדשות שהחלו להתגלגל באותה תקופה סביב 2020.

למעשה מעבדי ה-T100 של NVIDIA הכשירו את הדרך לפריצה של התחום באופן ישיר

ע"ע הלקח המר, לפיו לטווח ארוך הגדלה של אימון וחישוב מודלי AI, תמיד יהיה יעיל יותר מכוונון ושיפור אנושי של המודלים

@י.-פל. כתב:

אגב, לא זוכר כרגע את שם המגלה - אבל כמדומני שהוא עבד אחר-כך במטא או בגוגל. כללית, כל מי שהתעסק בזה אז, היום הוא מהמובילים בתעשייה, ונחשב ל״נביא״

אאל"ט אתה מתכוון ליאן לקון

[י. פל.]

@NH.LOCAL כתב:

ליאן לקון

חושב כך, תודה.
אגב - מאז הוא הספיק להפוך לרואה השחורות של התעשיה...

[י. פל.]

@המלאך
בזכות הקישור של @nh.local נזכרתי בשאלה שניקרה לי כל הזמן: איך לא כתבת מילה על הפרספטרון???

[NH.LOCAL]

@י.-פל. כתב:

חושב כך, תודה.
אגב - מאז הוא הספיק להפוך לרואה השחורות של התעשיה...

או ללוזר של התעשייה אם תרצה.

הוא נכשל בגדול בדרך הרגילה, לא פלא שהוא מערער עליה

[המלאך]

@NH.LOCAL כתב:

בתחום הזה, במידה רבה מה שבאמת חשוב זה החומרה וגודל הנתונים. לכן, פריצות דרך בתחום החומרה תמיד יובילו לפריצות דרך של המודלים עצמם.

כך גם קרה עם מודלי ההסקה שאחריהם צצו הארכיטקטורות של TPU וכו',

המלאך כתב:

דרך אגב, כל התקדמות הבינה משקפת יחד עם התקדמות המעבדים, כמו שאחרי הGPU ועונת משחקי המחשב הרשתות צצו, כך אחרי הTPU צצו מודלי ההסקה (טוב טכנית זה היה הפוך אבל הצד השווה שבהם שהם באו אחד אחרי השני..)

@NH.LOCAL כתב:

T100

כוונתך לH100.

[NH.LOCAL]

@המלאך כתב:

כוונתך לH100.

H100 זה מעבד מודרני בהרבה, שיצא רק ב-2022, סביר להניח שהוא שימש לאימון של GPT 4.5 או 5, לא של GPT 3

[המלאך]

@י.-פל. התשובה פשוטה.
הוא לא היווה פריצת דרך מדעית.
יותר מאשר ניסיונות אחרים כמו אלגריתם Backpropagation,
או רשתות מורכבות אחרות.

@NH.LOCAL כתב:

H100 זה מעבד מודרני בהרבה, שיצא רק ב-2022, סביר להניח שהוא שימש לאימון של GPT 4.5 והלאה, לא של GPT 3

אבל לא זכור לי על מעבד בשם T100, אולי A 100 או שיותר טוב אם תכווין אותי למקום שבו הוא מצויין..

עריכה: אולי טסלה של אינבידיה? (בקיצור T)

[המלאך]

@nh.local @י.-פל. אם כבר מה שהיווה פורץ דרך היה גם זמינות הדאטה סט הענקיים, כמו האינטרנט.. שהיה אז עם הניילונים..

[NH.LOCAL]

@המלאך כתב:

אבל לא זכור לי על מעבד בשם T100, אולי A 100 או שיותר טוב אם תכווין אותי למקום שבו הוא מצויין..

T100 הוא מעבד שיצא ב-2017. אחר כך יצאו גם A100, H100 וגם B100

סדרת ה-T, יצאה ב-2017, סדרת ה-A ב-2020, סדרת ה-H ב-2022/2023, וה-B (Blackwell) ב-2024

@המלאך כתב בהסבר | מדריכי AI מאלף עד תיו | תגובות:

@nh.local @י.-פל. אם כבר מה שהיווה פורץ דרך היה גם זמינות הדאטה סט הענקיים, כמו האינטרנט.. שהיה אז עם הניילונים..

גם וגם. זה כמובן שילוב של כמה נתונים שאפשרו את ההתקדמות, שפשוט לא היו קיימים לפני.

הרשתות החברתיות, האינטרנט, יוטיוב, דיגיטציה של ארכיונים, חומרה חזקה יותר וכו'

[י. פל.]

@המלאך כתב:

הוא לא היווה פריצת דרך מדעית.

אני לא יודע אם אני יכול להתווכח אתך - אבל להידוע לי הוא הראשון שהניח את היסודות ללמידה עמוקה אמיתית.
הוא הדגים בפועל איך לבנות את זה.
היה חסר לו את הידע לכוונון שכבות עמוקות (קרא פה) ולכן הוא נכשל...

[המלאך]

@י.-פל. יותר מדוייק.
מנגנון הפרספטון נכשל מתמטית.
הוא הצליח לפתור בעיות פשוטות (לינאריות),
אבל נכשל ברשת רב שכבתית (Multilayer Perceptron).

מנגנון הפעפוע לאחור בא לתת תשובה בדיוק לזה.
הוא 'חוזר אחורה' ובודק איפה הנוירון נכשל..

אבל תכלס' שיטת החישוב הייתה שונה.
במקום אפס אחד פשוט - לכאלה שמאפשרות חישובי גרדיאטנט לאחור..

עריכה: קוראים לזה גרידאטנט או גרידיאנט?

[NH.LOCAL]

@י.-פל. כתב:

אני לא יודע אם אני יכול להתווכח אתך - אבל להידוע לי הוא הראשון שהניח את היסודות ללמידה עמוקה אמיתית.
הוא הדגים בפועל איך לבנות את זה.
היה חסר לו את הידע לכוונון שכבות עמוקות (קרא פה) ולכן הוא נכשל...

לא נראה שמדובר עלארכיקטורה חשובה או משמעותית באמת במבט היסטורי

אני יכול לשער שאם תחפש ציטוטים של המחקר או על המושג, תמצא מעט מאוד אזכורים ביחס למושגים אחרים כמו RNN או CNN

(אם הוא נכשל כנראה שבפועל הוא לא היה רלוונטי...)

[י. פל.]

@NH.LOCAL כתב:

(אם הוא נכשל כנראה שבפועל הוא לא היה רלוונטי...)

כפי שכתבתי, הוא נכשל כי חייבים המון שכבות בשביל לקבל תוצאות טובות - והוא לא ידע איך לתקן (לכוונן) שכבות אמצע.

[המלאך]

@NH.LOCAL כתב:

אם הוא נכשל כנראה שבפועל הוא לא היה רלוונטי...

טכנית זה לא מדוייק.
הוא היווה הבסיס למנגנון הפיעפוע לאחור, שהיווה הבסיס לרשת אלקסנט ב2012..

[צדיק וטוב לו 0]

איך מאשכול לחסרי ידע, זה נהפך לאשכול לדוברי סינית?

[המלאך]

@צדיק-וטוב-לו-0 כל הפואנטה במדריך זה ללמד אותך סינית.
לא להוך אותה לעברית..

[cfopuser]

@המלאך פוסט יפה מאוד,
אולי הייתי מכניס את ההקשר על eliza (שגם אם זה לא ai במובן הקלאסי של המילה היה אחת מפרצות הדרך הראשונות והיווה זינוק גדול עבור הרבה מהשמות שהתקדמו גם אם היוצר די ירד מהפסים)
ועל התמימות שהיה בתחילת התהליך על הזמן שזה יקח (טיפה לתת לזה גוון של סיפור מאשר רשימה של עובדות).