הסבר | מדריכי AI מאלף עד תיו | תגובות

[hartkhartk]

@המלאך אני אשמח שתתיחס לשאלות כאן
https://mitmachim.top/topic/99316/בקשת-מידע-בקשת-סדר-בכל-תחום-הפיתוח-ai

ציטוט בספוילר

Spoiler

אני מתכנת פייתון פולסטאק שכמו כולם נטרף מקצועו בגלל ה-ai
ולכן חשבתי להכנס לתחום הפיתוח ai
אבל כשהתחלתי לחקור גיליתי ים של שמות מקצועות
LM, LLM, AI Engineer, Deep Learning, AI Research Scientist, Fine-tuning ועוד ועוד ועוד...
חשבתי אם מישהו יוכל לעשות לי כאן סדר מה הם המקצועות הקיימים ומה תפקיד כל מקצוע איך אני נכנס לתחום ומה הידע הקודם הדרוש (מתמטיקה ועוד) ובאיזה רמה צריך לדעת את הידע הקודם הזה

ומעל הכל האם תחום זה גם נטרף\יטרף על ידי ה-ai?

וגם היכן אפשר ללמוד את זה? (כוונתי מקצועי ולא קורסי חינם חובבניים)

[י. פל.]

@המלאך
מדריך יפהפה!
המהפך שקרה, שבעקבותיו הוצג מודל זיהוי התמונה הראשון, היה מעבר מcpu אל gpu, לאחר שהמעבדים התקדמו דיים (וזו התועלת היחידה מקהילת הגיימינג...)
הdeep learning היה סה״כ ״שינוי השם״ (שעזר...), מכיון שהמקצוע היה די ״מוקצה מחמת מיאוס״....

[המלאך]

@י.-פל.
כן,
העניין הוא שהGPU לכשלעצמו היה כלי עזר לדיפ לרנינג ולא להפך..
אחרי הכל אתה לא מהסוברים שהתוכנה היא כלי עזר לחומרה אלא להפך..
@hartkhartk אשתדל.

[פלמנמוני]

@המלאך

@המלאך כתב:

שימו לב!! המדריך לא נכתב בכלל על ידי בינה מלאכותית. אין צורך לשאול אותי על כך, (ולכן גם ייתכנו טעויות..)

לא לכן, אלא אף על פי כן.

[י. פל.]

@המלאך כתב:

העניין הוא שהGPU לכשלעצמו היה כלי עזר לדיפ לרנינג ולא להפך..

נכון, אבל בלעדיו לא היה מתחיל כלום.
כלומר, מודל התמונה לא חידש שום דבר מיוחד. הכל היה לפני.
מה שהוא חידש זה הגודל, וזה התאפשר רק בגלל הgpu. אגב, לא זוכר כרגע את שם המגלה - אבל כמדומני שהוא עבד אחר-כך במטא או בגוגל. כללית, כל מי שהתעסק בזה אז, היום הוא מהמובילים בתעשייה, ונחשב ל״נביא״

[המלאך]

@hartkhartk העלת שם הרבה מושגים, רובם לא קשורים ואת 90% מהם רוב מתכנתי הAI לא מכירים ולא צריכים להכיר, אם כוונתך לכך אז אתה לא אמור להכיר את המושגים, אלא רק את הבסיס של הדרך לשימוש בסוכני קוד,
אם רצונך להיות מדען נתונים או כל מיקצוע אחר דומה לכך, אז המדריכים להערכתי יקדמו אותך,

בעיקרון אני מתכנן במדריך הבא לגעת בנושא החשיבה של הAI וזה אמור לגעת בהמון מונחים..

[NH.LOCAL]

@hartkhartk כתב:

ומעל הכל האם תחום זה גם נטרף\יטרף על ידי ה-ai?

כן, בוודאי. הוא לא שונה מהותית משאר תחומי התכנות

[המלאך]

@י.-פל. בזה צודק.

אז אולי צריך לומר 'המציא ארכיטקטורה', כפשרה

דרך אגב, כל התקדמות הבינה משקפת יחד עם התקדמות המעבדים, כמו שאחרי הGPU ועונת משחקי המחשב הרשתות צצו, כך אחרי הTPU צצו מודלי ההסקה (טוב טכנית זה היה הפוך אבל הצד השווה שבהם שהם באו אחד אחרי השני..)

[NH.LOCAL]

@המלאך כתב:

@י.-פל.
כן,
העניין הוא שהGPU לכשלעצמו היה כלי עזר לדיפ לרנינג ולא להפך..
אחרי הכל אתה לא מהסוברים שהתוכנה היא כלי עזר לחומרה אלא להפך..

@י.-פל. כתב:

נכון, אבל בלעדיו לא היה מתחיל כלום.
כלומר, מודל התמונה לא חידש שום דבר מיוחד. הכל היה לפני.
מה שהוא חידש זה הגודל, וזה התאפשר רק בגלל הgpu.

בתחום הזה, במידה רבה מה שבאמת חשוב זה החומרה וגודל הנתונים. לכן, פריצות דרך בתחום החומרה תמיד יובילו לפריצות דרך של המודלים עצמם.

GPT 3 נוצר ישירות מיכולות ה-GPU החדשות שהחלו להתגלגל באותה תקופה סביב 2020.

למעשה מעבדי ה-T100 של NVIDIA הכשירו את הדרך לפריצה של התחום באופן ישיר

ע"ע הלקח המר, לפיו לטווח ארוך הגדלה של אימון וחישוב מודלי AI, תמיד יהיה יעיל יותר מכוונון ושיפור אנושי של המודלים

@י.-פל. כתב:

אגב, לא זוכר כרגע את שם המגלה - אבל כמדומני שהוא עבד אחר-כך במטא או בגוגל. כללית, כל מי שהתעסק בזה אז, היום הוא מהמובילים בתעשייה, ונחשב ל״נביא״

אאל"ט אתה מתכוון ליאן לקון

[י. פל.]

@NH.LOCAL כתב:

ליאן לקון

חושב כך, תודה.
אגב - מאז הוא הספיק להפוך לרואה השחורות של התעשיה...

[י. פל.]

@המלאך
בזכות הקישור של @nh.local נזכרתי בשאלה שניקרה לי כל הזמן: איך לא כתבת מילה על הפרספטרון???

[NH.LOCAL]

@י.-פל. כתב:

חושב כך, תודה.
אגב - מאז הוא הספיק להפוך לרואה השחורות של התעשיה...

או ללוזר של התעשייה אם תרצה.

הוא נכשל בגדול בדרך הרגילה, לא פלא שהוא מערער עליה

[המלאך]

@NH.LOCAL כתב:

בתחום הזה, במידה רבה מה שבאמת חשוב זה החומרה וגודל הנתונים. לכן, פריצות דרך בתחום החומרה תמיד יובילו לפריצות דרך של המודלים עצמם.

כך גם קרה עם מודלי ההסקה שאחריהם צצו הארכיטקטורות של TPU וכו',

המלאך כתב:

דרך אגב, כל התקדמות הבינה משקפת יחד עם התקדמות המעבדים, כמו שאחרי הGPU ועונת משחקי המחשב הרשתות צצו, כך אחרי הTPU צצו מודלי ההסקה (טוב טכנית זה היה הפוך אבל הצד השווה שבהם שהם באו אחד אחרי השני..)

@NH.LOCAL כתב:

T100

כוונתך לH100.

[NH.LOCAL]

@המלאך כתב:

כוונתך לH100.

H100 זה מעבד מודרני בהרבה, שיצא רק ב-2022, סביר להניח שהוא שימש לאימון של GPT 4.5 או 5, לא של GPT 3

[המלאך]

@י.-פל. התשובה פשוטה.
הוא לא היווה פריצת דרך מדעית.
יותר מאשר ניסיונות אחרים כמו אלגריתם Backpropagation,
או רשתות מורכבות אחרות.

@NH.LOCAL כתב:

H100 זה מעבד מודרני בהרבה, שיצא רק ב-2022, סביר להניח שהוא שימש לאימון של GPT 4.5 והלאה, לא של GPT 3

אבל לא זכור לי על מעבד בשם T100, אולי A 100 או שיותר טוב אם תכווין אותי למקום שבו הוא מצויין..

עריכה: אולי טסלה של אינבידיה? (בקיצור T)

[המלאך]

@nh.local @י.-פל. אם כבר מה שהיווה פורץ דרך היה גם זמינות הדאטה סט הענקיים, כמו האינטרנט.. שהיה אז עם הניילונים..

[NH.LOCAL]

@המלאך כתב:

אבל לא זכור לי על מעבד בשם T100, אולי A 100 או שיותר טוב אם תכווין אותי למקום שבו הוא מצויין..

T100 הוא מעבד שיצא ב-2017. אחר כך יצאו גם A100, H100 וגם B100

סדרת ה-T, יצאה ב-2017, סדרת ה-A ב-2020, סדרת ה-H ב-2022/2023, וה-B (Blackwell) ב-2024

@המלאך כתב בהסבר | מדריכי AI מאלף עד תיו | תגובות:

@nh.local @י.-פל. אם כבר מה שהיווה פורץ דרך היה גם זמינות הדאטה סט הענקיים, כמו האינטרנט.. שהיה אז עם הניילונים..

גם וגם. זה כמובן שילוב של כמה נתונים שאפשרו את ההתקדמות, שפשוט לא היו קיימים לפני.

הרשתות החברתיות, האינטרנט, יוטיוב, דיגיטציה של ארכיונים, חומרה חזקה יותר וכו'

[י. פל.]

@המלאך כתב:

הוא לא היווה פריצת דרך מדעית.

אני לא יודע אם אני יכול להתווכח אתך - אבל להידוע לי הוא הראשון שהניח את היסודות ללמידה עמוקה אמיתית.
הוא הדגים בפועל איך לבנות את זה.
היה חסר לו את הידע לכוונון שכבות עמוקות (קרא פה) ולכן הוא נכשל...

[המלאך]

@י.-פל. יותר מדוייק.
מנגנון הפרספטון נכשל מתמטית.
הוא הצליח לפתור בעיות פשוטות (לינאריות),
אבל נכשל ברשת רב שכבתית (Multilayer Perceptron).

מנגנון הפעפוע לאחור בא לתת תשובה בדיוק לזה.
הוא 'חוזר אחורה' ובודק איפה הנוירון נכשל..

אבל תכלס' שיטת החישוב הייתה שונה.
במקום אפס אחד פשוט - לכאלה שמאפשרות חישובי גרדיאטנט לאחור..

עריכה: קוראים לזה גרידאטנט או גרידיאנט?

[NH.LOCAL]

@י.-פל. כתב:

אני לא יודע אם אני יכול להתווכח אתך - אבל להידוע לי הוא הראשון שהניח את היסודות ללמידה עמוקה אמיתית.
הוא הדגים בפועל איך לבנות את זה.
היה חסר לו את הידע לכוונון שכבות עמוקות (קרא פה) ולכן הוא נכשל...

לא נראה שמדובר עלארכיקטורה חשובה או משמעותית באמת במבט היסטורי

אני יכול לשער שאם תחפש ציטוטים של המחקר או על המושג, תמצא מעט מאוד אזכורים ביחס למושגים אחרים כמו RNN או CNN

(אם הוא נכשל כנראה שבפועל הוא לא היה רלוונטי...)