הסבר | מדריכי AI מאלף עד תיו | תגובות
-
@המלאך אני אשמח שתתיחס לשאלות כאן
https://mitmachim.top/topic/99316/בקשת-מידע-בקשת-סדר-בכל-תחום-הפיתוח-aiציטוט בספוילר
אני מתכנת פייתון פולסטאק שכמו כולם נטרף מקצועו בגלל ה-ai
ולכן חשבתי להכנס לתחום הפיתוח ai
אבל כשהתחלתי לחקור גיליתי ים של שמות מקצועות
LM, LLM, AI Engineer, Deep Learning, AI Research Scientist, Fine-tuning ועוד ועוד ועוד...
חשבתי אם מישהו יוכל לעשות לי כאן סדר מה הם המקצועות הקיימים ומה תפקיד כל מקצוע איך אני נכנס לתחום ומה הידע הקודם הדרוש (מתמטיקה ועוד) ובאיזה רמה צריך לדעת את הידע הקודם הזהומעל הכל האם תחום זה גם נטרף\יטרף על ידי ה-ai?
וגם היכן אפשר ללמוד את זה? (כוונתי מקצועי ולא קורסי חינם חובבניים)
ומעל הכל האם תחום זה גם נטרף\יטרף על ידי ה-ai?
כן, בוודאי. הוא לא שונה מהותית משאר תחומי התכנות
-
העניין הוא שהGPU לכשלעצמו היה כלי עזר לדיפ לרנינג ולא להפך..
נכון, אבל בלעדיו לא היה מתחיל כלום.
כלומר, מודל התמונה לא חידש שום דבר מיוחד. הכל היה לפני.
מה שהוא חידש זה הגודל, וזה התאפשר רק בגלל הgpu. אגב, לא זוכר כרגע את שם המגלה - אבל כמדומני שהוא עבד אחר-כך במטא או בגוגל. כללית, כל מי שהתעסק בזה אז, היום הוא מהמובילים בתעשייה, ונחשב ל״נביא״
@י.-פל. בזה צודק.
אז אולי צריך לומר 'המציא ארכיטקטורה', כפשרה
דרך אגב, כל התקדמות הבינה משקפת יחד עם התקדמות המעבדים, כמו שאחרי הGPU ועונת משחקי המחשב הרשתות צצו, כך אחרי הTPU צצו מודלי ההסקה (טוב טכנית זה היה הפוך אבל הצד השווה שבהם שהם באו אחד אחרי השני..)
-
@י.-פל.
כן,
העניין הוא שהGPU לכשלעצמו היה כלי עזר לדיפ לרנינג ולא להפך..
אחרי הכל אתה לא מהסוברים שהתוכנה היא כלי עזר לחומרה אלא להפך..
@hartkhartk אשתדל.@י.-פל.
כן,
העניין הוא שהGPU לכשלעצמו היה כלי עזר לדיפ לרנינג ולא להפך..
אחרי הכל אתה לא מהסוברים שהתוכנה היא כלי עזר לחומרה אלא להפך..נכון, אבל בלעדיו לא היה מתחיל כלום.
כלומר, מודל התמונה לא חידש שום דבר מיוחד. הכל היה לפני.
מה שהוא חידש זה הגודל, וזה התאפשר רק בגלל הgpu.בתחום הזה, במידה רבה מה שבאמת חשוב זה החומרה וגודל הנתונים. לכן, פריצות דרך בתחום החומרה תמיד יובילו לפריצות דרך של המודלים עצמם.
GPT 3 נוצר ישירות מיכולות ה-GPU החדשות שהחלו להתגלגל באותה תקופה סביב 2020.
למעשה מעבדי ה-T100 של NVIDIA הכשירו את הדרך לפריצה של התחום באופן ישיר
ע"ע הלקח המר, לפיו לטווח ארוך הגדלה של אימון וחישוב מודלי AI, תמיד יהיה יעיל יותר מכוונון ושיפור אנושי של המודלים
אגב, לא זוכר כרגע את שם המגלה - אבל כמדומני שהוא עבד אחר-כך במטא או בגוגל. כללית, כל מי שהתעסק בזה אז, היום הוא מהמובילים בתעשייה, ונחשב ל״נביא״
אאל"ט אתה מתכוון ליאן לקון
-
@י.-פל.
כן,
העניין הוא שהGPU לכשלעצמו היה כלי עזר לדיפ לרנינג ולא להפך..
אחרי הכל אתה לא מהסוברים שהתוכנה היא כלי עזר לחומרה אלא להפך..נכון, אבל בלעדיו לא היה מתחיל כלום.
כלומר, מודל התמונה לא חידש שום דבר מיוחד. הכל היה לפני.
מה שהוא חידש זה הגודל, וזה התאפשר רק בגלל הgpu.בתחום הזה, במידה רבה מה שבאמת חשוב זה החומרה וגודל הנתונים. לכן, פריצות דרך בתחום החומרה תמיד יובילו לפריצות דרך של המודלים עצמם.
GPT 3 נוצר ישירות מיכולות ה-GPU החדשות שהחלו להתגלגל באותה תקופה סביב 2020.
למעשה מעבדי ה-T100 של NVIDIA הכשירו את הדרך לפריצה של התחום באופן ישיר
ע"ע הלקח המר, לפיו לטווח ארוך הגדלה של אימון וחישוב מודלי AI, תמיד יהיה יעיל יותר מכוונון ושיפור אנושי של המודלים
אגב, לא זוכר כרגע את שם המגלה - אבל כמדומני שהוא עבד אחר-כך במטא או בגוגל. כללית, כל מי שהתעסק בזה אז, היום הוא מהמובילים בתעשייה, ונחשב ל״נביא״
אאל"ט אתה מתכוון ליאן לקון
-
-
@י.-פל.
כן,
העניין הוא שהGPU לכשלעצמו היה כלי עזר לדיפ לרנינג ולא להפך..
אחרי הכל אתה לא מהסוברים שהתוכנה היא כלי עזר לחומרה אלא להפך..נכון, אבל בלעדיו לא היה מתחיל כלום.
כלומר, מודל התמונה לא חידש שום דבר מיוחד. הכל היה לפני.
מה שהוא חידש זה הגודל, וזה התאפשר רק בגלל הgpu.בתחום הזה, במידה רבה מה שבאמת חשוב זה החומרה וגודל הנתונים. לכן, פריצות דרך בתחום החומרה תמיד יובילו לפריצות דרך של המודלים עצמם.
GPT 3 נוצר ישירות מיכולות ה-GPU החדשות שהחלו להתגלגל באותה תקופה סביב 2020.
למעשה מעבדי ה-T100 של NVIDIA הכשירו את הדרך לפריצה של התחום באופן ישיר
ע"ע הלקח המר, לפיו לטווח ארוך הגדלה של אימון וחישוב מודלי AI, תמיד יהיה יעיל יותר מכוונון ושיפור אנושי של המודלים
אגב, לא זוכר כרגע את שם המגלה - אבל כמדומני שהוא עבד אחר-כך במטא או בגוגל. כללית, כל מי שהתעסק בזה אז, היום הוא מהמובילים בתעשייה, ונחשב ל״נביא״
אאל"ט אתה מתכוון ליאן לקון
בתחום הזה, במידה רבה מה שבאמת חשוב זה החומרה וגודל הנתונים. לכן, פריצות דרך בתחום החומרה תמיד יובילו לפריצות דרך של המודלים עצמם.
כך גם קרה עם מודלי ההסקה שאחריהם צצו הארכיטקטורות של TPU וכו',
המלאך כתב:
דרך אגב, כל התקדמות הבינה משקפת יחד עם התקדמות המעבדים, כמו שאחרי הGPU ועונת משחקי המחשב הרשתות צצו, כך אחרי הTPU צצו מודלי ההסקה (טוב טכנית זה היה הפוך אבל הצד השווה שבהם שהם באו אחד אחרי השני..)
T100
כוונתך לH100.
"Code shapes logic, AI expands vision."
-
בתחום הזה, במידה רבה מה שבאמת חשוב זה החומרה וגודל הנתונים. לכן, פריצות דרך בתחום החומרה תמיד יובילו לפריצות דרך של המודלים עצמם.
כך גם קרה עם מודלי ההסקה שאחריהם צצו הארכיטקטורות של TPU וכו',
המלאך כתב:
דרך אגב, כל התקדמות הבינה משקפת יחד עם התקדמות המעבדים, כמו שאחרי הGPU ועונת משחקי המחשב הרשתות צצו, כך אחרי הTPU צצו מודלי ההסקה (טוב טכנית זה היה הפוך אבל הצד השווה שבהם שהם באו אחד אחרי השני..)
T100
כוונתך לH100.
-
@י.-פל. התשובה פשוטה.
הוא לא היווה פריצת דרך מדעית.
יותר מאשר ניסיונות אחרים כמו אלגריתם Backpropagation,
או רשתות מורכבות אחרות.H100 זה מעבד מודרני בהרבה, שיצא רק ב-2022, סביר להניח שהוא שימש לאימון של GPT 4.5 והלאה, לא של GPT 3
אבל לא זכור לי על מעבד בשם T100, אולי A 100 או שיותר טוב אם תכווין אותי למקום שבו הוא מצויין..
עריכה: אולי טסלה של אינבידיה? (בקיצור T)
"Code shapes logic, AI expands vision."
-
@י.-פל. התשובה פשוטה.
הוא לא היווה פריצת דרך מדעית.
יותר מאשר ניסיונות אחרים כמו אלגריתם Backpropagation,
או רשתות מורכבות אחרות.H100 זה מעבד מודרני בהרבה, שיצא רק ב-2022, סביר להניח שהוא שימש לאימון של GPT 4.5 והלאה, לא של GPT 3
אבל לא זכור לי על מעבד בשם T100, אולי A 100 או שיותר טוב אם תכווין אותי למקום שבו הוא מצויין..
עריכה: אולי טסלה של אינבידיה? (בקיצור T)
אבל לא זכור לי על מעבד בשם T100, אולי A 100 או שיותר טוב אם תכווין אותי למקום שבו הוא מצויין..
T100 הוא מעבד שיצא ב-2017. אחר כך יצאו גם A100, H100 וגם B100
סדרת ה-T, יצאה ב-2017, סדרת ה-A ב-2020, סדרת ה-H ב-2022/2023, וה-B (Blackwell) ב-2024
@המלאך כתב בהסבר | מדריכי AI מאלף עד תיו | תגובות:
@nh.local @י.-פל. אם כבר מה שהיווה פורץ דרך היה גם זמינות הדאטה סט הענקיים, כמו האינטרנט.. שהיה אז עם הניילונים..
גם וגם. זה כמובן שילוב של כמה נתונים שאפשרו את ההתקדמות, שפשוט לא היו קיימים לפני.
הרשתות החברתיות, האינטרנט, יוטיוב, דיגיטציה של ארכיונים, חומרה חזקה יותר וכו'
-
@י.-פל. התשובה פשוטה.
הוא לא היווה פריצת דרך מדעית.
יותר מאשר ניסיונות אחרים כמו אלגריתם Backpropagation,
או רשתות מורכבות אחרות.H100 זה מעבד מודרני בהרבה, שיצא רק ב-2022, סביר להניח שהוא שימש לאימון של GPT 4.5 והלאה, לא של GPT 3
אבל לא זכור לי על מעבד בשם T100, אולי A 100 או שיותר טוב אם תכווין אותי למקום שבו הוא מצויין..
עריכה: אולי טסלה של אינבידיה? (בקיצור T)
הוא לא היווה פריצת דרך מדעית.
אני לא יודע אם אני יכול להתווכח אתך - אבל להידוע לי הוא הראשון שהניח את היסודות ללמידה עמוקה אמיתית.
הוא הדגים בפועל איך לבנות את זה.
היה חסר לו את הידע לכוונון שכבות עמוקות (קרא פה) ולכן הוא נכשל...גאה להיות חלק:
otzaria.org -
@י.-פל. יותר מדוייק.
מנגנון הפרספטון נכשל מתמטית.
הוא הצליח לפתור בעיות פשוטות (לינאריות),
אבל נכשל ברשת רב שכבתית (Multilayer Perceptron).מנגנון הפעפוע לאחור בא לתת תשובה בדיוק לזה.
הוא 'חוזר אחורה' ובודק איפה הנוירון נכשל..אבל תכלס' שיטת החישוב הייתה שונה.
במקום אפס אחד פשוט - לכאלה שמאפשרות חישובי גרדיאטנט לאחור..עריכה: קוראים לזה גרידאטנט או גרידיאנט?
-
אני לא יודע אם אני יכול להתווכח אתך - אבל להידוע לי הוא הראשון שהניח את היסודות ללמידה עמוקה אמיתית.
הוא הדגים בפועל איך לבנות את זה.
היה חסר לו את הידע לכוונון שכבות עמוקות (קרא פה) ולכן הוא נכשל...לא נראה שמדובר עלארכיקטורה חשובה או משמעותית באמת במבט היסטורי
אני יכול לשער שאם תחפש ציטוטים של המחקר או על המושג, תמצא מעט מאוד אזכורים ביחס למושגים אחרים כמו RNN או CNN
(אם הוא נכשל כנראה שבפועל הוא לא היה רלוונטי...)
-
אני לא יודע אם אני יכול להתווכח אתך - אבל להידוע לי הוא הראשון שהניח את היסודות ללמידה עמוקה אמיתית.
הוא הדגים בפועל איך לבנות את זה.
היה חסר לו את הידע לכוונון שכבות עמוקות (קרא פה) ולכן הוא נכשל...לא נראה שמדובר עלארכיקטורה חשובה או משמעותית באמת במבט היסטורי
אני יכול לשער שאם תחפש ציטוטים של המחקר או על המושג, תמצא מעט מאוד אזכורים ביחס למושגים אחרים כמו RNN או CNN
(אם הוא נכשל כנראה שבפועל הוא לא היה רלוונטי...)
-
אני לא יודע אם אני יכול להתווכח אתך - אבל להידוע לי הוא הראשון שהניח את היסודות ללמידה עמוקה אמיתית.
הוא הדגים בפועל איך לבנות את זה.
היה חסר לו את הידע לכוונון שכבות עמוקות (קרא פה) ולכן הוא נכשל...לא נראה שמדובר עלארכיקטורה חשובה או משמעותית באמת במבט היסטורי
אני יכול לשער שאם תחפש ציטוטים של המחקר או על המושג, תמצא מעט מאוד אזכורים ביחס למושגים אחרים כמו RNN או CNN
(אם הוא נכשל כנראה שבפועל הוא לא היה רלוונטי...)
-
איך מאשכול לחסרי ידע, זה נהפך לאשכול לדוברי סינית?
-
איך מאשכול לחסרי ידע, זה נהפך לאשכול לדוברי סינית?
-
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}