הסבר | מדריכי AI מאלף עד תיו | תגובות
-
@י.-פל.
כן,
העניין הוא שהGPU לכשלעצמו היה כלי עזר לדיפ לרנינג ולא להפך..
אחרי הכל אתה לא מהסוברים שהתוכנה היא כלי עזר לחומרה אלא להפך..נכון, אבל בלעדיו לא היה מתחיל כלום.
כלומר, מודל התמונה לא חידש שום דבר מיוחד. הכל היה לפני.
מה שהוא חידש זה הגודל, וזה התאפשר רק בגלל הgpu.בתחום הזה, במידה רבה מה שבאמת חשוב זה החומרה וגודל הנתונים. לכן, פריצות דרך בתחום החומרה תמיד יובילו לפריצות דרך של המודלים עצמם.
GPT 3 נוצר ישירות מיכולות ה-GPU החדשות שהחלו להתגלגל באותה תקופה סביב 2020.
למעשה מעבדי ה-T100 של NVIDIA הכשירו את הדרך לפריצה של התחום באופן ישיר
ע"ע הלקח המר, לפיו לטווח ארוך הגדלה של אימון וחישוב מודלי AI, תמיד יהיה יעיל יותר מכוונון ושיפור אנושי של המודלים
אגב, לא זוכר כרגע את שם המגלה - אבל כמדומני שהוא עבד אחר-כך במטא או בגוגל. כללית, כל מי שהתעסק בזה אז, היום הוא מהמובילים בתעשייה, ונחשב ל״נביא״
אאל"ט אתה מתכוון ליאן לקון
בתחום הזה, במידה רבה מה שבאמת חשוב זה החומרה וגודל הנתונים. לכן, פריצות דרך בתחום החומרה תמיד יובילו לפריצות דרך של המודלים עצמם.
כך גם קרה עם מודלי ההסקה שאחריהם צצו הארכיטקטורות של TPU וכו',
המלאך כתב:
דרך אגב, כל התקדמות הבינה משקפת יחד עם התקדמות המעבדים, כמו שאחרי הGPU ועונת משחקי המחשב הרשתות צצו, כך אחרי הTPU צצו מודלי ההסקה (טוב טכנית זה היה הפוך אבל הצד השווה שבהם שהם באו אחד אחרי השני..)
T100
כוונתך לH100.
"Code shapes logic, AI expands vision."
-
בתחום הזה, במידה רבה מה שבאמת חשוב זה החומרה וגודל הנתונים. לכן, פריצות דרך בתחום החומרה תמיד יובילו לפריצות דרך של המודלים עצמם.
כך גם קרה עם מודלי ההסקה שאחריהם צצו הארכיטקטורות של TPU וכו',
המלאך כתב:
דרך אגב, כל התקדמות הבינה משקפת יחד עם התקדמות המעבדים, כמו שאחרי הGPU ועונת משחקי המחשב הרשתות צצו, כך אחרי הTPU צצו מודלי ההסקה (טוב טכנית זה היה הפוך אבל הצד השווה שבהם שהם באו אחד אחרי השני..)
T100
כוונתך לH100.
-
@י.-פל. התשובה פשוטה.
הוא לא היווה פריצת דרך מדעית.
יותר מאשר ניסיונות אחרים כמו אלגריתם Backpropagation,
או רשתות מורכבות אחרות.H100 זה מעבד מודרני בהרבה, שיצא רק ב-2022, סביר להניח שהוא שימש לאימון של GPT 4.5 והלאה, לא של GPT 3
אבל לא זכור לי על מעבד בשם T100, אולי A 100 או שיותר טוב אם תכווין אותי למקום שבו הוא מצויין..
עריכה: אולי טסלה של אינבידיה? (בקיצור T)
"Code shapes logic, AI expands vision."
-
@י.-פל. התשובה פשוטה.
הוא לא היווה פריצת דרך מדעית.
יותר מאשר ניסיונות אחרים כמו אלגריתם Backpropagation,
או רשתות מורכבות אחרות.H100 זה מעבד מודרני בהרבה, שיצא רק ב-2022, סביר להניח שהוא שימש לאימון של GPT 4.5 והלאה, לא של GPT 3
אבל לא זכור לי על מעבד בשם T100, אולי A 100 או שיותר טוב אם תכווין אותי למקום שבו הוא מצויין..
עריכה: אולי טסלה של אינבידיה? (בקיצור T)
אבל לא זכור לי על מעבד בשם T100, אולי A 100 או שיותר טוב אם תכווין אותי למקום שבו הוא מצויין..
T100 הוא מעבד שיצא ב-2017. אחר כך יצאו גם A100, H100 וגם B100
סדרת ה-T, יצאה ב-2017, סדרת ה-A ב-2020, סדרת ה-H ב-2022/2023, וה-B (Blackwell) ב-2024
@המלאך כתב בהסבר | מדריכי AI מאלף עד תיו | תגובות:
@nh.local @י.-פל. אם כבר מה שהיווה פורץ דרך היה גם זמינות הדאטה סט הענקיים, כמו האינטרנט.. שהיה אז עם הניילונים..
גם וגם. זה כמובן שילוב של כמה נתונים שאפשרו את ההתקדמות, שפשוט לא היו קיימים לפני.
הרשתות החברתיות, האינטרנט, יוטיוב, דיגיטציה של ארכיונים, חומרה חזקה יותר וכו'
-
@י.-פל. התשובה פשוטה.
הוא לא היווה פריצת דרך מדעית.
יותר מאשר ניסיונות אחרים כמו אלגריתם Backpropagation,
או רשתות מורכבות אחרות.H100 זה מעבד מודרני בהרבה, שיצא רק ב-2022, סביר להניח שהוא שימש לאימון של GPT 4.5 והלאה, לא של GPT 3
אבל לא זכור לי על מעבד בשם T100, אולי A 100 או שיותר טוב אם תכווין אותי למקום שבו הוא מצויין..
עריכה: אולי טסלה של אינבידיה? (בקיצור T)
הוא לא היווה פריצת דרך מדעית.
אני לא יודע אם אני יכול להתווכח אתך - אבל להידוע לי הוא הראשון שהניח את היסודות ללמידה עמוקה אמיתית.
הוא הדגים בפועל איך לבנות את זה.
היה חסר לו את הידע לכוונון שכבות עמוקות (קרא פה) ולכן הוא נכשל...גאה להיות חלק:
otzaria.org -
@י.-פל. יותר מדוייק.
מנגנון הפרספטון נכשל מתמטית.
הוא הצליח לפתור בעיות פשוטות (לינאריות),
אבל נכשל ברשת רב שכבתית (Multilayer Perceptron).מנגנון הפעפוע לאחור בא לתת תשובה בדיוק לזה.
הוא 'חוזר אחורה' ובודק איפה הנוירון נכשל..אבל תכלס' שיטת החישוב הייתה שונה.
במקום אפס אחד פשוט - לכאלה שמאפשרות חישובי גרדיאטנט לאחור..עריכה: קוראים לזה גרידאטנט או גרידיאנט?
-
אני לא יודע אם אני יכול להתווכח אתך - אבל להידוע לי הוא הראשון שהניח את היסודות ללמידה עמוקה אמיתית.
הוא הדגים בפועל איך לבנות את זה.
היה חסר לו את הידע לכוונון שכבות עמוקות (קרא פה) ולכן הוא נכשל...לא נראה שמדובר עלארכיקטורה חשובה או משמעותית באמת במבט היסטורי
אני יכול לשער שאם תחפש ציטוטים של המחקר או על המושג, תמצא מעט מאוד אזכורים ביחס למושגים אחרים כמו RNN או CNN
(אם הוא נכשל כנראה שבפועל הוא לא היה רלוונטי...)
-
אני לא יודע אם אני יכול להתווכח אתך - אבל להידוע לי הוא הראשון שהניח את היסודות ללמידה עמוקה אמיתית.
הוא הדגים בפועל איך לבנות את זה.
היה חסר לו את הידע לכוונון שכבות עמוקות (קרא פה) ולכן הוא נכשל...לא נראה שמדובר עלארכיקטורה חשובה או משמעותית באמת במבט היסטורי
אני יכול לשער שאם תחפש ציטוטים של המחקר או על המושג, תמצא מעט מאוד אזכורים ביחס למושגים אחרים כמו RNN או CNN
(אם הוא נכשל כנראה שבפועל הוא לא היה רלוונטי...)
-
אני לא יודע אם אני יכול להתווכח אתך - אבל להידוע לי הוא הראשון שהניח את היסודות ללמידה עמוקה אמיתית.
הוא הדגים בפועל איך לבנות את זה.
היה חסר לו את הידע לכוונון שכבות עמוקות (קרא פה) ולכן הוא נכשל...לא נראה שמדובר עלארכיקטורה חשובה או משמעותית באמת במבט היסטורי
אני יכול לשער שאם תחפש ציטוטים של המחקר או על המושג, תמצא מעט מאוד אזכורים ביחס למושגים אחרים כמו RNN או CNN
(אם הוא נכשל כנראה שבפועל הוא לא היה רלוונטי...)
-
איך מאשכול לחסרי ידע, זה נהפך לאשכול לדוברי סינית?
-
איך מאשכול לחסרי ידע, זה נהפך לאשכול לדוברי סינית?
-
-
@צדיק-וטוב-לו-0 כל הפואנטה במדריך זה ללמד אותך סינית.
לא להוך אותה לעברית..@המלאך ואו ממש אחלה מדריך. מחכה בקוצר רוח להמשך
-
@המלאך תשנה את הכותרת למאמר לא מדריך.
אבל חוץ מזה, אהבתי. -
@המלאך תודה רבה הסבר ברור סו"ס
תודה רבה
עכשיו מדריך איך זה עובד והסבר איך להביא ממנו הכי עבודה יעילה
נניח היום @בנימין-מחשבים הסביר לי על מסמך הקשרים שחוסך המון לא הכרתי
אשמח במדריך לזה תודה רבה!
אפשר כל דבר בנושא נפרד שלא נאבד הקשר
-
נניח היום @בנימין-מחשבים הסביר לי על מסמך הקשרים
ואולי עכשיו אתה תסביר לנו [או שזה מופיע בפורום]
-
-
פוסט יפה מאוד,
אולי הייתי מכניס את ההקשר על eliza (שגם אם זה לא ai במובן הקלאסי של המילה היה אחת מפרצות הדרך הראשונות והיווה זינוק גדול עבור הרבה מהשמות שהתקדמו גם אם היוצר די ירד מהפסים)
ועל התמימות שהיה בתחילת התהליך על הזמן שזה יקח (טיפה לתת לזה גוון של סיפור מאשר רשימה של עובדות).הם חשבו שיקח שנה או חצי שנה כמדמוני
חשבתי להוסיף
אבל אז יהיו עוד כמה דברים שאני יאלץ לגעת בהם..
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}