מדריך | AI - איך הכל התחיל | המדריך הראשון בסדרת המדריכים
-
שלום לכולם.
אני כבר הרבה זמן עובד על זה מאחורי הקלעים, וב"ה גמרתי את המדריך הזה היום.שימו לב!! המדריך לא נכתב בכלל על ידי בינה מלאכותית. אין צורך לשאול אותי על כך, (ולכן גם ייתכנו טעויות..)
זהו מדריך שמעניק היכרות עם הדרך בה הAI התחיל מאז 1950 ועד היום.
בשנת 1950 פרסם אדם בשם (אלן טיורינג) Alan Turing מאמר בכתב העת Mind,
באותה תקופה מחשבים נתפסו אך ורק כמכונות חישוביות פשוטות, ללא יכולת חשיבה עצמאית או משהו מעבר למתמטיקה בסיסית.
הוא הציע מבחן שנקרא מבחן טיורינג:
עיקר המאמר היה עניין החיקוי, אם שופט לא מצליח להבדיל בין טקסט מכונה לבין טקסט אנושי, הרי שיש למכונה אינטליגנציה (בשביל הפילוסופים שבינינו - הרי שהמכונה יכולה לחשוב).בשנת 1956 היה כנס דארטמות', הכנס היה בדיוק בתחום הנישתי הזה של האינטליגנציה מלאכותית.
שם טבע ג'ון מקארתי את המונח Artificial Intelligence (AI) שנהפך לשם של כל התחום הזה.במשך עשורים זה נשאר נייר תיאורטי בלבד, ללא התקדמות מעשית בשטח, למרות הניסיונות הרבים.
אבל, בשנת 2012 קרה מהפך.
קבוצת חוקרים מאוניברסיטת טורנטו הציגה רשת עצבית בשם AlexNet (רשת עצבית CNN),הם הציגו אותה בתחרות לזיהוי תמונות ImageNet, ולקחו את ההובלה בפער עצום.
עיקר החידוש בה היה שזה בניגוד לשיטות קודמות 'למידה עמוקה' או באנגלית = Deep Learning.
(הערה קטנה - גם לפני זה היו רשתות עמוקות, הן השתמשו בנתונים בצורה נכונה ובאמצעות CNN עמוקה - לקחו את ההובלה).
אבל נשארה בעיה רצינית.
הAI לא ידע להבין טקסט אנושי (עיבוד שפה טבעית או באנגלית - NLP),בשנת 2017 חוקרים מגוגל פירסמו מאמר בשם 'Attention Is All You Need',
בתרגום ישיר לעברית - 'תשומת לב זה כל מה שאתם צריכים', שם הם הציגו ארכיטקטורה חדשה בשם טרנספורמר (כן, כן, הטרנספורמר שכל פעם מדברים עליו..)
עיקר החידוש היה מנגנון התשומת לב (אטנש'ן..), הפואנטה היא שהAI יכול להתייחס לכל ההקשר במשפט ולא רק למילה הספציפית שבה הוא אחז באמצעות עיבוד מקבילי (ועכשיו מובן למה צריך כרטיסי מסך - פשוט הם מובנים לעיבוד מקבילי בניגוד למעבד רגיל..),שנה אח"כ גם הושק מודל שהיווה PoC לכך, מודל בשם BERT, שקרא מילה והתייחס לכל המשפט ולא רק למילים הספציפיות.
לדוגמה מילה שיכולה לשמש לשני דברים דורשת הסתכלות על כל המשפט ולא רק המילה הספציפית הזו.כמובן שמשם להגיע למסקנה שככל שיש יותר טקסט וחומר הAI יהיה יותר חכם (בערך) - הדרך הייתה פשוטה.
אבל זה עדיין היה בגדר מחקר.
חברת open ai היא חברה ללא מטרות רווח (בשנת 2018 היא שינתה את המבנה הארגוני והיא כן יכולה להרוויח עד מידה מסוימת) שהוקמה בשנת 2015 על ידי מספר אנשים, (סם אלטמן איילון מאסק וכו'), המטרה של החברה הייתה לפתח בינה מלאכותית לקהל הרחב ולא להשאיר את המונופול בידי החברות הגדולות, (אגב כך - עובדה מעניינת. איילון מאסק ממש פחד מהAI, זו הייתה אחת הסיבות שהניעו אותו להשקיע בחברה כמתואר בספר 'איילון מאסק' מאת וולטר אייזקסון - סתם ככה ספר ששווה קריאה).
בשנת 2018 (שנה אחרי שהארכיטקטורה של הטרנספורמר התפרסמה) open ai שחררה מודל בשם GPT1 מודל בן 117 מיליון פרמטרים שהיה בגדר מודל מחקר בעלמא והיה רק חזאי טקסט, הוא ממש לא היה מה שיש היום, הסיבה היא שהוא היה סה"כ מכונת סטטיסטיקה מתקדמת שחזתה טקסט.
שנתיים אח"כ היא הפתיעה שוב כששחררה את המודל GPT 3 שהיה מודל ענק! (במושגים של אז) של 175 מיליארד(!) פרמטרים (כאמור היום זה כלום כי מודלי הענק הם עם טריליוני פרמטרים.. וכמובן שלא דיברנו על ארכיטקטורת הMoE...).
בשנת 2022 open ai שחררה פצצה בעולם.
היא השיקה את ChatGPT, הפואנטה ששינתה אותו מה(טיפשה) בינה מלאכותית הייתה הטכניקה בשם RLHF,
למידת חיזוק ממקור אנושי.
כלומר, במקום רק לחזות טקסט הם אומנו להתנהג כמו עוזרים אנושיים, ואז המודל הושק תחת ממשק צ'אט.אבל זה עדיין לא היה המודלים החכמים של היום.
הפריצת דרך הנוספת הגיעה בשנת 2024 עם הופעת מודלי ההסקה.הבעיה הייתה שהמודלים לא חשבו מספיק, ולכן בשיחה רגילה הם היו טובים, אבל בדבר שהצריך טיפה חשיבה - קצת פחות.
open ai כרגיל לקחה את הבכורה והשיקה מודל חדש בשם o1 , הפואנטה הייתה פשוטה - תנו לו טיפה לחשוב.
המודל מקדיש יותר משאבי חישוב פנימיים לפני שהוא מחזיר תשובה, מה שמאפשר לו להתמודד טוב יותר עם בעיות מורכבות הדורשות מספר שלבי הסקה.עד כאן הסבר בסיסי ורקע היסטורי על עולם הAI.
בעז"ה בימים הקרובים אעלה מדריכים שידונו בכך אליבא דהלכתא.
ביניהם --
איך AI עובד.
-
אימון וכיוונון.
-
סוכני קוד - כי איך אפשר שלא.
מקורות:
https://www.ibm.com/think/topics/history-of-artificial-intelligence - מאוד מומלץ!https://he.wikipedia.org/wiki/מבחן_טיורינג
https://arxiv.org/html/1706.03762v7
https://arxiv.org/pdf/2109.01517
@א.מ.ד.
- המון דברים גילית בזכותך..הערות/הארות ופידבקים - אשמח לתגובות רק כאן.
-
-
שלום לכולם.
אני כבר הרבה זמן עובד על זה מאחורי הקלעים, וב"ה גמרתי את המדריך הזה היום.שימו לב!! המדריך לא נכתב בכלל על ידי בינה מלאכותית. אין צורך לשאול אותי על כך, (ולכן גם ייתכנו טעויות..)
זהו מדריך שמעניק היכרות עם הדרך בה הAI התחיל מאז 1950 ועד היום.
בשנת 1950 פרסם אדם בשם (אלן טיורינג) Alan Turing מאמר בכתב העת Mind,
באותה תקופה מחשבים נתפסו אך ורק כמכונות חישוביות פשוטות, ללא יכולת חשיבה עצמאית או משהו מעבר למתמטיקה בסיסית.
הוא הציע מבחן שנקרא מבחן טיורינג:
עיקר המאמר היה עניין החיקוי, אם שופט לא מצליח להבדיל בין טקסט מכונה לבין טקסט אנושי, הרי שיש למכונה אינטליגנציה (בשביל הפילוסופים שבינינו - הרי שהמכונה יכולה לחשוב).בשנת 1956 היה כנס דארטמות', הכנס היה בדיוק בתחום הנישתי הזה של האינטליגנציה מלאכותית.
שם טבע ג'ון מקארתי את המונח Artificial Intelligence (AI) שנהפך לשם של כל התחום הזה.במשך עשורים זה נשאר נייר תיאורטי בלבד, ללא התקדמות מעשית בשטח, למרות הניסיונות הרבים.
אבל, בשנת 2012 קרה מהפך.
קבוצת חוקרים מאוניברסיטת טורנטו הציגה רשת עצבית בשם AlexNet (רשת עצבית CNN),הם הציגו אותה בתחרות לזיהוי תמונות ImageNet, ולקחו את ההובלה בפער עצום.
עיקר החידוש בה היה שזה בניגוד לשיטות קודמות 'למידה עמוקה' או באנגלית = Deep Learning.
(הערה קטנה - גם לפני זה היו רשתות עמוקות, הן השתמשו בנתונים בצורה נכונה ובאמצעות CNN עמוקה - לקחו את ההובלה).
אבל נשארה בעיה רצינית.
הAI לא ידע להבין טקסט אנושי (עיבוד שפה טבעית או באנגלית - NLP),בשנת 2017 חוקרים מגוגל פירסמו מאמר בשם 'Attention Is All You Need',
בתרגום ישיר לעברית - 'תשומת לב זה כל מה שאתם צריכים', שם הם הציגו ארכיטקטורה חדשה בשם טרנספורמר (כן, כן, הטרנספורמר שכל פעם מדברים עליו..)
עיקר החידוש היה מנגנון התשומת לב (אטנש'ן..), הפואנטה היא שהAI יכול להתייחס לכל ההקשר במשפט ולא רק למילה הספציפית שבה הוא אחז באמצעות עיבוד מקבילי (ועכשיו מובן למה צריך כרטיסי מסך - פשוט הם מובנים לעיבוד מקבילי בניגוד למעבד רגיל..),שנה אח"כ גם הושק מודל שהיווה PoC לכך, מודל בשם BERT, שקרא מילה והתייחס לכל המשפט ולא רק למילים הספציפיות.
לדוגמה מילה שיכולה לשמש לשני דברים דורשת הסתכלות על כל המשפט ולא רק המילה הספציפית הזו.כמובן שמשם להגיע למסקנה שככל שיש יותר טקסט וחומר הAI יהיה יותר חכם (בערך) - הדרך הייתה פשוטה.
אבל זה עדיין היה בגדר מחקר.
חברת open ai היא חברה ללא מטרות רווח (בשנת 2018 היא שינתה את המבנה הארגוני והיא כן יכולה להרוויח עד מידה מסוימת) שהוקמה בשנת 2015 על ידי מספר אנשים, (סם אלטמן איילון מאסק וכו'), המטרה של החברה הייתה לפתח בינה מלאכותית לקהל הרחב ולא להשאיר את המונופול בידי החברות הגדולות, (אגב כך - עובדה מעניינת. איילון מאסק ממש פחד מהAI, זו הייתה אחת הסיבות שהניעו אותו להשקיע בחברה כמתואר בספר 'איילון מאסק' מאת וולטר אייזקסון - סתם ככה ספר ששווה קריאה).
בשנת 2018 (שנה אחרי שהארכיטקטורה של הטרנספורמר התפרסמה) open ai שחררה מודל בשם GPT1 מודל בן 117 מיליון פרמטרים שהיה בגדר מודל מחקר בעלמא והיה רק חזאי טקסט, הוא ממש לא היה מה שיש היום, הסיבה היא שהוא היה סה"כ מכונת סטטיסטיקה מתקדמת שחזתה טקסט.
שנתיים אח"כ היא הפתיעה שוב כששחררה את המודל GPT 3 שהיה מודל ענק! (במושגים של אז) של 175 מיליארד(!) פרמטרים (כאמור היום זה כלום כי מודלי הענק הם עם טריליוני פרמטרים.. וכמובן שלא דיברנו על ארכיטקטורת הMoE...).
בשנת 2022 open ai שחררה פצצה בעולם.
היא השיקה את ChatGPT, הפואנטה ששינתה אותו מה(טיפשה) בינה מלאכותית הייתה הטכניקה בשם RLHF,
למידת חיזוק ממקור אנושי.
כלומר, במקום רק לחזות טקסט הם אומנו להתנהג כמו עוזרים אנושיים, ואז המודל הושק תחת ממשק צ'אט.אבל זה עדיין לא היה המודלים החכמים של היום.
הפריצת דרך הנוספת הגיעה בשנת 2024 עם הופעת מודלי ההסקה.הבעיה הייתה שהמודלים לא חשבו מספיק, ולכן בשיחה רגילה הם היו טובים, אבל בדבר שהצריך טיפה חשיבה - קצת פחות.
open ai כרגיל לקחה את הבכורה והשיקה מודל חדש בשם o1 , הפואנטה הייתה פשוטה - תנו לו טיפה לחשוב.
המודל מקדיש יותר משאבי חישוב פנימיים לפני שהוא מחזיר תשובה, מה שמאפשר לו להתמודד טוב יותר עם בעיות מורכבות הדורשות מספר שלבי הסקה.עד כאן הסבר בסיסי ורקע היסטורי על עולם הAI.
בעז"ה בימים הקרובים אעלה מדריכים שידונו בכך אליבא דהלכתא.
ביניהם --
איך AI עובד.
-
אימון וכיוונון.
-
סוכני קוד - כי איך אפשר שלא.
מקורות:
https://www.ibm.com/think/topics/history-of-artificial-intelligence - מאוד מומלץ!https://he.wikipedia.org/wiki/מבחן_טיורינג
https://arxiv.org/html/1706.03762v7
https://arxiv.org/pdf/2109.01517
@א.מ.ד.
- המון דברים גילית בזכותך..הערות/הארות ופידבקים - אשמח לתגובות רק כאן.
-
-
שלום לכולם.
אני כבר הרבה זמן עובד על זה מאחורי הקלעים, וב"ה גמרתי את המדריך הזה היום.שימו לב!! המדריך לא נכתב בכלל על ידי בינה מלאכותית. אין צורך לשאול אותי על כך, (ולכן גם ייתכנו טעויות..)
זהו מדריך שמעניק היכרות עם הדרך בה הAI התחיל מאז 1950 ועד היום.
בשנת 1950 פרסם אדם בשם (אלן טיורינג) Alan Turing מאמר בכתב העת Mind,
באותה תקופה מחשבים נתפסו אך ורק כמכונות חישוביות פשוטות, ללא יכולת חשיבה עצמאית או משהו מעבר למתמטיקה בסיסית.
הוא הציע מבחן שנקרא מבחן טיורינג:
עיקר המאמר היה עניין החיקוי, אם שופט לא מצליח להבדיל בין טקסט מכונה לבין טקסט אנושי, הרי שיש למכונה אינטליגנציה (בשביל הפילוסופים שבינינו - הרי שהמכונה יכולה לחשוב).בשנת 1956 היה כנס דארטמות', הכנס היה בדיוק בתחום הנישתי הזה של האינטליגנציה מלאכותית.
שם טבע ג'ון מקארתי את המונח Artificial Intelligence (AI) שנהפך לשם של כל התחום הזה.במשך עשורים זה נשאר נייר תיאורטי בלבד, ללא התקדמות מעשית בשטח, למרות הניסיונות הרבים.
אבל, בשנת 2012 קרה מהפך.
קבוצת חוקרים מאוניברסיטת טורנטו הציגה רשת עצבית בשם AlexNet (רשת עצבית CNN),הם הציגו אותה בתחרות לזיהוי תמונות ImageNet, ולקחו את ההובלה בפער עצום.
עיקר החידוש בה היה שזה בניגוד לשיטות קודמות 'למידה עמוקה' או באנגלית = Deep Learning.
(הערה קטנה - גם לפני זה היו רשתות עמוקות, הן השתמשו בנתונים בצורה נכונה ובאמצעות CNN עמוקה - לקחו את ההובלה).
אבל נשארה בעיה רצינית.
הAI לא ידע להבין טקסט אנושי (עיבוד שפה טבעית או באנגלית - NLP),בשנת 2017 חוקרים מגוגל פירסמו מאמר בשם 'Attention Is All You Need',
בתרגום ישיר לעברית - 'תשומת לב זה כל מה שאתם צריכים', שם הם הציגו ארכיטקטורה חדשה בשם טרנספורמר (כן, כן, הטרנספורמר שכל פעם מדברים עליו..)
עיקר החידוש היה מנגנון התשומת לב (אטנש'ן..), הפואנטה היא שהAI יכול להתייחס לכל ההקשר במשפט ולא רק למילה הספציפית שבה הוא אחז באמצעות עיבוד מקבילי (ועכשיו מובן למה צריך כרטיסי מסך - פשוט הם מובנים לעיבוד מקבילי בניגוד למעבד רגיל..),שנה אח"כ גם הושק מודל שהיווה PoC לכך, מודל בשם BERT, שקרא מילה והתייחס לכל המשפט ולא רק למילים הספציפיות.
לדוגמה מילה שיכולה לשמש לשני דברים דורשת הסתכלות על כל המשפט ולא רק המילה הספציפית הזו.כמובן שמשם להגיע למסקנה שככל שיש יותר טקסט וחומר הAI יהיה יותר חכם (בערך) - הדרך הייתה פשוטה.
אבל זה עדיין היה בגדר מחקר.
חברת open ai היא חברה ללא מטרות רווח (בשנת 2018 היא שינתה את המבנה הארגוני והיא כן יכולה להרוויח עד מידה מסוימת) שהוקמה בשנת 2015 על ידי מספר אנשים, (סם אלטמן איילון מאסק וכו'), המטרה של החברה הייתה לפתח בינה מלאכותית לקהל הרחב ולא להשאיר את המונופול בידי החברות הגדולות, (אגב כך - עובדה מעניינת. איילון מאסק ממש פחד מהAI, זו הייתה אחת הסיבות שהניעו אותו להשקיע בחברה כמתואר בספר 'איילון מאסק' מאת וולטר אייזקסון - סתם ככה ספר ששווה קריאה).
בשנת 2018 (שנה אחרי שהארכיטקטורה של הטרנספורמר התפרסמה) open ai שחררה מודל בשם GPT1 מודל בן 117 מיליון פרמטרים שהיה בגדר מודל מחקר בעלמא והיה רק חזאי טקסט, הוא ממש לא היה מה שיש היום, הסיבה היא שהוא היה סה"כ מכונת סטטיסטיקה מתקדמת שחזתה טקסט.
שנתיים אח"כ היא הפתיעה שוב כששחררה את המודל GPT 3 שהיה מודל ענק! (במושגים של אז) של 175 מיליארד(!) פרמטרים (כאמור היום זה כלום כי מודלי הענק הם עם טריליוני פרמטרים.. וכמובן שלא דיברנו על ארכיטקטורת הMoE...).
בשנת 2022 open ai שחררה פצצה בעולם.
היא השיקה את ChatGPT, הפואנטה ששינתה אותו מה(טיפשה) בינה מלאכותית הייתה הטכניקה בשם RLHF,
למידת חיזוק ממקור אנושי.
כלומר, במקום רק לחזות טקסט הם אומנו להתנהג כמו עוזרים אנושיים, ואז המודל הושק תחת ממשק צ'אט.אבל זה עדיין לא היה המודלים החכמים של היום.
הפריצת דרך הנוספת הגיעה בשנת 2024 עם הופעת מודלי ההסקה.הבעיה הייתה שהמודלים לא חשבו מספיק, ולכן בשיחה רגילה הם היו טובים, אבל בדבר שהצריך טיפה חשיבה - קצת פחות.
open ai כרגיל לקחה את הבכורה והשיקה מודל חדש בשם o1 , הפואנטה הייתה פשוטה - תנו לו טיפה לחשוב.
המודל מקדיש יותר משאבי חישוב פנימיים לפני שהוא מחזיר תשובה, מה שמאפשר לו להתמודד טוב יותר עם בעיות מורכבות הדורשות מספר שלבי הסקה.עד כאן הסבר בסיסי ורקע היסטורי על עולם הAI.
בעז"ה בימים הקרובים אעלה מדריכים שידונו בכך אליבא דהלכתא.
ביניהם --
איך AI עובד.
-
אימון וכיוונון.
-
סוכני קוד - כי איך אפשר שלא.
מקורות:
https://www.ibm.com/think/topics/history-of-artificial-intelligence - מאוד מומלץ!https://he.wikipedia.org/wiki/מבחן_טיורינג
https://arxiv.org/html/1706.03762v7
https://arxiv.org/pdf/2109.01517
@א.מ.ד.
- המון דברים גילית בזכותך..הערות/הארות ופידבקים - אשמח לתגובות רק כאן.
-
-
שלום לכולם.
אני כבר הרבה זמן עובד על זה מאחורי הקלעים, וב"ה גמרתי את המדריך הזה היום.שימו לב!! המדריך לא נכתב בכלל על ידי בינה מלאכותית. אין צורך לשאול אותי על כך, (ולכן גם ייתכנו טעויות..)
זהו מדריך שמעניק היכרות עם הדרך בה הAI התחיל מאז 1950 ועד היום.
בשנת 1950 פרסם אדם בשם (אלן טיורינג) Alan Turing מאמר בכתב העת Mind,
באותה תקופה מחשבים נתפסו אך ורק כמכונות חישוביות פשוטות, ללא יכולת חשיבה עצמאית או משהו מעבר למתמטיקה בסיסית.
הוא הציע מבחן שנקרא מבחן טיורינג:
עיקר המאמר היה עניין החיקוי, אם שופט לא מצליח להבדיל בין טקסט מכונה לבין טקסט אנושי, הרי שיש למכונה אינטליגנציה (בשביל הפילוסופים שבינינו - הרי שהמכונה יכולה לחשוב).בשנת 1956 היה כנס דארטמות', הכנס היה בדיוק בתחום הנישתי הזה של האינטליגנציה מלאכותית.
שם טבע ג'ון מקארתי את המונח Artificial Intelligence (AI) שנהפך לשם של כל התחום הזה.במשך עשורים זה נשאר נייר תיאורטי בלבד, ללא התקדמות מעשית בשטח, למרות הניסיונות הרבים.
אבל, בשנת 2012 קרה מהפך.
קבוצת חוקרים מאוניברסיטת טורנטו הציגה רשת עצבית בשם AlexNet (רשת עצבית CNN),הם הציגו אותה בתחרות לזיהוי תמונות ImageNet, ולקחו את ההובלה בפער עצום.
עיקר החידוש בה היה שזה בניגוד לשיטות קודמות 'למידה עמוקה' או באנגלית = Deep Learning.
(הערה קטנה - גם לפני זה היו רשתות עמוקות, הן השתמשו בנתונים בצורה נכונה ובאמצעות CNN עמוקה - לקחו את ההובלה).
אבל נשארה בעיה רצינית.
הAI לא ידע להבין טקסט אנושי (עיבוד שפה טבעית או באנגלית - NLP),בשנת 2017 חוקרים מגוגל פירסמו מאמר בשם 'Attention Is All You Need',
בתרגום ישיר לעברית - 'תשומת לב זה כל מה שאתם צריכים', שם הם הציגו ארכיטקטורה חדשה בשם טרנספורמר (כן, כן, הטרנספורמר שכל פעם מדברים עליו..)
עיקר החידוש היה מנגנון התשומת לב (אטנש'ן..), הפואנטה היא שהAI יכול להתייחס לכל ההקשר במשפט ולא רק למילה הספציפית שבה הוא אחז באמצעות עיבוד מקבילי (ועכשיו מובן למה צריך כרטיסי מסך - פשוט הם מובנים לעיבוד מקבילי בניגוד למעבד רגיל..),שנה אח"כ גם הושק מודל שהיווה PoC לכך, מודל בשם BERT, שקרא מילה והתייחס לכל המשפט ולא רק למילים הספציפיות.
לדוגמה מילה שיכולה לשמש לשני דברים דורשת הסתכלות על כל המשפט ולא רק המילה הספציפית הזו.כמובן שמשם להגיע למסקנה שככל שיש יותר טקסט וחומר הAI יהיה יותר חכם (בערך) - הדרך הייתה פשוטה.
אבל זה עדיין היה בגדר מחקר.
חברת open ai היא חברה ללא מטרות רווח (בשנת 2018 היא שינתה את המבנה הארגוני והיא כן יכולה להרוויח עד מידה מסוימת) שהוקמה בשנת 2015 על ידי מספר אנשים, (סם אלטמן איילון מאסק וכו'), המטרה של החברה הייתה לפתח בינה מלאכותית לקהל הרחב ולא להשאיר את המונופול בידי החברות הגדולות, (אגב כך - עובדה מעניינת. איילון מאסק ממש פחד מהAI, זו הייתה אחת הסיבות שהניעו אותו להשקיע בחברה כמתואר בספר 'איילון מאסק' מאת וולטר אייזקסון - סתם ככה ספר ששווה קריאה).
בשנת 2018 (שנה אחרי שהארכיטקטורה של הטרנספורמר התפרסמה) open ai שחררה מודל בשם GPT1 מודל בן 117 מיליון פרמטרים שהיה בגדר מודל מחקר בעלמא והיה רק חזאי טקסט, הוא ממש לא היה מה שיש היום, הסיבה היא שהוא היה סה"כ מכונת סטטיסטיקה מתקדמת שחזתה טקסט.
שנתיים אח"כ היא הפתיעה שוב כששחררה את המודל GPT 3 שהיה מודל ענק! (במושגים של אז) של 175 מיליארד(!) פרמטרים (כאמור היום זה כלום כי מודלי הענק הם עם טריליוני פרמטרים.. וכמובן שלא דיברנו על ארכיטקטורת הMoE...).
בשנת 2022 open ai שחררה פצצה בעולם.
היא השיקה את ChatGPT, הפואנטה ששינתה אותו מה(טיפשה) בינה מלאכותית הייתה הטכניקה בשם RLHF,
למידת חיזוק ממקור אנושי.
כלומר, במקום רק לחזות טקסט הם אומנו להתנהג כמו עוזרים אנושיים, ואז המודל הושק תחת ממשק צ'אט.אבל זה עדיין לא היה המודלים החכמים של היום.
הפריצת דרך הנוספת הגיעה בשנת 2024 עם הופעת מודלי ההסקה.הבעיה הייתה שהמודלים לא חשבו מספיק, ולכן בשיחה רגילה הם היו טובים, אבל בדבר שהצריך טיפה חשיבה - קצת פחות.
open ai כרגיל לקחה את הבכורה והשיקה מודל חדש בשם o1 , הפואנטה הייתה פשוטה - תנו לו טיפה לחשוב.
המודל מקדיש יותר משאבי חישוב פנימיים לפני שהוא מחזיר תשובה, מה שמאפשר לו להתמודד טוב יותר עם בעיות מורכבות הדורשות מספר שלבי הסקה.עד כאן הסבר בסיסי ורקע היסטורי על עולם הAI.
בעז"ה בימים הקרובים אעלה מדריכים שידונו בכך אליבא דהלכתא.
ביניהם --
איך AI עובד.
-
אימון וכיוונון.
-
סוכני קוד - כי איך אפשר שלא.
מקורות:
https://www.ibm.com/think/topics/history-of-artificial-intelligence - מאוד מומלץ!https://he.wikipedia.org/wiki/מבחן_טיורינג
https://arxiv.org/html/1706.03762v7
https://arxiv.org/pdf/2109.01517
@א.מ.ד.
- המון דברים גילית בזכותך..הערות/הארות ופידבקים - אשמח לתגובות רק כאן.
-
-
שלום לכולם.
אני כבר הרבה זמן עובד על זה מאחורי הקלעים, וב"ה גמרתי את המדריך הזה היום.שימו לב!! המדריך לא נכתב בכלל על ידי בינה מלאכותית. אין צורך לשאול אותי על כך, (ולכן גם ייתכנו טעויות..)
זהו מדריך שמעניק היכרות עם הדרך בה הAI התחיל מאז 1950 ועד היום.
בשנת 1950 פרסם אדם בשם (אלן טיורינג) Alan Turing מאמר בכתב העת Mind,
באותה תקופה מחשבים נתפסו אך ורק כמכונות חישוביות פשוטות, ללא יכולת חשיבה עצמאית או משהו מעבר למתמטיקה בסיסית.
הוא הציע מבחן שנקרא מבחן טיורינג:
עיקר המאמר היה עניין החיקוי, אם שופט לא מצליח להבדיל בין טקסט מכונה לבין טקסט אנושי, הרי שיש למכונה אינטליגנציה (בשביל הפילוסופים שבינינו - הרי שהמכונה יכולה לחשוב).בשנת 1956 היה כנס דארטמות', הכנס היה בדיוק בתחום הנישתי הזה של האינטליגנציה מלאכותית.
שם טבע ג'ון מקארתי את המונח Artificial Intelligence (AI) שנהפך לשם של כל התחום הזה.במשך עשורים זה נשאר נייר תיאורטי בלבד, ללא התקדמות מעשית בשטח, למרות הניסיונות הרבים.
אבל, בשנת 2012 קרה מהפך.
קבוצת חוקרים מאוניברסיטת טורנטו הציגה רשת עצבית בשם AlexNet (רשת עצבית CNN),הם הציגו אותה בתחרות לזיהוי תמונות ImageNet, ולקחו את ההובלה בפער עצום.
עיקר החידוש בה היה שזה בניגוד לשיטות קודמות 'למידה עמוקה' או באנגלית = Deep Learning.
(הערה קטנה - גם לפני זה היו רשתות עמוקות, הן השתמשו בנתונים בצורה נכונה ובאמצעות CNN עמוקה - לקחו את ההובלה).
אבל נשארה בעיה רצינית.
הAI לא ידע להבין טקסט אנושי (עיבוד שפה טבעית או באנגלית - NLP),בשנת 2017 חוקרים מגוגל פירסמו מאמר בשם 'Attention Is All You Need',
בתרגום ישיר לעברית - 'תשומת לב זה כל מה שאתם צריכים', שם הם הציגו ארכיטקטורה חדשה בשם טרנספורמר (כן, כן, הטרנספורמר שכל פעם מדברים עליו..)
עיקר החידוש היה מנגנון התשומת לב (אטנש'ן..), הפואנטה היא שהAI יכול להתייחס לכל ההקשר במשפט ולא רק למילה הספציפית שבה הוא אחז באמצעות עיבוד מקבילי (ועכשיו מובן למה צריך כרטיסי מסך - פשוט הם מובנים לעיבוד מקבילי בניגוד למעבד רגיל..),שנה אח"כ גם הושק מודל שהיווה PoC לכך, מודל בשם BERT, שקרא מילה והתייחס לכל המשפט ולא רק למילים הספציפיות.
לדוגמה מילה שיכולה לשמש לשני דברים דורשת הסתכלות על כל המשפט ולא רק המילה הספציפית הזו.כמובן שמשם להגיע למסקנה שככל שיש יותר טקסט וחומר הAI יהיה יותר חכם (בערך) - הדרך הייתה פשוטה.
אבל זה עדיין היה בגדר מחקר.
חברת open ai היא חברה ללא מטרות רווח (בשנת 2018 היא שינתה את המבנה הארגוני והיא כן יכולה להרוויח עד מידה מסוימת) שהוקמה בשנת 2015 על ידי מספר אנשים, (סם אלטמן איילון מאסק וכו'), המטרה של החברה הייתה לפתח בינה מלאכותית לקהל הרחב ולא להשאיר את המונופול בידי החברות הגדולות, (אגב כך - עובדה מעניינת. איילון מאסק ממש פחד מהAI, זו הייתה אחת הסיבות שהניעו אותו להשקיע בחברה כמתואר בספר 'איילון מאסק' מאת וולטר אייזקסון - סתם ככה ספר ששווה קריאה).
בשנת 2018 (שנה אחרי שהארכיטקטורה של הטרנספורמר התפרסמה) open ai שחררה מודל בשם GPT1 מודל בן 117 מיליון פרמטרים שהיה בגדר מודל מחקר בעלמא והיה רק חזאי טקסט, הוא ממש לא היה מה שיש היום, הסיבה היא שהוא היה סה"כ מכונת סטטיסטיקה מתקדמת שחזתה טקסט.
שנתיים אח"כ היא הפתיעה שוב כששחררה את המודל GPT 3 שהיה מודל ענק! (במושגים של אז) של 175 מיליארד(!) פרמטרים (כאמור היום זה כלום כי מודלי הענק הם עם טריליוני פרמטרים.. וכמובן שלא דיברנו על ארכיטקטורת הMoE...).
בשנת 2022 open ai שחררה פצצה בעולם.
היא השיקה את ChatGPT, הפואנטה ששינתה אותו מה(טיפשה) בינה מלאכותית הייתה הטכניקה בשם RLHF,
למידת חיזוק ממקור אנושי.
כלומר, במקום רק לחזות טקסט הם אומנו להתנהג כמו עוזרים אנושיים, ואז המודל הושק תחת ממשק צ'אט.אבל זה עדיין לא היה המודלים החכמים של היום.
הפריצת דרך הנוספת הגיעה בשנת 2024 עם הופעת מודלי ההסקה.הבעיה הייתה שהמודלים לא חשבו מספיק, ולכן בשיחה רגילה הם היו טובים, אבל בדבר שהצריך טיפה חשיבה - קצת פחות.
open ai כרגיל לקחה את הבכורה והשיקה מודל חדש בשם o1 , הפואנטה הייתה פשוטה - תנו לו טיפה לחשוב.
המודל מקדיש יותר משאבי חישוב פנימיים לפני שהוא מחזיר תשובה, מה שמאפשר לו להתמודד טוב יותר עם בעיות מורכבות הדורשות מספר שלבי הסקה.עד כאן הסבר בסיסי ורקע היסטורי על עולם הAI.
בעז"ה בימים הקרובים אעלה מדריכים שידונו בכך אליבא דהלכתא.
ביניהם --
איך AI עובד.
-
אימון וכיוונון.
-
סוכני קוד - כי איך אפשר שלא.
מקורות:
https://www.ibm.com/think/topics/history-of-artificial-intelligence - מאוד מומלץ!https://he.wikipedia.org/wiki/מבחן_טיורינג
https://arxiv.org/html/1706.03762v7
https://arxiv.org/pdf/2109.01517
@א.מ.ד.
- המון דברים גילית בזכותך..הערות/הארות ופידבקים - אשמח לתגובות רק כאן.
-
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}