שיתוף | אימון מודל לזיהוי הנושא ההלכתי
-
@MAKRO כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:
מעניין אותי הראש שלו, אולי תדע לפרט איך הוא עובד
זה קצת מורכב אבל אנסה לפשט ככל שאוכל: כל מילה (או יותר נכון חלק ממילה -טוקן) מיוצגת ע"י איזה מספר, וכשהמודל (-סוג של תכנית מחשב) מקבל משפט שמורכב מהרבה מילים (טוקנים) הוא מנסה לחשב מה החשיבות של כל מילה ביחס למילה אחרת, וכמה היא משפיעה על המשמעות שלה, ולכמת את זה באיזה מספר. כך בעצם הוא מצליח לתת איזה ייצוג מספרי להקשר בין המילים. לאור ההקשר שהוא חישב בין המילים הוא מנסה "לנחש" (באמצעות איזה חישוב מתמטי) לאיזה קטגוריה המשפט בכללותו מתאים. אם מתברר שהוא לא צדק, אז הוא משנה את הפרמטרים (-מספרים בתוך התוכנית שיכולים להשתנות) כך שבפעם הבאה יהיה סיכוי טוב יותר לניחוש נכון, וכך שוב ושוב עד שמתקבלת תוצאה נכונה. הרעיון הזה של חישוב ההקשר בין המילים נקרא attention (קשב - תשומת לב) והוא עומד בבסיס מודלי השפה שפרצו את תקרת הזכוכית כולל GPT4.
אבל יש לו מה להשתפר...
כתבתי שאני עדיין מאמן אותו עוד, ואני מקווה שהוא ישתפר.
בכל אופן נהניתי מאוד!
תודה על הפידבק, זה מחמם את הלב.
-
@sivan22 כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:
כתבתי שאני עדיין מאמן אותו עוד, ואני מקווה שהוא ישתפר.
באיזה דרך אתה מאמן אותו?
-
@sivan22 כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:
@aiib באמצעות קוד בפייתון וספריית transformers (נתתי קישור למעלה למחברת בkaggle).
לא ראיתי קישור לכך, אפשר בבקשה שוב?
הנתונים לאימון זה פשוט טבלה עם הטקסט והסימן והסעיף. ניתן לראות כאן.
אתה יצרת את הטבלה הזו? איך?
מה שאני מנסה לשאול האם אני ללא ידע בתכנות ואימול מודלים יכול לעשות את זה על ספר ספציפי שאחליט או שזה דורש ידע וניסיון?
-
@sivan22 כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:
@aiib באמצעות קוד בפייתון וספריית transformers (נתתי קישור למעלה למחברת בkaggle).
לא ראיתי קישור לכך, אפשר בבקשה שוב?
הנתונים לאימון זה פשוט טבלה עם הטקסט והסימן והסעיף. ניתן לראות כאן.
אתה יצרת את הטבלה הזו? איך?
מה שאני מנסה לשאול האם אני ללא ידע בתכנות ואימול מודלים יכול לעשות את זה על ספר ספציפי שאחליט או שזה דורש ידע וניסיון?
-
-
-
@sivan22 כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:
@sivan22 הנה ממשק נחמד ויותר שימושי, עם תוצאות מהשולחן ערוך ומשנה ברורה:
מי שרוצה לנסות מוזמן להכנס לקישור.
שלחתי לפתיחה בנטפרי
לחלופין ניתן להוריד מגיטהאב
נ.ב. גם בשימוש לא מקוון נדרש חיבור לאינטרנט בפעם הראשונה.
מה אני צריך להוריד שם למחשב שלי? ואיך מפעילים?
-
-
@אהרן כרגע הוא מוצא רק סימן וסעיף בשולחן ערוך (לא סעיף קטן במפרשים). השתמשתי במין טריק עם טכניקה של סיווג (קלאסיפיקציה בלע''ז), במקום חיפוש עם אינדקס וכדומה.
יש לי תוכניות בעתיד בעזרת ד' לעשות גם חיפוש מלא יותר, מבוסס על טכניקות של חיפוש לפי משמעות. יתכן גם שאשלב בין השיטות.
כמו כן אני עובד על ממשק שיהיה אפשר להוריד ולהשתמש אופליין. -
ניסיתי להתקין [שים לב: אני לא מבין לא בתכנות, ולא בגיטהאב...]
זה התגובה הראשונה:C:\Users\user>pip intall sreamlit ERROR: unknown command "intall" - maybe you meant "install"ניסיתי:
C:\Users\user>pip install sreamlit ERROR: Could not find a version that satisfies the requirement sreamlit (from versions: none) ERROR: No matching distribution found for sreamlitניסיתי להדביק את כל הפקודות יחד, ככה:
pip install sreamlit git clone https://github.com/Sivan22/halacha-classification.git cd halacha-classification streamlit run App.pyויצא לי...
C:\Users\user>pip install sreamlit ERROR: Could not find a version that satisfies the requirement sreamlit (from versions: none) ERROR: No matching distribution found for sreamlit C:\Users\user>git clone https://github.com/Sivan22/halacha-classification.git 'git' is not recognized as an internal or external command, operable program or batch file. C:\Users\user>cd halacha-classification The system cannot find the path specified. C:\Users\user>streamlit run App.py 'streamlit' is not recognized as an internal or external command, operable program or batch file.מה כעת?
-
ניסיתי להתקין [שים לב: אני לא מבין לא בתכנות, ולא בגיטהאב...]
זה התגובה הראשונה:C:\Users\user>pip intall sreamlit ERROR: unknown command "intall" - maybe you meant "install"ניסיתי:
C:\Users\user>pip install sreamlit ERROR: Could not find a version that satisfies the requirement sreamlit (from versions: none) ERROR: No matching distribution found for sreamlitניסיתי להדביק את כל הפקודות יחד, ככה:
pip install sreamlit git clone https://github.com/Sivan22/halacha-classification.git cd halacha-classification streamlit run App.pyויצא לי...
C:\Users\user>pip install sreamlit ERROR: Could not find a version that satisfies the requirement sreamlit (from versions: none) ERROR: No matching distribution found for sreamlit C:\Users\user>git clone https://github.com/Sivan22/halacha-classification.git 'git' is not recognized as an internal or external command, operable program or batch file. C:\Users\user>cd halacha-classification The system cannot find the path specified. C:\Users\user>streamlit run App.py 'streamlit' is not recognized as an internal or external command, operable program or batch file.מה כעת?
-
-
@sivan22 כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:
מי שרוצה לנסות מוזמן להכנס לקישור.
נטפרי:
אופסססס.......
האתר הזה עדיין לא נבדק.לחץ כאן כדי לשלוח בקשה לבדיקה............
-
@sivan22 יפה מאוד !!
ניסיתי אותו מעט, אני בטוח שהמאגרים התורניים למיניהם בעתיד (הקרוב, אני מקוה...) יצטרכו להגיע לכיוון הזה, ואתה היית הראשון שזיהה...מעניין אותי הראש שלו, אולי תדע לפרט איך הוא עובד
כי נסיתי למשל "יעלה ויבוא ורצה בסעודה שלישית" (נידון ידוע)
התוצאה השלישית היא הנכונה (קפח י) צל"ש!אבל יש לו מה להשתפר...
כי התוצאה הראשונה (קכח ט) היית קשורה ליעלה ויבוא אבל לא לסעודה שלישית
אם כי היית קשורה לערב שבת
אז אולי הוא עשה קישור כזה סעודה שלישית=שבת, ונתן לזה ציון יותר גבוה
האם נכון שזה היה הכיוון שלו?ואולי יש לך הצעות איך לדבר איתו יותר מדויק?
בכל אופן נהניתי מאוד!
מחכה להמשך@MAKRO כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:
כי נסיתי למשל "יעלה ויבוא ורצה בסעודה שלישית" (נידון ידוע)
התוצאה השלישית היא הנכונה (קפח י) צל"ש!> אבל יש לו מה להשתפר...
כי התוצאה הראשונה (קכח ט) היית קשורה ליעלה ויבוא אבל לא לסעודה שלישית
אם כי היית קשורה לערב שבת
אז אולי הוא עשה קישור כזה סעודה שלישית=שבת, ונתן לזה ציון יותר גבוהאני חושב שהוא השתפר...
-
@sivan22 כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:
@sivan22 הנה ממשק נחמד ויותר שימושי, עם תוצאות מהשולחן ערוך ומשנה ברורה:
מי שרוצה לנסות מוזמן להכנס לקישור.
שלחתי לפתיחה בנטפרי
לחלופין ניתן להוריד מגיטהאב
נ.ב. גם בשימוש לא מקוון נדרש חיבור לאינטרנט בפעם הראשונה.
מה אני צריך להוריד שם למחשב שלי? ואיך מפעילים?
@אהרן כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:
@sivan22 כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:
@sivan22 הנה ממשק נחמד ויותר שימושי, עם תוצאות מהשולחן ערוך ומשנה ברורה:
מי שרוצה לנסות מוזמן להכנס לקישור.
שלחתי לפתיחה בנטפרי
תשובת נטפרי:
האתר נפתח
עם סינון מלל על ידי רובוט אוטומטי וסינון תמונות אנושי.
בהצלחה! -
-
@aiib כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:
@sivan22 צריך לדעת איך לשאול? כי שאלתי כמה וכמה שאלות ולא הצלחתי לקבל מקור מתאים
צריך להדגיש שמדובר כרגע בהדגמת יכולות בלבד, ואין שום הבטחה שהתשובות יהיו מדוייקות.
מכיון שהנתונים שהוא התאמן עליהם היו הפוסקים, אז ככל שתכתוב דבר שהוא דומה לסעיף במשנה ברורה או מגן אברהם, יש יותר סיכוי שהוא יזהה אותו נכון. השלב הבא שאני מתכנן לעשות בסייעתא דשמיא הוא לאמן אותו על מאגר שאלות בשפה המדוברת מה שכנראה יעלה את הסיכוי לקבל מקור טוב גם לשאלה קצרה בעברית . -
@אהרן כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:
@sivan22 ניסיתי פעם ראשונה וזה מה שקיבלתי:
לאחר כמה נסיונות הוא יעבוד. אני מכיר את הבאג, עובד על זה.
![חיפוש גוגל בפורום](javascript:{bootbox.prompt({title:'<div style="text-align: center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400"></div>',placeholder:'כתוב מילים לחיפוש ב Google',buttons:{confirm:{label:'חיפוש'},cancel:{label:'ביטול'}},backdrop:true,callback:function(result){if(result!=null&&result!=''){var a=document.createElement('a');a.href='https://www.google.co.il/search?q=site:mitmachim.top '+encodeURIComponent(result.trim());a.target='_blank';a.click();}}})();};){kind=link}