שיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא
-
@NH-LOCAL כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@Whenever המודל אומן על שם ה' המלא ולא על האות ה', כך שדוגמה מספר 4 יכולה להטעות אותו.
אבל אין מה לומר, אתה אלוף בלהטעות אותו
. איכשהו, בכל הדוגמאות שניסיתי זה תמיד עבד...אני עוד מנסה להטעות אותו:)
תנסה משפטים של "אדום עולם" הוא מזהה אותם לתנ"ך
אני מנסה פיוטים ישנים וסתם דברים ספרותיים.
עוד לא מצאתי קו מנחה, שאמצא אוכל להוות מודל בעצמי:) -
@Whenever כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
עוד לא מצאתי קו מנחה, שאמצא אוכל להוות מודל בעצמי:)
אם אתה רוצה לדעת את הקו המנחה, תוכל למצוא אותו כאן... מדובר על קובץ csv המכיל 500 משפטים מהתנ"ך (לשם השוואה - התנ"ך מכיל כ-22,000 פסוקים שרובם ארוכים יותר מהמשפטים שהכנסתי), 500 משפטים מהתלמוד ו-500 משפטים סתמיים.
https://huggingface.co/spaces/NHLOCAL/is-this-bible/blob/main/data_creation/bible_talmud_data.csv
-
אני חושב שאני מתמכר לזה
הנה משפטים שהוא קורא כתנ"ך (כולם המצאות שלי):
אלך בחוצות נאהב על עמי כי אני עמדי
כן אודה ביום הארוך כי זה עמלי
מה אעשה ולאן אפנה נצעד בדרך לשום תהום
אגדלך ביום בדרך הרים על עמוד איתן יציבו מתמחים
כי אל מתמחים אגש ושם אכתוב לעם השוכן בקרבת מקום
מתמחים הריעו כי גדולים עמכם
דרך מתמחים צעד ישראל אל ראש נחל גבול -
-
-
-
@מישהו12 כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@Whenever כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
המודל מזהה את המילה "ועד" כתלמוד.
אבל את הפסוק המקורי הוא כן מזהה כתנך
למרות המילה ועד
צריך עיון רב
ככל הנראה יש מילים עם משקל הנוטים יותר לשימוש בתנך ויש עם יותר משקל בתלמוד בבלי.
כנראה המודל מחשב לפי כל המילים ומשקלם לאן ראוי לשייך את המשפט.
אפשר לבדוק כל משפט עם מפרקים אותו לגורמים לראות איך התהליך קורה. -
@Whenever כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@מישהו12 כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@Whenever כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
המודל מזהה את המילה "ועד" כתלמוד.
אבל את הפסוק המקורי הוא כן מזהה כתנך
למרות המילה ועד
צריך עיון רב
ככל הנראה יש מילים עם משקל הנוטים יותר לשימוש בתנך ויש עם יותר משקל בתלמוד בבלי.
כנראה המודל מחשב לפי כל המילים ומשקלם לאן ראוי לשייך את המשפט.
אפשר לבדוק כל משפט עם מפרקים אותו לגורמים לראות איך התהליך קורה.הנה דוגמא:
תחפשו: שלום לרחוק ולקרוב
המודל מזהה כאחר. למרות שכתוב בתנ"ך אבל אלו מילים שנשמעים כמו השיחה שלנו כיום.תחפשו: שלום לרחוק ולקרוב אמר ורפאתיו
המודל מזהה כתלמוד בבליתחפשו: שלום לרחוק ולקרוב אמר ורפאתיו לאמר
המודל מזהה כתנך. המילה "לאמר" מאוד תנכית ולכן זה קובע את המשקל של שאר המשפט. -
חשוב לי להדגיש שלא מדובר במודל שפה גדול (מה שמכונה LLM) אלא במודל יותר פשוט מזה. לשם השוואה המודל הזה שוקל בסביבות 180KB לעומת מודל השפה BEREL-2.0 ששוקל כ700 מ"ב.
גם כמות הנתונים קטנה מאד באופן יחסי.
לאור זאת, התוצאות די מרשימות.אם באמת יש צורך בכזה מודל, אפשר לאמן את BEREL על מסד הנתונים של ספריא, ואז יתקבלו תוצאות טובות יותר.
-
@sivan22 כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
חשוב לי להדגיש שלא מדובר במודל שפה גדול (מה שמכונה LLM) אלא במודל יותר פשוט מזה. לשם השוואה המודל הזה שוקל בסביבות 180KB לעומת מודל השפה BEREL-2.0 ששוקל כ700 מ"ב.
גם כמות הנתונים קטנה מאד באופן יחסי.
לאור זאת, התוצאות די מרשימות.אם באמת יש צורך בכזה מודל, אפשר לאמן את BEREL על מסד הנתונים של ספריא, ואז יתקבלו תוצאות טובות יותר.
האם זה טכנולוגיה שונה מLLM או שזה לא LLM כי זה לא Large?
-
@sivan22 כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
חשוב לי להדגיש שלא מדובר במודל שפה גדול (מה שמכונה LLM) אלא במודל יותר פשוט מזה. לשם השוואה המודל הזה שוקל בסביבות 180KB לעומת מודל השפה BEREL-2.0 ששוקל כ700 מ"ב.
גם כמות הנתונים קטנה מאד באופן יחסי.
לאור זאת, התוצאות די מרשימות.אם באמת יש צורך בכזה מודל, אפשר לאמן את BEREL על מסד הנתונים של ספריא, ואז יתקבלו תוצאות טובות יותר.
מסכים לגמרי, יחסית זה עבודה נהדרת.
ממש כיף לי למצוא את הנקודות שינוי שלו בין מילה למילה.הנה דוגמה קטנה, התחלתי על המילה "מיתיבי" שזה הוא מזהה כתלמוד ואז הוספתי שתי מחרוזות בת שלש תיבות שגם כתובים בטקסט שיש לו כתנך ולא משנה כמה ארמית אני מוסיף הוא עדיין קורא לזה תנך.
מתיבי בראשית ברא אלוקים למימרא כי הכל ברא לכבודו בניחותא וכך הוא אדעתא דהכי ואז נח רישיה בגולתא דדהבה דיליה וקם ואתחשיב במיניה וביה אמר רבא לאביי אם כן ההוא גברא דעקר עציה מתוך חמרה ואזל למתיבתא דרקיע וערק לנפשיה מפני פורים גופיה אלו מציאות שפטור להכריז כי מצא לעצמו ומצא לחבריה וכך הווה במתא דידיהבעיני זה מרתק!
-
@מישהו12 כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
האם זה טכנולוגיה שונה מLLM או שזה לא LLM כי זה לא Large?
זה שונה מהותית. לעניינינו ההבדל המבדיל הוא המנגנון שנקרא attention שזהו בעצם חישוב מתמטי של יחס ומשקל של כל מילה ביחס למילה אחרת באותו משפט, שגורם לכל מילה להשפיע על משמעות המשפט ברמה אחרת, וכן לכך שמילה זהה לכאורה תקבל משמעות אחרת לגמרי לפי ההקשר שלה באותו משפט. וכמובן שגם זה נלמד בזמן האימון.
מעניין שה"מבחן" שנתנו לBEREL היה להבחין בין חֵלב לחָלב ועוד מילים כאלו, והוא עבר בהצלחה . פרטים במאמר המדעי.
-
@sivan22 כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@מישהו12 כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
האם זה טכנולוגיה שונה מLLM או שזה לא LLM כי זה לא Large?
זה שונה מהותית. לעניינינו ההבדל המבדיל הוא המנגנון שנקרא attention שזהו בעצם חישוב מתמטי של יחס ומשקל של כל מילה ביחס למילה אחרת באותו משפט, שגורם לכל מילה להשפיע על משמעות המשפט ברמה אחרת, וכן לכך שמילה זהה לכאורה תקבל משמעות אחרת לגמרי לפי ההקשר שלה באותו משפט. וכמובן שגם זה נלמד בזמן האימון.
מעניין שה"מבחן" שנתנו לBEREL היה להבחין בין חֵלב לחָלב ועוד מילים כאלו, והוא עבר בהצלחה . פרטים במאמר המדעי.
יש למערכות האלו אלגוריתים? איך הם מחליטים כמה משקל לכל תיבה?
![חיפוש גוגל בפורום](javascript:{bootbox.prompt({title:'<div style="text-align: center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400"></div>',placeholder:'כתוב מילים לחיפוש ב Google',buttons:{confirm:{label:'חיפוש'},cancel:{label:'ביטול'}},backdrop:true,callback:function(result){if(result!=null&&result!=''){var a=document.createElement('a');a.href='https://www.google.co.il/search?q=site:mitmachim.top '+encodeURIComponent(result.trim());a.target='_blank';a.click();}}})();};){kind=link}