שיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא
-
@mefateach כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@aiib כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
מה יש להרחיב? תנסה תראה, אם אין לך אפשרות לנסות אין לי הרבה מה לסביר, אתה רק יכול לראות את הדוגמה שהעלתי
במה הוא יותר טוב. במה לבדוק אותו?
@aiib כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
במה הוא יותר טוב. במה לבדוק אותו?
הוא יותר טוב בניסוח בשפה העברית, ובעוד כמה פרמטרים מסויימים, שאפשר לדון עליהם
לבלוג שלי (מתעדכן!)
https://blog.ze-kal.top -
@aiib כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
במה הוא יותר טוב. במה לבדוק אותו?
הוא יותר טוב בניסוח בשפה העברית, ובעוד כמה פרמטרים מסויימים, שאפשר לדון עליהם
-
@aiib כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
במה הוא יותר טוב. במה לבדוק אותו?
הוא יותר טוב בניסוח בשפה העברית, ובעוד כמה פרמטרים מסויימים, שאפשר לדון עליהם
-
@aiib כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@NH-LOCAL על איזה מודל הוא מבוסס?
מודל קלאוד של חברה בשם אנטרופיק
לבלוג שלי (מתעדכן!)
https://blog.ze-kal.top -
@aiib כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@NH-LOCAL על איזה מודל הוא מבוסס?
מודל קלאוד של חברה בשם אנטרופיק
-
עדכון: ניתן להתנסות במודל באופן מיידי באתר הבא:
https://huggingface.co/spaces/NHLOCAL/is-this-bible
לאחרונה עשיתי צעדים ראשונים בעולם ה-machine learning. במהלך הנסיונות יצרתי כמה מודלים לכמה מטרות, בין השאר - מודל שמזהה האם משפט מסויים הוא מהתנ"ך או מכל מקום אחר.
לצורך כך השתמשתי ברשימה של כ-500 פסוקים ממקומות שונים בתנ"ך ושל כ-500 משפטים בסגונונת שונים, כמו חדשות, בדיחות, סיפורים, מונולוגים, ועוד.
טוב, זה לא הדבר הכי שימושי בעולם, זה בא בעיקר בשביל להדגים את היכולות של למידת מכונה.
האמת היא, שכמעט לא עשיתי שום דבר בעצמי. בניית הקוד הבסיסי, ואפילו מערך הנתונים, נוצר בעזרתו האדיבה של צ'אט GPT.המודל מצליח לזהות משפטים ברמה טובה למדי, וניתן לנסות אותו בקלות על ידי הורדת קובץ השחרור מהמאגר בגיטהאב.
תוכלו להריץ את הקובץ try_model כדי לראות רשימת משפטים לדוגמה עם הזיהוי "bible" או "other", כולל רמת הוודאות של הזיהוי. בנוסף, תוכלו להכניס משפט כלשהו כפרמטר משורת הפקודה עם מרכאות בתחילת וסוף המשפט.
ניתן לחפש את המשפט הספציפי בתוך הקובץ bible_data.csv שמכיל את מערך הנתונים, כדי לוודא שהמשפט לא הוזן למודל מראש.
כדי להריץ את המודל בפועל יש להוריד עם pip את המודלים joblib ו- nltk.
דוגמה:
קלט שלילי:
try_model.py "האתר מתמחים מכיל שאלות בנושאי תכנות ונושאים אחרים"פלט:
Text: האתר מתמחים מכיל שאלות בנושאי תכנות ונושאים אחרים | Prediction: Other | Confidence Score: 0.3112קלט חיובי:
try_model.py "עניה סערה לא נחמה הנה אנכי מרביץ בפוך אבניך"פלט:
Text: עניה סערה לא נחמה הנה אנכי מרביץ בפוך אבניך ויסדתיך בספירים | Prediction: Bible | Confidence Score: 1.0000
קישור למאגר עצמו - https://github.com/NHLOCAL/is-this-bible
הכנסו לבלוג שלי למאמרים ותגליות נוספות
עדכון (כ"ז אב) - יצרתי גרסה מוכנה בקובץ EXE ללא צורך בהורדת פייתון וספריות קוד.
הורידו בקישור הישיר הזה:
https://github.com/NHLOCAL/is-this-bible/releases/download/v2.0/is-this-bible.zipהוראות שימוש:
- חלצו את תוכן קובץ הזיפ לתיקיה.
- פתחו שורת הפקודה מתוך התיקיה - אפשר להקליד "CMD" בשורת הכותרת או לפתוח את התפריט בלחיצה על מקש ימני ובחירה ב"פתח במסוף" (עבור ווינדוס 11)
- הריצו את התוכנה + משפט לדוגמה שתרצו לנסות:
is-this-bible.exe "איש אחד הלך ברחוב"לבלוג שלי (מתעדכן!)
https://blog.ze-kal.top -
עדכון (כ"ז אב) - יצרתי גרסה מוכנה בקובץ EXE ללא צורך בהורדת פייתון וספריות קוד.
הורידו בקישור הישיר הזה:
https://github.com/NHLOCAL/is-this-bible/releases/download/v2.0/is-this-bible.zipהוראות שימוש:
- חלצו את תוכן קובץ הזיפ לתיקיה.
- פתחו שורת הפקודה מתוך התיקיה - אפשר להקליד "CMD" בשורת הכותרת או לפתוח את התפריט בלחיצה על מקש ימני ובחירה ב"פתח במסוף" (עבור ווינדוס 11)
- הריצו את התוכנה + משפט לדוגמה שתרצו לנסות:
is-this-bible.exe "איש אחד הלך ברחוב" -
ה האדם החושב התייחס לנושא זה ב
-
עדכון: ניתן להתנסות במודל באופן מיידי באתר הבא:
https://huggingface.co/spaces/NHLOCAL/is-this-bible
לאחרונה עשיתי צעדים ראשונים בעולם ה-machine learning. במהלך הנסיונות יצרתי כמה מודלים לכמה מטרות, בין השאר - מודל שמזהה האם משפט מסויים הוא מהתנ"ך או מכל מקום אחר.
לצורך כך השתמשתי ברשימה של כ-500 פסוקים ממקומות שונים בתנ"ך ושל כ-500 משפטים בסגונונת שונים, כמו חדשות, בדיחות, סיפורים, מונולוגים, ועוד.
טוב, זה לא הדבר הכי שימושי בעולם, זה בא בעיקר בשביל להדגים את היכולות של למידת מכונה.
האמת היא, שכמעט לא עשיתי שום דבר בעצמי. בניית הקוד הבסיסי, ואפילו מערך הנתונים, נוצר בעזרתו האדיבה של צ'אט GPT.המודל מצליח לזהות משפטים ברמה טובה למדי, וניתן לנסות אותו בקלות על ידי הורדת קובץ השחרור מהמאגר בגיטהאב.
תוכלו להריץ את הקובץ try_model כדי לראות רשימת משפטים לדוגמה עם הזיהוי "bible" או "other", כולל רמת הוודאות של הזיהוי. בנוסף, תוכלו להכניס משפט כלשהו כפרמטר משורת הפקודה עם מרכאות בתחילת וסוף המשפט.
ניתן לחפש את המשפט הספציפי בתוך הקובץ bible_data.csv שמכיל את מערך הנתונים, כדי לוודא שהמשפט לא הוזן למודל מראש.
כדי להריץ את המודל בפועל יש להוריד עם pip את המודלים joblib ו- nltk.
דוגמה:
קלט שלילי:
try_model.py "האתר מתמחים מכיל שאלות בנושאי תכנות ונושאים אחרים"פלט:
Text: האתר מתמחים מכיל שאלות בנושאי תכנות ונושאים אחרים | Prediction: Other | Confidence Score: 0.3112קלט חיובי:
try_model.py "עניה סערה לא נחמה הנה אנכי מרביץ בפוך אבניך"פלט:
Text: עניה סערה לא נחמה הנה אנכי מרביץ בפוך אבניך ויסדתיך בספירים | Prediction: Bible | Confidence Score: 1.0000
קישור למאגר עצמו - https://github.com/NHLOCAL/is-this-bible
הכנסו לבלוג שלי למאמרים ותגליות נוספות
עדכון: כדי לאפשר לכולם להתנסות במודל, (וגם סתם כך לכיף, כי זה ממש קל...) בניתי אפליקצייה על גבי אתר "hugging face" שמריצה את המודל אונליין. כל אחד יכול להתנסות בה.
כרגע העיצוב די מינימלי, ואפילו לא בהמשך. אני מקווה לשפר את זה קצת בהמשך בעז"ה
ניתן להכנס לאפליקצייה כאן:
-
@NH-LOCAL מאוד יפה!
ניסיתי עכשיו "ויבוא אברהם" והוא אומר לא תנך
ניסיתי "ויבא אברהם" ואז הוא מאשר.האם המודל חייב בדיוק את האיות הנכון?
@Whenever המודל לא חייב כלום. אף אחד לא יכול להסביר איך הוא בדיוק עובד.
בכל מקרה, צריך להכניס לו טקסט קצת יותר ארוך. הוא לא מתאים למילה וחצי אלא למשפט שלם.לבלוג שלי (מתעדכן!)
https://blog.ze-kal.top -
@Whenever המודל לא חייב כלום. אף אחד לא יכול להסביר איך הוא בדיוק עובד.
בכל מקרה, צריך להכניס לו טקסט קצת יותר ארוך. הוא לא מתאים למילה וחצי אלא למשפט שלם.@NH-LOCAL כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@Whenever המודל לא חייב כלום. אף אחד לא יכול להסביר איך הוא בדיוק עובד.
בכל מקרה, צריך להכניס לו טקסט קצת יותר ארוך. הוא לא מתאים למילה וחצי אלא למשפט שלם."חור כרפס ותכלת אחוז" (מגילת אסתר)
הוא לא מוצא את זה, זה עובד גם על כתובים? -
@NH-LOCAL כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@Whenever המודל לא חייב כלום. אף אחד לא יכול להסביר איך הוא בדיוק עובד.
בכל מקרה, צריך להכניס לו טקסט קצת יותר ארוך. הוא לא מתאים למילה וחצי אלא למשפט שלם."חור כרפס ותכלת אחוז" (מגילת אסתר)
הוא לא מוצא את זה, זה עובד גם על כתובים? -
@Whenever אימנתי אותו על כל התנ"ך. הנקודה היא שאין לו את כל התנ"ך בראש, והוא גם לא מבצע חיפוש בתנ"ך. הכנסתי לו כמה מאות פסוקים מכל רחבי התנ"ך, וכעת הוא אמור לזהות לפי הסגנון האם הפסוק מהתנ"ך או לא
@NH-LOCAL כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@Whenever אימנתי אותו על כל התנ"ך. הנקודה היא שאין לו את כל התנ"ך בראש, והוא גם לא מבצע חיפוש בתנ"ך. הכנסתי לו כמה מאות פסוקים מכל רחבי התנ"ך, וכעת הוא אמור לזהות לפי הסגנון האם הפסוק מהתנ"ך או לא
מאוד מעניין!
שמעתי פעם שחוקרים ניסו לבדוק אם יש לתנ"ך סגנון ומצאו שאין! כלומר לא ניתן להשוות בין פרשת בראשית ופרשת האזינו ולקבל סגנון כל שהוא. אם זה נכון, זה יקשה מאוד על כזה מודל...
מעניין גם מה המודל עושה עם שם ה'. האם הוא מזהה "ה'" כשם מלא?בכל אופן אני מבין שתנ"ך לא היתה המטרה פה.
תודה על הטעימה!
-
@NH-LOCAL כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@Whenever אימנתי אותו על כל התנ"ך. הנקודה היא שאין לו את כל התנ"ך בראש, והוא גם לא מבצע חיפוש בתנ"ך. הכנסתי לו כמה מאות פסוקים מכל רחבי התנ"ך, וכעת הוא אמור לזהות לפי הסגנון האם הפסוק מהתנ"ך או לא
מאוד מעניין!
שמעתי פעם שחוקרים ניסו לבדוק אם יש לתנ"ך סגנון ומצאו שאין! כלומר לא ניתן להשוות בין פרשת בראשית ופרשת האזינו ולקבל סגנון כל שהוא. אם זה נכון, זה יקשה מאוד על כזה מודל...
מעניין גם מה המודל עושה עם שם ה'. האם הוא מזהה "ה'" כשם מלא?בכל אופן אני מבין שתנ"ך לא היתה המטרה פה.
תודה על הטעימה!
@Whenever כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@NH-LOCAL כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@Whenever אימנתי אותו על כל התנ"ך. הנקודה היא שאין לו את כל התנ"ך בראש, והוא גם לא מבצע חיפוש בתנ"ך. הכנסתי לו כמה מאות פסוקים מכל רחבי התנ"ך, וכעת הוא אמור לזהות לפי הסגנון האם הפסוק מהתנ"ך או לא
מאוד מעניין!
שמעתי פעם שחוקרים ניסו לבדוק אם יש לתנ"ך סגנון ומצאו שאין! כלומר לא ניתן להשוות בין פרשת בראשית ופרשת האזינו ולקבל סגנון כל שהוא. אם זה נכון, זה יקשה מאוד על כזה מודל...
מעניין גם מה המודל עושה עם שם ה'. האם הוא מזהה "ה'" כשם מלא?נשמע מוזר. בכל מקרה, מכיוון שהמודל רק מזהה בין תנ"ך ללא-תנ"ך ולא בין חלקים שונים בתנ"ך, המחקר הזה לא רלוונטי.
בכל אופן אני מבין שתנ"ך לא היתה המטרה פה.
נכון. זה סתם מודל שנתן לי וגם יכול לתת לאחרים דוגמה לדרכי האימון של בינה מלאכותית. יש לציין שזה היה ממש קל, ובאותה תבנית אפשר לאמן מודלים לכל דבר שהוא. (לדוגמה: זיהוי הספאם של ג'ימייל משתמש בשיטה דומה, משתמשים בזה גם לזהות רגשות במשפטים. למשל, האם משפט מסויים הוא מצחיק או עצוב, וכן הלאה והלאה)
-
@NH-LOCAL כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@Whenever המודל לא חייב כלום. אף אחד לא יכול להסביר איך הוא בדיוק עובד.
בכל מקרה, צריך להכניס לו טקסט קצת יותר ארוך. הוא לא מתאים למילה וחצי אלא למשפט שלם."חור כרפס ותכלת אחוז" (מגילת אסתר)
הוא לא מוצא את זה, זה עובד גם על כתובים?@Whenever כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@NH-LOCAL כתב בשיתוף | מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@Whenever המודל לא חייב כלום. אף אחד לא יכול להסביר איך הוא בדיוק עובד.
בכל מקרה, צריך להכניס לו טקסט קצת יותר ארוך. הוא לא מתאים למילה וחצי אלא למשפט שלם."חור כרפס ותכלת אחוז" (מגילת אסתר)
הוא לא מוצא את זה, זה עובד גם על כתובים?אם אתה מחפש חיפוש חכם בתנ"ך יש לדיקטה שירות כזה
https://search.dicta.org.il -
לי זה לא תמיד עובד
הוא לא מוצא
ועשו לי מקדש ושכנתי בתוכםאורה ושמחה וששון ויקר
איך נשיר את שיר ה על אדמת נכר
שמעה בקולי תהיינה אזניך קשובות
המודל חושב שזה תנך
כל כתבי חפץ חיים השלם
בימי מתתיהו בן יוחנן
ממשה למשה לא קם כמשה
מי שבירך אבותינו אברהם יצחק ויעקב
אין לנו על מי להישען אלא
ימים מקדם תשמע ותשיש היום תשמע שמחהעריכה, יש הרבה שהוא צודק אבל יש...
-
לי זה לא תמיד עובד
הוא לא מוצא
ועשו לי מקדש ושכנתי בתוכםאורה ושמחה וששון ויקר
איך נשיר את שיר ה על אדמת נכר
שמעה בקולי תהיינה אזניך קשובות
המודל חושב שזה תנך
כל כתבי חפץ חיים השלם
בימי מתתיהו בן יוחנן
ממשה למשה לא קם כמשה
מי שבירך אבותינו אברהם יצחק ויעקב
אין לנו על מי להישען אלא
ימים מקדם תשמע ותשיש היום תשמע שמחהעריכה, יש הרבה שהוא צודק אבל יש...
. איכשהו, בכל הדוגמאות שניסיתי זה תמיד עבד... { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}