שיתוף | מה חדש בבינה מלאכותית - נספח עדכוני פיצ'רים ודיונים 💬

[א.מ.ד.]

@עניו-כמשה כתב:

@א.מ.ד. איך מורידים ומתי יהיה זמין

מהקישור שהבאתי בפוסט...
אבל מן הסתם זה לא רלוונטי לחומרה שלך...

@יודע-ספר כתב:

@עניו-כמשה https://mitmachim.top/post/1215346
!!!!!

הוא כתב בשרשור הזה, לא השני, מה הבעיה?

[המלאך]

@א.מ.ד. כתב:

הוא כתב בשרשור הזה, לא השני, מה הבעיה?

נראה לי שניהם נכתבו בשני והועברו על ידי צ"פ לכאן..

[צדיק וטוב לו 0]

@המלאך אני כמעט בטוח שאכן כך.

[חיים שנקר]

@א.מ.ד. @המלאך @css-0 רק בשביל ההמחשה לרעיון שלי ביקשתי סיכום מGPT עבור מה אפשר לנצל מספריא עבור מודל הטמעה - לא בדקתי אפילו

Spoiler

בקיצור, עבור מודל הטמעה (Embedding) לעברית תורנית, מספריא כדאי לנצל בעיקר את שכבת הקשרים ולא רק את הטקסטים עצמם. ספריא מספקת גם טקסטים וגם מבנה של קשרים בין מקורות. (Sefaria)

הדברים החשובים ביותר:

1. קישורי מקורות (Links)

להפוך לקשרי אימון:

פסוק
 ↓
רש"י
 ↓
רמב"ן
 ↓
מדרש

שימוש:

• Positive pairs לאימון contrastive learning
• הבנת "איזה מקורות קשורים"

(Sefaria)

---

2. פירושים (Commentaries)

ליצור קשר:

טקסט בסיס
+
פירוש עליו
=
קרבה סמנטית חזקה

לדוגמה:

• תנ"ך רש"י
• גמרא תוספות
• משנה מפרשים

---

3. Topics / נושאים

להוסיף שכבת משמעות:

קטע
 ↓
נושא
 ↓
קטעים נוספים באותו נושא

לדוגמה:

שמיטה
 ├─ ויקרא
 ├─ משנה שביעית
 ├─ רמב"ם
 └─ שו"ת

(Sefaria)

---

4. Sheets (דפי מקורות)

מקורות שאנשים כבר קיבצו יחד:

מקור א
מקור ב
מקור ג

זה Dataset טבעי של "מקורות קרובים".

---

5. ציטוטים והפניות (Citations)

ללמד את המודל:

ספר מאוחר
 ↓
מצטט
 ↓
מקור קדום

לדוגמה:

שו"ת
  ↔
תלמוד

(Sefaria)

---

6. מטא־דאטה

להכניס לכל embedding:

{
 book:"",
 author:"",
 period:"",
 category:"",
 language:"",
 topics:[]
}

זה יעזור למודל להבדיל בין:

• הלכה
• אגדה
• פרשנות
• מדרש
• קבלה וכו'.

---

Dataset שהייתי בונה:

sefaria_embedding/

texts.jsonl
links.jsonl
commentaries.jsonl
topics.jsonl
sheets.jsonl
citations.jsonl
metadata.jsonl

---

סוגי זוגות אימון:

זוג חיובי:

רמב"ן בראשית א
↔
רש"י בראשית א

זוג נושאי:

הלכות שבת רמב"ם
↔
מסכת שבת

זוג ציטוט:

שו"ת אחרון
↔
מקור בגמרא

שלילי:

הלכות שבת
↔
הלכות עירובין רחוקות

---

אם מדרגים חשיבות למודל embedding:

1. Links
2. Commentaries
3. Topics
4. Sheets
5. Citations
6. Metadata

החלק הייחודי של ספריא הוא שהמודל לא ילמד רק "מילים דומות", אלא מבנה של קשרי לימוד תורניים.

[א.מ.ד.]

@חיים-שנקר מודל קטן לא יכול לקלוט את הקשר הסמנטי בין קטע תורני לנושאי כלים שעליו. רק מודל גדול ברמת ג'מיני אמבדינג שמבין היטב את המשמעות ומודע מראש להקשרים.

[חיים שנקר]

@א.מ.ד. אז לאיזה רמה אימנת את המודל שלך והאם זוגות חיובים ושלילים יותר ברורים מפירוש על פסוק\גמרא\משנה

[א.מ.ד.]

@חיים-שנקר כתב:

@א.מ.ד. אז לאיזה רמה אימנת את המודל שלך

מה הכוונה?

@חיים-שנקר כתב:

והאם זוגות חיובים ושלילים יותר ברורים מפירוש על פסוק\גמרא\משנה

בהחלט... יש הקשר סמנטי ברור.

[חיים שנקר]

@א.מ.ד. התכוונתי לאיזה רמה של חיפוש סמנטי ? - אבל אם הזוגות יותר ברורים בהקשר מפירוש אז זה גם התשובה - אבל מעניין לבדוק את זה האם מודל קטן לא יכול ללמוד הקשר כזה

[א.מ.ד.]

@חיים-שנקר דוגמא למערך הנתונים בספויילר:

Spoiler

{"query":"מה משמעות ההבטחה שהפקידים יוחלפו בשלום במקום גביית מס בכוח?","positive":"ושמתי פקודתך שלום ר"ל תחת הפקידים שהיו נותנים עליכם לגבות המס אשים עליך שלום כי לא יבואו עוד בתגר לגבות המס כי אם יבואו לשאול בשלומך","passage_id":2108828946546,"query_type":"natural_question"}
{"query":"החלפת גובי מס בשלום","positive":"ושמתי פקודתך שלום ר"ל תחת הפקידים שהיו נותנים עליכם לגבות המס אשים עליך שלום כי לא יבואו עוד בתגר לגבות המס כי אם יבואו לשאול בשלומך","passage_id":2108828946546,"query_type":"torah_search"}
{"query":"האם קרבן שמביא גוי טעון נסכים אף שהגוי עצמו אינו מביאם?","positive":"ואין מביא עליהן נסכים אבל קרבנו טעון נסכים דברי רבי שמעון מנא הני מילי דתנו רבנן "אזרח" — אזרח מביא נסכים ואין הגוי מביא נסכים יכול לא תהא עולתו טעונה נסכים תלמוד לומר "ככה"","passage_id":7430293422117,"query_type":"natural_question"}
{"query":"נסכים לקרבן של גוי","positive":"ואין מביא עליהן נסכים אבל קרבנו טעון נסכים דברי רבי שמעון מנא הני מילי דתנו רבנן "אזרח" — אזרח מביא נסכים ואין הגוי מביא נסכים יכול לא תהא עולתו טעונה נסכים תלמוד לומר "ככה"","passage_id":7430293422117,"query_type":"torah_search"}
{"query":"באילו דרכי רמז אפשר לגלות סודות הטמונים במילות התורה?","positive":"ומה שאמרת שהוא דבר זר לנגד עיניך שהתורה תתפרש ותובן עפ"י הדרכים הללו אל תתמה על החפץ כי הבקי בסתרי תורה ומבין אותם בעצם יבין באמת כי הוצרך הדבר להיות כן ולהכתב בתורה כל א' כפי עניינו כי יש סודות תלויות בתיבות הכתובות בפסוק כהלכתן ויש בתיבות היוצאות מר"ת וס"ת ביושר ויש למפרע ויש בגימטריאות ויש בתמורות דאלפא ביתות שונות הכל כפי ענין הסוד ההוא וכן בענין הגימטריאות יש שינוי בין כשהחשבון הוא מכוון להיכא שצריך להוסיף הכולל כי מה שירמוז החשבון המוספי דהיינו שמוסיפין הכולל לא ירמוז אותו החשבון ההכרחי דהיינו המדוקדק בכיון כידוע למי שהעמיק בחכמה שהכל מיוסד בטעמו ואם אלו הדרכים הם זרים אצל הטפש שלא טעם מתק חכמת התורה מה נוכל לעשות לו ילך ויתחכם ואזי ידע באמת כי ישרים דרכי ה' צדיקים ילכו בם ופושעים יכשלו בם","passage_id":28557237551142,"query_type":"natural_question"}
{"query":"ראשי תיבות סופי תיבות וגימטריאות בסודות התורה","positive":"ומה שאמרת שהוא דבר זר לנגד עיניך שהתורה תתפרש ותובן עפ"י הדרכים הללו אל תתמה על החפץ כי הבקי בסתרי תורה ומבין אותם בעצם יבין באמת כי הוצרך הדבר להיות כן ולהכתב בתורה כל א' כפי עניינו כי יש סודות תלויות בתיבות הכתובות בפסוק כהלכתן ויש בתיבות היוצאות מר"ת וס"ת ביושר ויש למפרע ויש בגימטריאות ויש בתמורות דאלפא ביתות שונות הכל כפי ענין הסוד ההוא וכן בענין הגימטריאות יש שינוי בין כשהחשבון הוא מכוון להיכא שצריך להוסיף הכולל כי מה שירמוז החשבון המוספי דהיינו שמוסיפין הכולל לא ירמוז אותו החשבון ההכרחי דהיינו המדוקדק בכיון כידוע למי שהעמיק בחכמה שהכל מיוסד בטעמו ואם אלו הדרכים הם זרים אצל הטפש שלא טעם מתק חכמת התורה מה נוכל לעשות לו ילך ויתחכם ואזי ידע באמת כי ישרים דרכי ה' צדיקים ילכו בם ופושעים יכשלו בם","passage_id":28557237551142,"query_type":"torah_search"}
{"query":"הבדל בין גימטריה מדויקת לחשבון בתוספת הכולל","positive":"ומה שאמרת שהוא דבר זר לנגד עיניך שהתורה תתפרש ותובן עפ"י הדרכים הללו אל תתמה על החפץ כי הבקי בסתרי תורה ומבין אותם בעצם יבין באמת כי הוצרך הדבר להיות כן ולהכתב בתורה כל א' כפי עניינו כי יש סודות תלויות בתיבות הכתובות בפסוק כהלכתן ויש בתיבות היוצאות מר"ת וס"ת ביושר ויש למפרע ויש בגימטריאות ויש בתמורות דאלפא ביתות שונות הכל כפי ענין הסוד ההוא וכן בענין הגימטריאות יש שינוי בין כשהחשבון הוא מכוון להיכא שצריך להוסיף הכולל כי מה שירמוז החשבון המוספי דהיינו שמוסיפין הכולל לא ירמוז אותו החשבון ההכרחי דהיינו המדוקדק בכיון כידוע למי שהעמיק בחכמה שהכל מיוסד בטעמו ואם אלו הדרכים הם זרים אצל הטפש שלא טעם מתק חכמת התורה מה נוכל לעשות לו ילך ויתחכם ואזי ידע באמת כי ישרים דרכי ה' צדיקים ילכו בם ופושעים יכשלו בם","passage_id":28557237551142,"query_type":"semantic_paraphrase"}
{"query":"האם תלמיד חכם שבוזה ברבים רשאי למחול על כבודו?","positive":"תשובה ראיתי תוכן השאלה ומה שכתבו ופסקו כל הרבנים המובהקים ובפרט החכמים השלמים הם אתנו נר"ו וודאי שכל דבריהם האמת והצדק ומי יצא אחרי המלכים מאן מלכי רבנן אבל כי היכי דנמטיי שיבא מכשורא יצאתי לעזרת ה' בגבורים למלחמת חובה וזה כי חייב כל אדם להרים דגל עטרת תפארת החכמים השלמים ושרים וכל המבזה ת"ח אין לו חלק לעה"ב והרי הוא בכלל כי דבר ה' בזה כמו שכתב הרמב"ם הלכות ת"ת ואין לך בזמן גדול מזה שיתחברו אנשים ויסכימו לבטל הכח המסור לתלמידי חכמים לנדות למי שראוי לנדות ויאמרו שלא יהיה הנדוי נדוי כי אם בהסכמת הממונים יהיו מי שיהיו אין זה כי אם קשר רשעים כמ"ש הריב"ש בתשובותיו סימן ס"א וכיון שהוא בזיון גדול בפרהסיא שהרי רבים נמנים ומסכימים בה לא מיבעיא בנ"ד שהתלמיד חכם מוחה ותובע עלבונו דפשיטא ופשיטא שאין בהסכמתם כלום להתיר האסור וחייב כל אדם לגלות דעתו להרים מכשול מדרך עמו ולמחות בידם אלא אפילו אם הת"ח עצמו היה מוחל על כבודו אין כבודו מחול וכמ"ש הרמב"ם ז"ל הלכות ת"ת פ"ז אבל ת"ח שבזהו אדם בפרהסיא אסור לו למחול על כבודו ואם מחל נענש שזה בזיון תורה וכו' ועוד כתב הריב"ש סי' ר"ב בשם הראב"ד שאע"פ שאמרו הרב שמחל על כבודו מחול מחל דתורה דיליה דכתיב ובתורתו יהגה יומם ולילה היינו מידי דלית ביה בזיון אלא שבאותן דברים שחייב אדם לנהוג בו כבוד מחמת תורתו כגון לעמוד לפניו וכיוצא בו בהנהו יכול למחות אבל על בזיונו אינו יכול למחות אלא אדרבא אסור לו למחות שהתורה מתבזת בכך וכו' ובנדון דידן אין לך בזיון תורה גדול מזה שנדוי החכמים לא יהיה נדוי עד שיסכים עמו איזה קל או פוחז","passage_id":27380416514085,"query_type":"natural_question"}
{"query":"מחילת תלמיד חכם על ביזיון בפרהסיה","positive":"תשובה ראיתי תוכן השאלה ומה שכתבו ופסקו כל הרבנים המובהקים ובפרט החכמים השלמים הם אתנו נר"ו וודאי שכל דבריהם האמת והצדק ומי יצא אחרי המלכים מאן מלכי רבנן אבל כי היכי דנמטיי שיבא מכשורא יצאתי לעזרת ה' בגבורים למלחמת חובה וזה כי חייב כל אדם להרים דגל עטרת תפארת החכמים השלמים ושרים וכל המבזה ת"ח אין לו חלק לעה"ב והרי הוא בכלל כי דבר ה' בזה כמו שכתב הרמב"ם הלכות ת"ת ואין לך בזמן גדול מזה שיתחברו אנשים ויסכימו לבטל הכח המסור לתלמידי חכמים לנדות למי שראוי לנדות ויאמרו שלא יהיה הנדוי נדוי כי אם בהסכמת הממונים יהיו מי שיהיו אין זה כי אם קשר רשעים כמ"ש הריב"ש בתשובותיו סימן ס"א וכיון שהוא בזיון גדול בפרהסיא שהרי רבים נמנים ומסכימים בה לא מיבעיא בנ"ד שהתלמיד חכם מוחה ותובע עלבונו דפשיטא ופשיטא שאין בהסכמתם כלום להתיר האסור וחייב כל אדם לגלות דעתו להרים מכשול מדרך עמו ולמחות בידם אלא אפילו אם הת"ח עצמו היה מוחל על כבודו אין כבודו מחול וכמ"ש הרמב"ם ז"ל הלכות ת"ת פ"ז אבל ת"ח שבזהו אדם בפרהסיא אסור לו למחול על כבודו ואם מחל נענש שזה בזיון תורה וכו' ועוד כתב הריב"ש סי' ר"ב בשם הראב"ד שאע"פ שאמרו הרב שמחל על כבודו מחול מחל דתורה דיליה דכתיב ובתורתו יהגה יומם ולילה היינו מידי דלית ביה בזיון אלא שבאותן דברים שחייב אדם לנהוג בו כבוד מחמת תורתו כגון לעמוד לפניו וכיוצא בו בהנהו יכול למחות אבל על בזיונו אינו יכול למחות אלא אדרבא אסור לו למחות שהתורה מתבזת בכך וכו' ובנדון דידן אין לך בזיון תורה גדול מזה שנדוי החכמים לא יהיה נדוי עד שיסכים עמו איזה קל או פוחז","passage_id":27380416514085,"query_type":"torah_search"}
{"query":"האם אפשר להתנות נידוי חכמים בהסכמת ממונים שאינם חכמים?","positive":"תשובה ראיתי תוכן השאלה ומה שכתבו ופסקו כל הרבנים המובהקים ובפרט החכמים השלמים הם אתנו נר"ו וודאי שכל דבריהם האמת והצדק ומי יצא אחרי המלכים מאן מלכי רבנן אבל כי היכי דנמטיי שיבא מכשורא יצאתי לעזרת ה' בגבורים למלחמת חובה וזה כי חייב כל אדם להרים דגל עטרת תפארת החכמים השלמים ושרים וכל המבזה ת"ח אין לו חלק לעה"ב והרי הוא בכלל כי דבר ה' בזה כמו שכתב הרמב"ם הלכות ת"ת ואין לך בזמן גדול מזה שיתחברו אנשים ויסכימו לבטל הכח המסור לתלמידי חכמים לנדות למי שראוי לנדות ויאמרו שלא יהיה הנדוי נדוי כי אם בהסכמת הממונים יהיו מי שיהיו אין זה כי אם קשר רשעים כמ"ש הריב"ש בתשובותיו סימן ס"א וכיון שהוא בזיון גדול בפרהסיא שהרי רבים נמנים ומסכימים בה לא מיבעיא בנ"ד שהתלמיד חכם מוחה ותובע עלבונו דפשיטא ופשיטא שאין בהסכמתם כלום להתיר האסור וחייב כל אדם לגלות דעתו להרים מכשול מדרך עמו ולמחות בידם אלא אפילו אם הת"ח עצמו היה מוחל על כבודו אין כבודו מחול וכמ"ש הרמב"ם ז"ל הלכות ת"ת פ"ז אבל ת"ח שבזהו אדם בפרהסיא אסור לו למחול על כבודו ואם מחל נענש שזה בזיון תורה וכו' ועוד כתב הריב"ש סי' ר"ב בשם הראב"ד שאע"פ שאמרו הרב שמחל על כבודו מחול מחל דתורה דיליה דכתיב ובתורתו יהגה יומם ולילה היינו מידי דלית ביה בזיון אלא שבאותן דברים שחייב אדם לנהוג בו כבוד מחמת תורתו כגון לעמוד לפניו וכיוצא בו בהנהו יכול למחות אבל על בזיונו אינו יכול למחות אלא אדרבא אסור לו למחות שהתורה מתבזת בכך וכו' ובנדון דידן אין לך בזיון תורה גדול מזה שנדוי החכמים לא יהיה נדוי עד שיסכים עמו איזה קל או פוחז","passage_id":27380416514085,"query_type":"natural_question"}
{"query":"כיצד בודקים שמצה עבה נאפתה כראוי כשקרימת פניה אינה מספיקה?","positive":"לג סעיף ג' אין חוטין נמשכין ממנה וכו' דהיינו שיעור שיקרום פניו למעלה ולמטה מרדכי ס"פ אלו עוברין ד"מ או' ב' וכ"כ לעיל סי' רנ"ד או' ל"ז דדעת כמה פו' מצריכים קרימה משני צדדין יעו"ש וא"כ ה"ה לכאן דחד שיעורא הוא ומיהו עיין בחמ"מ או' ב' שכתב דאין לסמוך על קרימת פנים אלא ברקיקין הדקין אבל אם עבה הרבה ובפרט במצות עבות קרוב לטפח אין לסמוך על קרימת פנים אלא א"כ אין חוטין נמשכין ממנה והכל לפי עובי המצה ודקותה יעו"ש ועיין לקמן או' ל"ז ואו' ל"ח","passage_id":25696789371893,"query_type":"natural_question"}
{"query":"מצה עבה חוטים נמשכים וקרימת פנים","positive":"לג סעיף ג' אין חוטין נמשכין ממנה וכו' דהיינו שיעור שיקרום פניו למעלה ולמטה מרדכי ס"פ אלו עוברין ד"מ או' ב' וכ"כ לעיל סי' רנ"ד או' ל"ז דדעת כמה פו' מצריכים קרימה משני צדדין יעו"ש וא"כ ה"ה לכאן דחד שיעורא הוא ומיהו עיין בחמ"מ או' ב' שכתב דאין לסמוך על קרימת פנים אלא ברקיקין הדקין אבל אם עבה הרבה ובפרט במצות עבות קרוב לטפח אין לסמוך על קרימת פנים אלא א"כ אין חוטין נמשכין ממנה והכל לפי עובי המצה ודקותה יעו"ש ועיין לקמן או' ל"ז ואו' ל"ח","passage_id":25696789371893,"query_type":"torah_search"}
{"query":"איזה צמח מזוהה עם מאכל הנחשב מאיר את העיניים?","positive":"ארות אקרייטיכץ וואס דער זאפט איז גזונד צו דיא אויגן עס הייסט אויגנטראסט יומא יח בגמרא כל ז' ימים לא היו מונעין ממנו מאכל ויצא האחד אל השדה ללקט אורות מאי אורות זה גרגירא ולמה קרא שמם אורות שמאירין את העינים והוא גרגירא מצראי","passage_id":30077655974838,"query_type":"natural_question"}

[חיים שנקר]

@א.מ.ד. מרשים כמה גודל מאגר הזוגות - ולמה לדעתך זה לא יצא מספיק טוב - האם זה תלוי בגודל מודל הבסיס - מה שאומר שאפשר אולי לנסות מודלים מעט גדולים יותר

[א.מ.ד.]

@חיים-שנקר כתב:

@א.מ.ד. מרשים כמה גודל מאגר הזוגות

15K דוגמאות.

@חיים-שנקר כתב:

למה לדעתך זה לא יצא מספיק טוב

לא כתבתי שלא יצא מספיק טוב אלא שזה בבדיקות, ושלדעתי זה כבר מספיק טוב בשביל התחלה.

@חיים-שנקר כתב:

האם זה תלוי בגודל מודל הבסיס - מה שאומר שאפשר אולי לנסות מודלים מעט גדולים יותר

א"א, כי זה צריך לרוץ על CPU של מחשבי אברכים.

[א.מ.ד.]

@יענקלה-AI כתב בשיתוף | מה חדש בבינה מלאכותית - מתעדכן:

בשורה למשתמשי קודקס: קודקס תומך באופן רשמי החל מהיום בעברית מימין לשמאל בצורה מלאה!
נדרש רק לעדכן גרסה. תהנו!

לא זכיתי, למרות שעדכנתי את קודקס פעמיים מאז!
עריכה: ניסוח העדכון קצת מטעה - לא נוספה שפה עברית בקודקס, אלא רק תמיכה ביישור הטקסט.