סקר | חיפוש AI תורני בספרי יסוד

[yehokarpel]

פוסט זה נמחק!

[yehokarpel]

@א.מ.ד. כן זה יותר טוב

[י. פל.]

@yehokarpel
אני מאוד אשמח, אם תשקיע יותר בRAG יעיל ואיכותי, כך שהמנוע לא יצטרך לפלוט תשובות, אלא רק לעבד את המקורות, ולהצביע על המקורות הנכונים.
מה נרוויח?

1. הסרת התנגדות מAI.
2. הפחתת הזיות ושגיאות כתיב.
3. [ופה העיקר], הפחתה משמעותית מאוד של זמן העיבוד, כך שאולי יש סיכוי שנוכל להריץ זאתעם מודלים קטנים על מחשבים חלשים.

[י. פל.]

@yehokarpel
החזון שלי, הוא להריץ זאת עם GEMMA [בטח כעת יצא חדש, אחרי ג'מיני 3], על מחשב של אברך עם סלרון.
לדעתי, אם 98% מהחישובים יהיה רק בקלט, יש לזה סיכוי טוב.

[א.מ.ד.]

@י.-פל. כתב בסקר | חיפוש AI תורני בספרי יסוד:

@yehokarpel
החזון שלי, הוא להריץ זאת עם GEMMA [בטח כעת יצא חדש, אחרי ג'מיני 3], על מחשב של אברך עם סלרון.
לדעתי, אם 98% מהחישובים יהיה רק בקלט, יש לזה סיכוי טוב.

יש GEMMA3 Embedding עם 300M פרמטרים. זה יכול לרוץ אפילו על נגנים במהירות יחסית. אבל מודלי הטמעות מתאימים רק לחיפוש ואחזור מידע, כך שאם אתה רוצה שהתוכנה תוכל לחפש תשובות על שאלות בשפה טבעית תהיה חייב לשלב מודל שפה רגיל שישתמש ב-RAG. לזה אפשר אולי להשתמש בדיקטה 3.0 החדש.

[yehokarpel]

טוב אני משחרר את מה שעשיתי בנתים את הקוד הנסיוני כל אחד שיגיד איך שזה עובד יש רשימה של קבצים שבתוכם התוכן של הספרים עצמם:
rashi.txt
tosafot.txt
gemara.txt
shulchan_aruch.txt
rambam.txt
לא מילאתי בהם כלום ממש חוץ מדברים בסיסים כדי לראות שזה עובד צריך לחלץ את הzip אל תקייה במחשב ולא להוציא שום קובץ מהתקייה ולהפעיל את הקובץ torhak.exe מקווה שזה היה קצת תועלת עבדתי על זה ממש איזה קצת זמן היום יצא לי בס"ד חיפוש תורני.zip

[yehokarpel]

אפשר לערוך ולשנות את התוכן בקבצים: rashi.txt
tosafot.txt
gemara.txt
shulchan_aruch.txt
rambam.txt
לאיזה ספר שאתם רוצים למשל אני לקחתי בויקיטקסט אולי אחרי זה אני יוסיף תמיכה לזה שזה יעבוד גם לpdf או json כו'

[menajemmendel]

@yehokarpel
תודה רבה, אבל לא עובד לי כלום, אני לוחץ על ''שאל'' ולא עושה שום דבר.

[sivan22]

@yehokarpel

1. גם אם המודל הזה יותר טוב מאחרים, אני בכלל לא בטוח שהוא מספיק בשביל שפה תורנית משולבת ארמית. הפתרון: קל להשיג תרגומים לאנגלית לספרי יסוד, ישפר את התוצאות באחוזים רבים.
2. תשתמש במודל נוסף לrerank - ישפר לך את התוצאות מאד.
3. אתה משתמש בזרימת RAG מיושנת לדעתי, היום הכל agentic.

נ.ב. אם מעניין אותך, כמה ניסויים שלי בתחום

[אהרן]

@sivan22 כתב בסקר | חיפוש AI תורני בספרי יסוד:

נ.ב. אם מעניין אותך, כמה ניסויים שלי בתחום

בזמנו השתמשתי באיתוריא ומאד נהנתי, אבל זה הפסיק לעבוד. כעת פתחתי שוב וזה עובד אבל נתקע באמצע [כמעט בתחילת] התשובה, ניסתי פעמיים בשאלות שונות.

רשימת המקורות ממשיכה ולא נכנס בצילום, אבל בתשובה עצמה הוא נתקע.
ד"א, יש אתר עם המאגר של אוצריא און ליין או משהו כזה שהוא מחפש שם? איך ניתן להגיע לזה?

[sivan22]

@אהרן כתב בסקר | חיפוש AI תורני בספרי יסוד:

@sivan22 כתב בסקר | חיפוש AI תורני בספרי יסוד:

נ.ב. אם מעניין אותך, כמה ניסויים שלי בתחום

בזמנו השתמשתי באיתוריא ומאד נהנתי, אבל זה הפסיק לעבוד. כעת פתחתי שוב וזה עובד אבל נתקע באמצע [כמעט בתחילת] התשובה, ניסתי פעמיים בשאלות שונות.

רשימת המקורות ממשיכה ולא נכנס בצילום, אבל בתשובה עצמה הוא נתקע.

תיקנתי את הבאג, היתה הגבלה ל2048 טוקנים.

ד"א, יש אתר עם המאגר של אוצריא און ליין או משהו כזה שהוא מחפש שם? איך ניתן להגיע לזה?

לגבי חיפוש באוצריא, אפשר להריץ MCP ולחבר אותו לכל מודל, לפי ההוראות כאן: https://github.com/Sivan22/mcp-otzaria-server

[menachemchi]

שלום @sivan22
פתחתי כאן חשבון במיוחד בשביל לשאל אותך, אם כי מענה מכל אחד יהיה אפקטיבי

1. לפי נסיונך, עד כמה אימון מודלים בשיטת LoRA הוא אפקטיבי,
2. על איזה מודל בסיס הכי טוב לאמן בשביל לקבל תוצאות טובות בשפה העברית ושישמרו על לוגיקה הגיונית, קווין2.5 של עלי באבא גרופ, ברט של גוגל, דיקטה, (או BEREL אם זה מודל שפה גנרטיבי,) או כל אופציה אחרת שאתם יודעים עליה.
3. ובלי קשר לצורך שלי, בעקבות קריאה מהנה פה בפורם בדקות האחרונות, איזה אפשרויות פרקטיות אחרי כל הניסויים שעשו כאן טובה בשביל עריכה תורנית בAI? ראיתי רב דיקטה ועוד כל מני אופציות, מה הצליח לכם הכי טוב?
   תודה מראש לכל המגיבים

[א.מ.ד.]

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

לפי נסיונך, עד כמה אימון מודלים בשיטת LoRA הוא אפקטיבי,

אם אתה מתכוון לאימון תורני עבור ציטוט מקורות לכאורה זה לא מספיק. אבל זה אמור להספיק עבור יצירת מילות מפתח מתאימות יותר לחיפוש עבור סוכן תורני.
כמובן הכל תלוי בגודל המודל ובנתוני האימון.
יש לציין שאישית לא עשיתי את זה לצורך תורני אלא עבור צרכים אחרים.

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

על איזה מודל בסיס הכי טוב לאמן בשביל לקבל תוצאות טובות בשפה העברית ושישמרו על לוגיקה הגיונית, קווין2.5 של עלי באבא גרופ, ברט של גוגל, דיקטה, (או BEREL אם זה מודל שפה גנרטיבי,) או כל אופציה אחרת שאתם יודעים עליה.

DictaLM-3 1.7b. אם החומרה שלך חזקה יותר אז גרסת ה-12b. עדיף גרסת החשיבה אם כי זה מעכב משמעותית את התשובה הסופית, אבל זה הכי מומלץ עבור סוכן חיפוש. (המודלים האחרים שהבאת הם בין "עתיקים" ל"נוסטלגיים" במושגי local ai...)
גם gemma3 4b אופציה טובה, אבל קצת איטי. אני מחכה ל-gemma4 שכולים תקווה שיתעלה על כל המודלים הזעירים הקיימים.

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

ובלי קשר לצורך שלי, בעקבות קריאה מהנה פה בפורם בדקות האחרונות, איזה אפשרויות פרקטיות אחרי כל הניסויים שעשו כאן טובה בשביל עריכה תורנית בAI? ראיתי רב דיקטה ועוד כל מני אופציות, מה הצליח לכם הכי טוב?

אם תפרט את מקרה השימוש המדוייק שלך, מאמין שיוכלו לעזור לך יותר. מה אתה מתכוון לעשות?

[menachemchi]

@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:

אם אתה מתכוון לאימון תורני עבור ציטוט מקורות לכאורה זה לא מספיק.

אה, זה ברור לי שלא מספיק בשביל זיכרון מקורות וכדו' (בשביל זה RAG), השאלה היא יותר בשביל סגנונות דיבור \ כתיבה. לאו דווקא תורניים, מענין אותי לשאול בעל נסיון או ידע, מה מידת האפקטיביות ואם שווה להשקיע בזה.

@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:

DictaLM-3 1.7b.

אוקי, מענין, תודה.

@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:

אבל זה הכי מומלץ עבור סוכן חיפוש.

אני בודק בשביל ליצור מודל גנרטיבי שמספק תשובות בסגנון מאוד מסויים, ההמלצה עדיין תקפה גם לזה?

@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:

ם תפרט את מקרה השימוש המדוייק שלך, מאמין שיוכלו לעזור לך יותר

לא שאלתי בשביל משהו ספציפי, אבל מענין אותי אם כבר יש מודל בשביל לתת לו טקסט תלמודי רעיוני כתוב בשפה רגילה, ושהוא עורך את זה בשפה תורנית מילות חיבור הקשרים וכו'
רוב תודות על המענה

[א.מ.ד.]

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

בשביל זה RAG

RAG זה מיושן עבור המקרה הזה. משתמשים בסוכן חיפוש רב שלבי.

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

אני בודק בשביל ליצור מודל גנרטיבי שמספק תשובות בסגנון מאוד מסויים, ההמלצה עדיין תקפה גם לזה?

עדיף.

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

לא שאלתי בשביל משהו ספציפי, אבל מענין אותי אם כבר יש מודל בשביל לתת לו טקסט תלמודי רעיוני כתוב בשפה רגילה, ושהוא עורך את זה בשפה תורנית מילות חיבור הקשרים וכו'

אתה צריך מערך נתונים מספיק גדול של קלט תורני רגיל ופלט של שפה תורנית ספרותית. אני לא חושב שקיים כזה ותצטרך ליצור אותו מאפס. DictaLM-3 אומן אימון מקדים איכותי על הספריה התורנית, ולכאורה יספיק רק כוונון צ'אט תואם.
רק תזכור שמדובר במודלים זעירים כך שהתוצאות אינן צפויות.

[menachemchi]

@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:

רק תזכור שמדובר במודלים זעירים כך שהתוצאות אינן צפויות

אז אם זה מודלים זעירים, אז לא עדיף באמת ללכת על מודל עם הבנה לוגית\חישובית יותר טוב ולעשות שכבת LoRA בשביל הניסוח וסגנון הכתיבה?
לא באמת מנוסה, אבל האם Qwen לא עדיף?

[י. פל.]

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

ובלי קשר לצורך שלי, בעקבות קריאה מהנה פה בפורם בדקות האחרונות, איזה אפשרויות פרקטיות אחרי כל הניסויים שעשו כאן טובה בשביל עריכה תורנית בAI? ראיתי רב דיקטה ועוד כל מני אופציות, מה הצליח לכם הכי טוב?

מכמה וכמה שיחות שלי איתו, הוא טוען שאין כרגע משהו מספיק טוב בעברית (וודאי לא עם ארמית), והכי טוב זה קלוד.

[א.מ.ד.]

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

אז אם זה מודלים זעירים, אז לא עדיף באמת ללכת על מודל עם הבנה לוגית\חישובית יותר טוב ולעשות שכבת LoRA בשביל הניסוח וסגנון הכתיבה?

קשה מאוד ללמד מודל שפה שלמה רק ע"י מתאמי LoRA. בשביל זה תצטרך לחזור לאימון המקדים עם מערכי נתונים בסיסיים עבריים ותורניים, ואז לאמן מחדש על צ'אט במבנה שאתה צריך. מה המשאבים שלך (VRAM ו-RAM)?

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

אז לא עדיף באמת ללכת על מודל עם הבנה לוגית\חישובית יותר טוב

אתה מתכוון למודל יותר גדול? או יותר חכם אבל לא בעברית?

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

לא באמת מנוסה, אבל האם Qwen לא עדיף?

QWEN 3 הוא שיפור גדול לעומת קודמיו בעברית, אבל הגרסאות הקטנות שלו עדיין לא מספיק טובות בעברית, וגם הגרסאות גדולות יורקות מידי פעם אותיות בערבית ובסינית באמצע טקסט עברי.
QWEN 3 4B THINKING אמנם בסוף עונה בעברית תקינה, אבל שורף אלפי טוקני חשיבה עבור ניסוח מדוייק של כל מילה.

[א.מ.ד.]

@י.-פל. כתב בסקר | חיפוש AI תורני בספרי יסוד:

מכמה וכמה שיחות שלי איתו, הוא טוען שאין כרגע משהו מספיק טוב בעברית (וודאי לא עם ארמית)

תלוי בגודל. המודלים החדשים של דיקטה מהווים שיפור ענק בתחום.

[menachemchi]

@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:

QWEN 3 הוא שיפור גדול לעומת קודמיו בעברית, אבל הגרסאות הקטנות שלו עדיין לא מספיק טובות בעברית, וגם הגרסאות גדולות יורקות מידי פעם אותיות בערבית ובסינית באמצע טקסט עברי.

בקיצור - אם הבנתי נכו, חד משמעית דיקטה3.0 הוא המודל הטוב ביותר בשביל לאמן עליו פרוייקטים בעברית

@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:

קשה מאוד ללמד מודל שפה שלמה רק ע"י מתאמי LoRA.

כמובן, זו לא הייתה כוונתי

@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:

מה המשאבים שלך (VRAM ו-RAM)?

מה שלא יהיה צריך אשכור בענן