סקר | חיפוש AI תורני בספרי יסוד

[sivan22]

@אהרן כתב בסקר | חיפוש AI תורני בספרי יסוד:

@sivan22 כתב בסקר | חיפוש AI תורני בספרי יסוד:

נ.ב. אם מעניין אותך, כמה ניסויים שלי בתחום

בזמנו השתמשתי באיתוריא ומאד נהנתי, אבל זה הפסיק לעבוד. כעת פתחתי שוב וזה עובד אבל נתקע באמצע [כמעט בתחילת] התשובה, ניסתי פעמיים בשאלות שונות.

רשימת המקורות ממשיכה ולא נכנס בצילום, אבל בתשובה עצמה הוא נתקע.

תיקנתי את הבאג, היתה הגבלה ל2048 טוקנים.

ד"א, יש אתר עם המאגר של אוצריא און ליין או משהו כזה שהוא מחפש שם? איך ניתן להגיע לזה?

לגבי חיפוש באוצריא, אפשר להריץ MCP ולחבר אותו לכל מודל, לפי ההוראות כאן: https://github.com/Sivan22/mcp-otzaria-server

[menachemchi]

שלום @sivan22
פתחתי כאן חשבון במיוחד בשביל לשאל אותך, אם כי מענה מכל אחד יהיה אפקטיבי

1. לפי נסיונך, עד כמה אימון מודלים בשיטת LoRA הוא אפקטיבי,
2. על איזה מודל בסיס הכי טוב לאמן בשביל לקבל תוצאות טובות בשפה העברית ושישמרו על לוגיקה הגיונית, קווין2.5 של עלי באבא גרופ, ברט של גוגל, דיקטה, (או BEREL אם זה מודל שפה גנרטיבי,) או כל אופציה אחרת שאתם יודעים עליה.
3. ובלי קשר לצורך שלי, בעקבות קריאה מהנה פה בפורם בדקות האחרונות, איזה אפשרויות פרקטיות אחרי כל הניסויים שעשו כאן טובה בשביל עריכה תורנית בAI? ראיתי רב דיקטה ועוד כל מני אופציות, מה הצליח לכם הכי טוב?
   תודה מראש לכל המגיבים

[א.מ.ד.]

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

לפי נסיונך, עד כמה אימון מודלים בשיטת LoRA הוא אפקטיבי,

אם אתה מתכוון לאימון תורני עבור ציטוט מקורות לכאורה זה לא מספיק. אבל זה אמור להספיק עבור יצירת מילות מפתח מתאימות יותר לחיפוש עבור סוכן תורני.
כמובן הכל תלוי בגודל המודל ובנתוני האימון.
יש לציין שאישית לא עשיתי את זה לצורך תורני אלא עבור צרכים אחרים.

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

על איזה מודל בסיס הכי טוב לאמן בשביל לקבל תוצאות טובות בשפה העברית ושישמרו על לוגיקה הגיונית, קווין2.5 של עלי באבא גרופ, ברט של גוגל, דיקטה, (או BEREL אם זה מודל שפה גנרטיבי,) או כל אופציה אחרת שאתם יודעים עליה.

DictaLM-3 1.7b. אם החומרה שלך חזקה יותר אז גרסת ה-12b. עדיף גרסת החשיבה אם כי זה מעכב משמעותית את התשובה הסופית, אבל זה הכי מומלץ עבור סוכן חיפוש. (המודלים האחרים שהבאת הם בין "עתיקים" ל"נוסטלגיים" במושגי local ai...)
גם gemma3 4b אופציה טובה, אבל קצת איטי. אני מחכה ל-gemma4 שכולים תקווה שיתעלה על כל המודלים הזעירים הקיימים.

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

ובלי קשר לצורך שלי, בעקבות קריאה מהנה פה בפורם בדקות האחרונות, איזה אפשרויות פרקטיות אחרי כל הניסויים שעשו כאן טובה בשביל עריכה תורנית בAI? ראיתי רב דיקטה ועוד כל מני אופציות, מה הצליח לכם הכי טוב?

אם תפרט את מקרה השימוש המדוייק שלך, מאמין שיוכלו לעזור לך יותר. מה אתה מתכוון לעשות?

[menachemchi]

@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:

אם אתה מתכוון לאימון תורני עבור ציטוט מקורות לכאורה זה לא מספיק.

אה, זה ברור לי שלא מספיק בשביל זיכרון מקורות וכדו' (בשביל זה RAG), השאלה היא יותר בשביל סגנונות דיבור \ כתיבה. לאו דווקא תורניים, מענין אותי לשאול בעל נסיון או ידע, מה מידת האפקטיביות ואם שווה להשקיע בזה.

@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:

DictaLM-3 1.7b.

אוקי, מענין, תודה.

@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:

אבל זה הכי מומלץ עבור סוכן חיפוש.

אני בודק בשביל ליצור מודל גנרטיבי שמספק תשובות בסגנון מאוד מסויים, ההמלצה עדיין תקפה גם לזה?

@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:

ם תפרט את מקרה השימוש המדוייק שלך, מאמין שיוכלו לעזור לך יותר

לא שאלתי בשביל משהו ספציפי, אבל מענין אותי אם כבר יש מודל בשביל לתת לו טקסט תלמודי רעיוני כתוב בשפה רגילה, ושהוא עורך את זה בשפה תורנית מילות חיבור הקשרים וכו'
רוב תודות על המענה

[א.מ.ד.]

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

בשביל זה RAG

RAG זה מיושן עבור המקרה הזה. משתמשים בסוכן חיפוש רב שלבי.

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

אני בודק בשביל ליצור מודל גנרטיבי שמספק תשובות בסגנון מאוד מסויים, ההמלצה עדיין תקפה גם לזה?

עדיף.

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

לא שאלתי בשביל משהו ספציפי, אבל מענין אותי אם כבר יש מודל בשביל לתת לו טקסט תלמודי רעיוני כתוב בשפה רגילה, ושהוא עורך את זה בשפה תורנית מילות חיבור הקשרים וכו'

אתה צריך מערך נתונים מספיק גדול של קלט תורני רגיל ופלט של שפה תורנית ספרותית. אני לא חושב שקיים כזה ותצטרך ליצור אותו מאפס. DictaLM-3 אומן אימון מקדים איכותי על הספריה התורנית, ולכאורה יספיק רק כוונון צ'אט תואם.
רק תזכור שמדובר במודלים זעירים כך שהתוצאות אינן צפויות.

[menachemchi]

@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:

רק תזכור שמדובר במודלים זעירים כך שהתוצאות אינן צפויות

אז אם זה מודלים זעירים, אז לא עדיף באמת ללכת על מודל עם הבנה לוגית\חישובית יותר טוב ולעשות שכבת LoRA בשביל הניסוח וסגנון הכתיבה?
לא באמת מנוסה, אבל האם Qwen לא עדיף?

[י. פל.]

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

ובלי קשר לצורך שלי, בעקבות קריאה מהנה פה בפורם בדקות האחרונות, איזה אפשרויות פרקטיות אחרי כל הניסויים שעשו כאן טובה בשביל עריכה תורנית בAI? ראיתי רב דיקטה ועוד כל מני אופציות, מה הצליח לכם הכי טוב?

מכמה וכמה שיחות שלי איתו, הוא טוען שאין כרגע משהו מספיק טוב בעברית (וודאי לא עם ארמית), והכי טוב זה קלוד.

[א.מ.ד.]

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

אז אם זה מודלים זעירים, אז לא עדיף באמת ללכת על מודל עם הבנה לוגית\חישובית יותר טוב ולעשות שכבת LoRA בשביל הניסוח וסגנון הכתיבה?

קשה מאוד ללמד מודל שפה שלמה רק ע"י מתאמי LoRA. בשביל זה תצטרך לחזור לאימון המקדים עם מערכי נתונים בסיסיים עבריים ותורניים, ואז לאמן מחדש על צ'אט במבנה שאתה צריך. מה המשאבים שלך (VRAM ו-RAM)?

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

אז לא עדיף באמת ללכת על מודל עם הבנה לוגית\חישובית יותר טוב

אתה מתכוון למודל יותר גדול? או יותר חכם אבל לא בעברית?

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

לא באמת מנוסה, אבל האם Qwen לא עדיף?

QWEN 3 הוא שיפור גדול לעומת קודמיו בעברית, אבל הגרסאות הקטנות שלו עדיין לא מספיק טובות בעברית, וגם הגרסאות גדולות יורקות מידי פעם אותיות בערבית ובסינית באמצע טקסט עברי.
QWEN 3 4B THINKING אמנם בסוף עונה בעברית תקינה, אבל שורף אלפי טוקני חשיבה עבור ניסוח מדוייק של כל מילה.

[א.מ.ד.]

@י.-פל. כתב בסקר | חיפוש AI תורני בספרי יסוד:

מכמה וכמה שיחות שלי איתו, הוא טוען שאין כרגע משהו מספיק טוב בעברית (וודאי לא עם ארמית)

תלוי בגודל. המודלים החדשים של דיקטה מהווים שיפור ענק בתחום.

[menachemchi]

@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:

QWEN 3 הוא שיפור גדול לעומת קודמיו בעברית, אבל הגרסאות הקטנות שלו עדיין לא מספיק טובות בעברית, וגם הגרסאות גדולות יורקות מידי פעם אותיות בערבית ובסינית באמצע טקסט עברי.

בקיצור - אם הבנתי נכו, חד משמעית דיקטה3.0 הוא המודל הטוב ביותר בשביל לאמן עליו פרוייקטים בעברית

@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:

קשה מאוד ללמד מודל שפה שלמה רק ע"י מתאמי LoRA.

כמובן, זו לא הייתה כוונתי

@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:

מה המשאבים שלך (VRAM ו-RAM)?

מה שלא יהיה צריך אשכור בענן

[sivan22]

@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:

1. לפי נסיונך, עד כמה אימון מודלים בשיטת LoRA הוא אפקטיבי,
2. על איזה מודל בסיס הכי טוב לאמן בשביל לקבל תוצאות טובות בשפה העברית ושישמרו על לוגיקה הגיונית, קווין2.5 של עלי באבא גרופ, ברט של גוגל, דיקטה, (או BEREL אם זה מודל שפה גנרטיבי,) או כל אופציה אחרת שאתם יודעים עליה.
3. ובלי קשר לצורך שלי, בעקבות קריאה מהנה פה בפורם בדקות האחרונות, איזה אפשרויות פרקטיות אחרי כל הניסויים שעשו כאן טובה בשביל עריכה תורנית בAI? ראיתי רב דיקטה ועוד כל מני אופציות, מה הצליח לכם הכי טוב?
   תודה מראש לכל המגיבים

@menachemchi האמת שקשה לי לענות על שתי השאלות הראשונות, כי לדעתי האימון הכי טוב שתצליח לעשות לא יתקרב לאיכות של המודלים בחזית (נכון להיום ג'מיני 3 פרו וקלוד אופוס 4-5). אם אתה צריך סגנון מסויים, פשוט תתן לו דוגמאות מפורטות לסגנון בפרומפט (זה נקרא few shot training).

לגבי השאלה האחרונה, אני עובד על כמה פרוייקטים כאלו כיום, והתוצאות פורצות דרך, הן לגבי חיפוש והן לגבי עריכה, הגהה, אימות מקורות ואפילו יצירת מפתחות, אבל המוצרים כרגע לא מתוכננים להגיע לשימוש לקהל הרחב.
אז דיקטה זה ככל הנראה הניסיון הכי מתקדם שנגיש, אבל הוא קצת מיושן לטעמי.
האמת שיש עוד פתרון שצריך טיפה ידע טכני אבל הוא יכול להיות ממש נהדר: לחבר את הMCP של ספריא לקלוד. לדעתי זה הפתרון הכי פשוט והכי איכותי כיום. הוראות כאן.

[menachemchi]

@sivan22
תודה רבה.
האם אכן בכל מצב שאתה מצליח לחשוב לא ניתן להגיע לעליונות מסויימת באמצעות אימון LoRA אפילו לא אם מדובר על מודל שאני מתכנן לייצור שחלק עיקרי מאוד ממנו תלוי בניסוח עברי טוב (שדיקטה אמור להיות יעיל מקלוד {האומנם?})

@sivan22 כתב בסקר | חיפוש AI תורני בספרי יסוד:

אבל המוצרים כרגע לא מתוכננים להגיע לשימוש לקהל הרחב.

מחכים לסופנסר? למודל רווחי? לשלמות?
סתם מסקרנות ומצפייה

[aiib]

@sivan22 כתב בסקר | חיפוש AI תורני בספרי יסוד:

אבל המוצרים כרגע לא מתוכננים להגיע לשימוש לקהל הרחב.

אלא? סתם בשביל ההנאה אתה עושה אותם?...