סקר | חיפוש AI תורני בספרי יסוד
-
@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:
אם אתה מתכוון לאימון תורני עבור ציטוט מקורות לכאורה זה לא מספיק.
אה, זה ברור לי שלא מספיק בשביל זיכרון מקורות וכדו' (בשביל זה RAG), השאלה היא יותר בשביל סגנונות דיבור \ כתיבה. לאו דווקא תורניים, מענין אותי לשאול בעל נסיון או ידע, מה מידת האפקטיביות ואם שווה להשקיע בזה.
@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:
DictaLM-3 1.7b.
אוקי, מענין, תודה.
@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:
אבל זה הכי מומלץ עבור סוכן חיפוש.
אני בודק בשביל ליצור מודל גנרטיבי שמספק תשובות בסגנון מאוד מסויים, ההמלצה עדיין תקפה גם לזה?
@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:
ם תפרט את מקרה השימוש המדוייק שלך, מאמין שיוכלו לעזור לך יותר
לא שאלתי בשביל משהו ספציפי, אבל מענין אותי אם כבר יש מודל בשביל לתת לו טקסט תלמודי רעיוני כתוב בשפה רגילה, ושהוא עורך את זה בשפה תורנית מילות חיבור הקשרים וכו'
רוב תודות על המענה@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
בשביל זה RAG
RAG זה מיושן עבור המקרה הזה. משתמשים בסוכן חיפוש רב שלבי.
@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
אני בודק בשביל ליצור מודל גנרטיבי שמספק תשובות בסגנון מאוד מסויים, ההמלצה עדיין תקפה גם לזה?
עדיף.
@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
לא שאלתי בשביל משהו ספציפי, אבל מענין אותי אם כבר יש מודל בשביל לתת לו טקסט תלמודי רעיוני כתוב בשפה רגילה, ושהוא עורך את זה בשפה תורנית מילות חיבור הקשרים וכו'
אתה צריך מערך נתונים מספיק גדול של קלט תורני רגיל ופלט של שפה תורנית ספרותית. אני לא חושב שקיים כזה ותצטרך ליצור אותו מאפס. DictaLM-3 אומן אימון מקדים איכותי על הספריה התורנית, ולכאורה יספיק רק כוונון צ'אט תואם.
רק תזכור שמדובר במודלים זעירים כך שהתוצאות אינן צפויות. -
@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
בשביל זה RAG
RAG זה מיושן עבור המקרה הזה. משתמשים בסוכן חיפוש רב שלבי.
@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
אני בודק בשביל ליצור מודל גנרטיבי שמספק תשובות בסגנון מאוד מסויים, ההמלצה עדיין תקפה גם לזה?
עדיף.
@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
לא שאלתי בשביל משהו ספציפי, אבל מענין אותי אם כבר יש מודל בשביל לתת לו טקסט תלמודי רעיוני כתוב בשפה רגילה, ושהוא עורך את זה בשפה תורנית מילות חיבור הקשרים וכו'
אתה צריך מערך נתונים מספיק גדול של קלט תורני רגיל ופלט של שפה תורנית ספרותית. אני לא חושב שקיים כזה ותצטרך ליצור אותו מאפס. DictaLM-3 אומן אימון מקדים איכותי על הספריה התורנית, ולכאורה יספיק רק כוונון צ'אט תואם.
רק תזכור שמדובר במודלים זעירים כך שהתוצאות אינן צפויות.@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:
רק תזכור שמדובר במודלים זעירים כך שהתוצאות אינן צפויות
אז אם זה מודלים זעירים, אז לא עדיף באמת ללכת על מודל עם הבנה לוגית\חישובית יותר טוב ולעשות שכבת LoRA בשביל הניסוח וסגנון הכתיבה?
לא באמת מנוסה, אבל האם Qwen לא עדיף? -
שלום @sivan22
פתחתי כאן חשבון במיוחד בשביל לשאל אותך, אם כי מענה מכל אחד יהיה אפקטיבי- לפי נסיונך, עד כמה אימון מודלים בשיטת LoRA הוא אפקטיבי,
- על איזה מודל בסיס הכי טוב לאמן בשביל לקבל תוצאות טובות בשפה העברית ושישמרו על לוגיקה הגיונית, קווין2.5 של עלי באבא גרופ, ברט של גוגל, דיקטה, (או BEREL אם זה מודל שפה גנרטיבי,) או כל אופציה אחרת שאתם יודעים עליה.
- ובלי קשר לצורך שלי, בעקבות קריאה מהנה פה בפורם בדקות האחרונות, איזה אפשרויות פרקטיות אחרי כל הניסויים שעשו כאן טובה בשביל עריכה תורנית בAI? ראיתי רב דיקטה ועוד כל מני אופציות, מה הצליח לכם הכי טוב?
תודה מראש לכל המגיבים
@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
ובלי קשר לצורך שלי, בעקבות קריאה מהנה פה בפורם בדקות האחרונות, איזה אפשרויות פרקטיות אחרי כל הניסויים שעשו כאן טובה בשביל עריכה תורנית בAI? ראיתי רב דיקטה ועוד כל מני אופציות, מה הצליח לכם הכי טוב?
מכמה וכמה שיחות שלי איתו, הוא טוען שאין כרגע משהו מספיק טוב בעברית (וודאי לא עם ארמית), והכי טוב זה קלוד.
-
@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:
רק תזכור שמדובר במודלים זעירים כך שהתוצאות אינן צפויות
אז אם זה מודלים זעירים, אז לא עדיף באמת ללכת על מודל עם הבנה לוגית\חישובית יותר טוב ולעשות שכבת LoRA בשביל הניסוח וסגנון הכתיבה?
לא באמת מנוסה, אבל האם Qwen לא עדיף?@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
אז אם זה מודלים זעירים, אז לא עדיף באמת ללכת על מודל עם הבנה לוגית\חישובית יותר טוב ולעשות שכבת LoRA בשביל הניסוח וסגנון הכתיבה?
קשה מאוד ללמד מודל שפה שלמה רק ע"י מתאמי LoRA. בשביל זה תצטרך לחזור לאימון המקדים עם מערכי נתונים בסיסיים עבריים ותורניים, ואז לאמן מחדש על צ'אט במבנה שאתה צריך. מה המשאבים שלך (VRAM ו-RAM)?
@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
אז לא עדיף באמת ללכת על מודל עם הבנה לוגית\חישובית יותר טוב
אתה מתכוון למודל יותר גדול? או יותר חכם אבל לא בעברית?
@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
לא באמת מנוסה, אבל האם Qwen לא עדיף?
QWEN 3 הוא שיפור גדול לעומת קודמיו בעברית, אבל הגרסאות הקטנות שלו עדיין לא מספיק טובות בעברית, וגם הגרסאות גדולות יורקות מידי פעם אותיות בערבית ובסינית באמצע טקסט עברי.
QWEN 3 4B THINKING אמנם בסוף עונה בעברית תקינה, אבל שורף אלפי טוקני חשיבה עבור ניסוח מדוייק של כל מילה. -
@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
ובלי קשר לצורך שלי, בעקבות קריאה מהנה פה בפורם בדקות האחרונות, איזה אפשרויות פרקטיות אחרי כל הניסויים שעשו כאן טובה בשביל עריכה תורנית בAI? ראיתי רב דיקטה ועוד כל מני אופציות, מה הצליח לכם הכי טוב?
מכמה וכמה שיחות שלי איתו, הוא טוען שאין כרגע משהו מספיק טוב בעברית (וודאי לא עם ארמית), והכי טוב זה קלוד.
-
@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
אז אם זה מודלים זעירים, אז לא עדיף באמת ללכת על מודל עם הבנה לוגית\חישובית יותר טוב ולעשות שכבת LoRA בשביל הניסוח וסגנון הכתיבה?
קשה מאוד ללמד מודל שפה שלמה רק ע"י מתאמי LoRA. בשביל זה תצטרך לחזור לאימון המקדים עם מערכי נתונים בסיסיים עבריים ותורניים, ואז לאמן מחדש על צ'אט במבנה שאתה צריך. מה המשאבים שלך (VRAM ו-RAM)?
@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
אז לא עדיף באמת ללכת על מודל עם הבנה לוגית\חישובית יותר טוב
אתה מתכוון למודל יותר גדול? או יותר חכם אבל לא בעברית?
@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
לא באמת מנוסה, אבל האם Qwen לא עדיף?
QWEN 3 הוא שיפור גדול לעומת קודמיו בעברית, אבל הגרסאות הקטנות שלו עדיין לא מספיק טובות בעברית, וגם הגרסאות גדולות יורקות מידי פעם אותיות בערבית ובסינית באמצע טקסט עברי.
QWEN 3 4B THINKING אמנם בסוף עונה בעברית תקינה, אבל שורף אלפי טוקני חשיבה עבור ניסוח מדוייק של כל מילה.@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:
QWEN 3 הוא שיפור גדול לעומת קודמיו בעברית, אבל הגרסאות הקטנות שלו עדיין לא מספיק טובות בעברית, וגם הגרסאות גדולות יורקות מידי פעם אותיות בערבית ובסינית באמצע טקסט עברי.
בקיצור - אם הבנתי נכו, חד משמעית דיקטה3.0 הוא המודל הטוב ביותר בשביל לאמן עליו פרוייקטים בעברית
@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:
קשה מאוד ללמד מודל שפה שלמה רק ע"י מתאמי LoRA.
כמובן, זו לא הייתה כוונתי
@א.מ.ד. כתב בסקר | חיפוש AI תורני בספרי יסוד:
מה המשאבים שלך (VRAM ו-RAM)?
מה שלא יהיה צריך אשכור בענן
-
@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
ובלי קשר לצורך שלי, בעקבות קריאה מהנה פה בפורם בדקות האחרונות, איזה אפשרויות פרקטיות אחרי כל הניסויים שעשו כאן טובה בשביל עריכה תורנית בAI? ראיתי רב דיקטה ועוד כל מני אופציות, מה הצליח לכם הכי טוב?
מכמה וכמה שיחות שלי איתו, הוא טוען שאין כרגע משהו מספיק טוב בעברית (וודאי לא עם ארמית), והכי טוב זה קלוד.
@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
- לפי נסיונך, עד כמה אימון מודלים בשיטת LoRA הוא אפקטיבי,
- על איזה מודל בסיס הכי טוב לאמן בשביל לקבל תוצאות טובות בשפה העברית ושישמרו על לוגיקה הגיונית, קווין2.5 של עלי באבא גרופ, ברט של גוגל, דיקטה, (או BEREL אם זה מודל שפה גנרטיבי,) או כל אופציה אחרת שאתם יודעים עליה.
- ובלי קשר לצורך שלי, בעקבות קריאה מהנה פה בפורם בדקות האחרונות, איזה אפשרויות פרקטיות אחרי כל הניסויים שעשו כאן טובה בשביל עריכה תורנית בAI? ראיתי רב דיקטה ועוד כל מני אופציות, מה הצליח לכם הכי טוב?
תודה מראש לכל המגיבים
@menachemchi האמת שקשה לי לענות על שתי השאלות הראשונות, כי לדעתי האימון הכי טוב שתצליח לעשות לא יתקרב לאיכות של המודלים בחזית (נכון להיום ג'מיני 3 פרו וקלוד אופוס 4-5). אם אתה צריך סגנון מסויים, פשוט תתן לו דוגמאות מפורטות לסגנון בפרומפט (זה נקרא few shot training).
לגבי השאלה האחרונה, אני עובד על כמה פרוייקטים כאלו כיום, והתוצאות פורצות דרך, הן לגבי חיפוש והן לגבי עריכה, הגהה, אימות מקורות ואפילו יצירת מפתחות, אבל המוצרים כרגע לא מתוכננים להגיע לשימוש לקהל הרחב.
אז דיקטה זה ככל הנראה הניסיון הכי מתקדם שנגיש, אבל הוא קצת מיושן לטעמי.
האמת שיש עוד פתרון שצריך טיפה ידע טכני אבל הוא יכול להיות ממש נהדר: לחבר את הMCP של ספריא לקלוד. לדעתי זה הפתרון הכי פשוט והכי איכותי כיום. הוראות כאן. -
@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
- לפי נסיונך, עד כמה אימון מודלים בשיטת LoRA הוא אפקטיבי,
- על איזה מודל בסיס הכי טוב לאמן בשביל לקבל תוצאות טובות בשפה העברית ושישמרו על לוגיקה הגיונית, קווין2.5 של עלי באבא גרופ, ברט של גוגל, דיקטה, (או BEREL אם זה מודל שפה גנרטיבי,) או כל אופציה אחרת שאתם יודעים עליה.
- ובלי קשר לצורך שלי, בעקבות קריאה מהנה פה בפורם בדקות האחרונות, איזה אפשרויות פרקטיות אחרי כל הניסויים שעשו כאן טובה בשביל עריכה תורנית בAI? ראיתי רב דיקטה ועוד כל מני אופציות, מה הצליח לכם הכי טוב?
תודה מראש לכל המגיבים
@menachemchi האמת שקשה לי לענות על שתי השאלות הראשונות, כי לדעתי האימון הכי טוב שתצליח לעשות לא יתקרב לאיכות של המודלים בחזית (נכון להיום ג'מיני 3 פרו וקלוד אופוס 4-5). אם אתה צריך סגנון מסויים, פשוט תתן לו דוגמאות מפורטות לסגנון בפרומפט (זה נקרא few shot training).
לגבי השאלה האחרונה, אני עובד על כמה פרוייקטים כאלו כיום, והתוצאות פורצות דרך, הן לגבי חיפוש והן לגבי עריכה, הגהה, אימות מקורות ואפילו יצירת מפתחות, אבל המוצרים כרגע לא מתוכננים להגיע לשימוש לקהל הרחב.
אז דיקטה זה ככל הנראה הניסיון הכי מתקדם שנגיש, אבל הוא קצת מיושן לטעמי.
האמת שיש עוד פתרון שצריך טיפה ידע טכני אבל הוא יכול להיות ממש נהדר: לחבר את הMCP של ספריא לקלוד. לדעתי זה הפתרון הכי פשוט והכי איכותי כיום. הוראות כאן.@sivan22
תודה רבה.
האם אכן בכל מצב שאתה מצליח לחשוב לא ניתן להגיע לעליונות מסויימת באמצעות אימון LoRA אפילו לא אם מדובר על מודל שאני מתכנן לייצור שחלק עיקרי מאוד ממנו תלוי בניסוח עברי טוב (שדיקטה אמור להיות יעיל מקלוד {האומנם?})@sivan22 כתב בסקר | חיפוש AI תורני בספרי יסוד:
אבל המוצרים כרגע לא מתוכננים להגיע לשימוש לקהל הרחב.
מחכים לסופנסר? למודל רווחי? לשלמות?
סתם מסקרנות ומצפייה -
@menachemchi כתב בסקר | חיפוש AI תורני בספרי יסוד:
- לפי נסיונך, עד כמה אימון מודלים בשיטת LoRA הוא אפקטיבי,
- על איזה מודל בסיס הכי טוב לאמן בשביל לקבל תוצאות טובות בשפה העברית ושישמרו על לוגיקה הגיונית, קווין2.5 של עלי באבא גרופ, ברט של גוגל, דיקטה, (או BEREL אם זה מודל שפה גנרטיבי,) או כל אופציה אחרת שאתם יודעים עליה.
- ובלי קשר לצורך שלי, בעקבות קריאה מהנה פה בפורם בדקות האחרונות, איזה אפשרויות פרקטיות אחרי כל הניסויים שעשו כאן טובה בשביל עריכה תורנית בAI? ראיתי רב דיקטה ועוד כל מני אופציות, מה הצליח לכם הכי טוב?
תודה מראש לכל המגיבים
@menachemchi האמת שקשה לי לענות על שתי השאלות הראשונות, כי לדעתי האימון הכי טוב שתצליח לעשות לא יתקרב לאיכות של המודלים בחזית (נכון להיום ג'מיני 3 פרו וקלוד אופוס 4-5). אם אתה צריך סגנון מסויים, פשוט תתן לו דוגמאות מפורטות לסגנון בפרומפט (זה נקרא few shot training).
לגבי השאלה האחרונה, אני עובד על כמה פרוייקטים כאלו כיום, והתוצאות פורצות דרך, הן לגבי חיפוש והן לגבי עריכה, הגהה, אימות מקורות ואפילו יצירת מפתחות, אבל המוצרים כרגע לא מתוכננים להגיע לשימוש לקהל הרחב.
אז דיקטה זה ככל הנראה הניסיון הכי מתקדם שנגיש, אבל הוא קצת מיושן לטעמי.
האמת שיש עוד פתרון שצריך טיפה ידע טכני אבל הוא יכול להיות ממש נהדר: לחבר את הMCP של ספריא לקלוד. לדעתי זה הפתרון הכי פשוט והכי איכותי כיום. הוראות כאן. -
@sivan22 כתב בסקר | חיפוש AI תורני בספרי יסוד:
אבל המוצרים כרגע לא מתוכננים להגיע לשימוש לקהל הרחב.
אלא? סתם בשביל ההנאה אתה עושה אותם?...
@aiib כתב בסקר | חיפוש AI תורני בספרי יסוד:
אלא? סתם בשביל ההנאה אתה עושה אותם?...
אולי הוא רוצה שיהיה לו איזה הכנסה מזה, וזכותו המלאה, הלוואי, אחרי כל מה שתרם לנו מידיעה שלו בתכנות, מגיע לו להרוויח מזה.
-
@aiib כתב בסקר | חיפוש AI תורני בספרי יסוד:
אלא? סתם בשביל ההנאה אתה עושה אותם?...
אולי הוא רוצה שיהיה לו איזה הכנסה מזה, וזכותו המלאה, הלוואי, אחרי כל מה שתרם לנו מידיעה שלו בתכנות, מגיע לו להרוויח מזה.
@menajemmendel חלילה! הוא פשוט אמר שזה לא מיועד לציבור הרחב, לא אמר שזה לא מיועד בצורה חינמית.
-
@menajemmendel חלילה! הוא פשוט אמר שזה לא מיועד לציבור הרחב, לא אמר שזה לא מיועד בצורה חינמית.
@aiib כתב בסקר | חיפוש AI תורני בספרי יסוד:
שזה *לא מיועד לציבור הרחב
- כרגע
@sivan22 כתב בסקר | חיפוש AI תורני בספרי יסוד:
אבל המוצרים כרגע לא מתוכננים להגיע לשימוש לקהל הרחב.