המלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך

[דוד משה 1]

@sivan22 כשאני מנסה להגדיר את ההגדרה האחרונה הוא כותב לי

error
Failed to create Embedding model e5: Failed to add model e5: (sqlite3.IntegrityError) UNIQUE constraint failed: embedding.name\n[SQL: INSERT INTO embedding (name, spec, "default") VALUES (?, ?, ?)]\n[parameters: (\'e5\', \'{"api_key": "ollama", "base_url": "http://localhost:11434/v1/", "model": "e5", "__type__": "kotaemon.embeddings.openai.OpenAIEmbeddings"}\', 1)]\n(Background on this error at: https://sqlalche.me/e/20/gkpj)

איפה הבעיה

[sivan22]

@דוד-משה-1 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

איפה הבעיה?

אולי כבר קיים מודל בשם הזה?

[דוד משה 1]

@sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

@דוד-משה-1 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

איפה הבעיה?

אולי כבר קיים מודל בשם הזה?

ניסיתי לשנות למשהו אחר לא עזר

[אלף שין]

@sivan22
אין שום סיכוי שיהיה לך אופציה לקמפל הכל?

כמו"כ האם כבודו מתכנן בקרוב לאנדקס את כלל ספרי אוצריא לAI הזה?

[sivan22]

@אלף-שין אולי מתי שהוא אני אצור docker שיכלול הכל. בינתיים אני עדיין בודק את הכלי.
לגבי אוצריא ברור שזה הכיוון, אבל אני עדיין לא שם.

[ivrפון]

@sivan22 האם אני יכול להתקן את המודול על השרת שלי ולשים לו נניח קבצי מידע על האתר
כמובן שיש לי KEY [של openai]
ושיהיה לי צאט מידע על אתר האינטרנט?

[איש שלו']

@sivan22
אם בבינה מלאכותית עסקינן, ובאופן הרצתה על כתבים תורניים.
אשאלה נא:

א. לגבי דיון עם בינה מלאכותית על עצם התוכן התורני - מעיקרא אינני מאמין כ"כ ביכולת של המחשב לדייק ולהעלות מסקנות אמינות ומדוייקות. כך שבלא"ה יצטרכו לעמול בתורה עצמה וכו' [תקן אותי אם לדעתך אני טועה].

ב. לגבי מציאת מקורות ומראי מקומות - ראיתי את העבודה שלך ב'חיפוש תורני', ונראה שעדיין הונחה לך בקעה רחבה לגדור... [כוונתי שעשית כמובן עבודה גדולה, אבל כדי שיהיה בכלי הזה תועלת יותר מאשר חיפוש בבר אילן - צריך שהוא יהיה מאוד מדוייק וממוקד].

ג. דוקא במישור אחר היה נראה לי שיכולה להיות תועלת עצומה ונפלאה בבינה מלאכותית, אם יהיה אפשר לשאול שאלות ניתוח רוחביות. כגון:
(א) האם ניתן למצוא מקומות בהם חכם פלוני [למשל הרמח"ל, שברוב ספריו מצטט מקראות ודברי חז"ל] מביא מדברי ראשונים / אחרונים ?
[ב] האם יש מן החכמים הקדמונים שהעמידו עיקר האמונה וידיעת הנהגת ה' על גילוי הייחוד [כמו הרמח"ל]?
[ג] מי מחכמי ישראל [בתקופה מסויימת / באיזור מסויים] עסק בענין זה וזה...
[ד] היכן אפשר למצוא תשובות סדורות על השאלה בדבר כו'

וכמו כן - ניתוח טקסטים ברמה פרטנית:
[ה] באילו פסוקים /פרשות מצאנו מושג החוזר על עצמו כמה פעמים?
[ו] היכן בתורה נביאים וכתובים מתבאר ענין מסויים?
[ז] היכן מצינו פסוקים או נבואות מקבילות בכמה ספרים?
[ח] האם נזכר במקרא ענין מסויים לפני דור מסויים?
[ט] ואפילו - היכן מצינו בכתובים ביטוי לשוני או שורש דקדוקי המשמש לדבר והיפוכו?
[י] אלו פרקים בתנ"ך מסודרים לפי א"ב, ובאילו נמצא חריגות מן הסדר [נ' החסרה באשרי, חילוף פ' וע' באיכה וכיו"ב]?

או שאלות כמו:
[יא] האם ישנן סוגיות בהן הגמ' נשארת בקושיה, ובסוגיה מקבילה בה הקושיה מתורצת?
[יב] מה הם כל המקומות בהם חכם הורה הלכה מסויימת ולאחר מכן חזר בו מכח קושיה או מכח התבררות המציאות?
[יג] היכן מצינו שלמדים הלכה ממקרה שאירע קודם למתן תורה?
[יד] סיכום שמות צאצאי יעקב והשוואתם בין המקומות השונים.
[טו] סיכום גבולות הארץ בג' וד' מקומות ההבטחה, מציאת ההקבלה וההבדלה בין שמות המקומות הנזכרים בגבולות הארץ לבין מקומות הנזכרים בפרשות אחרות.

וכמובן עוד ועוד ועוד כפי יד' ה' הטובה על כל לומד ולומד...

כמדומה שזה יהיה כלי אדיר לעיון ומחקר תורני אמיתי ויסודי.

האם זה חזון רחוק ?

[NH.LOCAL]

@איש-שלו סעיף ג' כבר זמין תקופה ארוכה דרך צ'אט gpt. זה כמובן לא מושלם כלל, ולא מדויק במאה אחוז, אבל הוא בהחלט יכול לענות על חלק ניכר מהשאלות שהצגת.

לתוכנה ספרים תורנית זה פחות נצרך, בהתחשב בעובדה שלמודל המקורי יש הרבה יותר מידע ממה שנמצא בתוכנה. אם יאמנו או יחברו מודל שכזה לכל המידע באוצר החכמה זו אכן תהיה בשורה

[איש שלו']

@NH-LOCAL למודל רגיל - גדול ככל שיהי - יש מידע רב, אבל לא תורני וודאי שלא מדוייק. [ובכל אופן ודאי שלא מידע מבורר ומסולת המושפע רק ממקורות תורניים מוסמכים...].
הכוונה שלי היא למודל שיהיה מאומן על שאלות ומחקרים תורניים וידע להתמודד עם נוסח הכתבים של תורה שבכתב ושבע"פ, להבין את המושגים ולנתח ברמה גבוהה ומהודקת.

[NH.LOCAL]

@איש-שלו כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

@NH-LOCAL למודל רגיל - גדול ככל שיהי - יש מידע רב, אבל לא תורני וודאי שלא מדוייק. [ובכל אופן ודאי שלא מידע מבורר ומסולת המושפע רק ממקורות תורניים מוסמכים...].
הכוונה שלי היא למודל שיהיה מאומן על שאלות ומחקרים תורניים וידע להתמודד עם נוסח הכתבים של תורה שבכתב ושבע"פ, להבין את המושגים ולנתח ברמה גבוהה ומהודקת.

אם יש לך 10 מליארד דולר מיותרים, אתה מוזמן להרים את הכפפה

[ivrפון]

@NH-LOCAL כנראה בגלל השאלה של @איש-שלו שהייתה באותה שניה איתי לא שמת לב לשאלה שלי

@ivrפון כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

האם אני יכול להתקן את המודול על השרת שלי ולשים לו נניח קבצי מידע על האתר
כמובן שיש לי KEY [של openai]
ושיהיה לי צאט מידע על אתר האינטרנט?

[איש שלו']

@NH-LOCAL
בסכומים כאלה הייתי מעדיף להחזיק צוות של לומדים ברמה ולקדם את עולם התורה בהכי.
לא בעל מאה אנכי ולא בעל דעה. רק ביקשתי להציב יעד וחזון.
בכל אופן תודה על השיתוף.

[אלף שין]

@איש-שלו
הוא התכוון שעכשיו זה לא אפשרי מבחינת עלויות,
וודאי שיכול להיות שבעתיד כלשהוא דברים כאלו יקרו אולי אפילו מעצמם באמצעות הנחיות של AI אחר ועם שבבים מיוחדים ומהירים מאד....

[sivan22]

@ivrפון כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

@sivan22 האם אני יכול להתקן את המודול על השרת שלי ולשים לו נניח קבצי מידע על האתר
כמובן שיש לי KEY [של openai]
ושיהיה לי צאט מידע על אתר האינטרנט?

בהחלט אפשר וכדאי לעשות צ'אט על בסיס RAG על קבצי מידע של האתר. רק אני לא בטוח אם הכלי הזה ספציפית הוא הכי נח להטמיע בשרת. כלומר הממשק שלו לא יתאים לאתר, אבל יש גם API וצריך לבדוק כמה זה נח.

[א.מ.ד.]

@sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

@ivrפון כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

@sivan22 האם אני יכול להתקן את המודול על השרת שלי ולשים לו נניח קבצי מידע על האתר
כמובן שיש לי KEY [של openai]
ושיהיה לי צאט מידע על אתר האינטרנט?

בהחלט אפשר וכדאי לעשות צ'אט על בסיס RAG על קבצי מידע של האתר. רק אני לא בטוח אם הכלי הזה ספציפית הוא הכי נח להטמיע בשרת. כלומר הממשק שלו לא יתאים לאתר, אבל יש גם API וצריך לבדוק כמה זה נח.

זה קוד פתוח, לא? אתה לא יכול לעצב את הממשק בצורה אחרת?

[יהודי צעיר]

@sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

שיחקתי קצת עם כלי מעניין, שמפשט עבורנו את העבודה של מה שנקרא היום RAG - Retrieval-Augmented Generation.

היופי של הכלי שהוא מציג בצד את המקורות של התשובה, וניתן מיד לבדוק את הדברים במקורם:

שמתי לב שהבינה מלאכותית מתירה כלי שני במלח ללא חומרא כלל, בעוד בספר הפתוח בבינה שם כתוב שהמחמיר גם על כלי שני תבוא עליו ברכה ואין חילוק בין כלי ראשון לשני...
כלומר... רובוט חמוד אבל עדיין לא מספיק חכם.

[sivan22]

חדש חדש!! יש כלי חדש של גוגל שאמור לעשות את אותה עבודה הרבה יותר טוב: https://notebooklm.google.com/

[צדיק וטוב לו 0]

@sivan22 אבל סוגי הקבצים שהוא קורא מוגבלים.

[א.מ.ד.]

@צדיק-וטוב-לו-0 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

@sivan22 אבל סוגי הקבצים שהוא קורא מוגבלים.

לא נכון, הוא קורא את כל סוגי המסמכים, רק שצריך להעלות אותם לדרייב (גוגל דוקס). באופן כזה הוא קורא אפילו מצגות שקופיות!
בנוסף, אפשר לתת לו גם קישורים לדפי אינטרנט!

[צדיק וטוב לו 0]

@א-מ-ד