המלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך
-
@א-מ-ד כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
@sivan22 זה נפתח לי בדפדפן על הדף הזה:
והוא כותב על כל מה שאני ממלא "שם משתמש או סיסמא לא חוקיים". צריך להירשם לזה איפשהו?
השם משתמש וגם הסיסמה זה admin
-
@sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
@sivan22 למשתמשי נטפרי צריך לפעול לפי שני המדריכים להלן:
1
2אפשר הסבר בעברית מה למעשה לעשות מותאם לתוכנה הזו?
-
@חיים-שנקר
אני מוסיף על הבקשה,
מחכים למישהוא שיקמפל את הכל יחד,
מי לא רוצה לחפש דברים לפי הראש שלו בהתבסס על דברים שכתב בעבר והביע בהם את דעתו....@אלף-שין כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
אני מוסיף על הבקשה,
מחכים למישהוא שיקמפל את הכל יחד,
מי לא רוצה לחפש דברים לפי הראש שלו בהתבסס על דברים שכתב בעבר והביע בהם את דעתו.... -
@צדיק-תמים כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
@אהרן הקישורים שהוא שלח הם בעברית
כמובן התכוונתי לפשט את ההסברים, כתוב שם שבפקודה זו להוסיף את זה ובזו את זה וכו', מה למעשה צריך לעשות בתוכנה הזו כדי להפעיל אותה בווינדוס בנטפרי?
-
שלב 1: התקנת הכלי Kotaemon
נוריד את קובץ הזיפ מהגרסה האחרונה כאן: https://github.com/Cinnamon/kotaemon/releases/latest/
נחלץ את התוכן, ונריץ את הקובץ scripts/run_windows.bat כאשר המחשב מחובר לרשת.
ייפתח חלון שחור שבו רצות שורות של ההתקנה. לאחר שהיא מסתיימת ייפתח דפדפן שמבקש סיסמה. נכניס את המילה admin בשני השדות, ייפתח החלון הבא:
שלב 2 (אפשרות א): הגדרת API בתשלום
יש להרשם כאן ולאחר מכן ליצור API KEY
וכמובן נשמור אותו.בתוכנה שלנו ניכנס לכרטיסייה resourced ותחת LLMS נבחר באפשרות ADD ונמלא את הפרטים הבאים:
נלך לכרטיסייה הסמוכה embeddings ונמלא את הפרטים הבאים:
שלב 2 (אפשרות ב): הגדרת מודל מקומי
נתקין את המוצר ollama
נוריד מודל בשביל הייצוג המספרי: קישור
נוריד מודל שפה (DictaLM)כעת צריך להוסיף את המודלים הללו לollama :
ניצור קובץ בשם Modelfile ונכתוב בו את השורה הבאה:
FROM "C:\Users\sivan22\Downloads\dictalm2.0-instruct.Q4_K_M.gguf"כמובן שנחליף את הנתיב בנתיב המדוייק לקובץ שהורדנו מקודם.
נריץ בשורת פקודה את השורה הבאה:
ollama create dictaLM -f Modelfileכמובן שצריך לספק את המיקום המדוייק של הקובץ בשם Modelfile שיצרנו לעיל. (כלומר במקום Modelfile אפשר לכתוב "C:\Users\sivna22\Downloads\Modelfile")
נעשה אותו הדבר למודל השני:
FROM "C:\Users\sivan22\Downloads\multilingual-e5-large-instruct-q4_k.gguf"ollama create e5 -f Modelfileבתוכנה שלנו, נוסיף את המודלים הללו לפי הדוגמאות שלפנינו:
שלב 3 : העלאת קבצים
בכרטיסייה files נעלה את הקבצים וניצור להם אינדקס. (ייקח זמן עד שהם יופיעו בטבלה, כלומר שהעבודה הסתיימה):
שלב 4: צ'אט עם הקבצים שלנו
בכרטיסייה chat נסמן בצד באיזה קבצים אנו רוצים לחפש, ולאחר מכן פשוט נתחיל לשוחח עם הצ'אט אודות הקבצים:
-
שיחקתי קצת עם כלי מעניין, שמפשט עבורנו את העבודה של מה שנקרא היום RAG - Retrieval-Augmented Generation.
זה אולי שם מפוצץ אבל זה די פשוט, משתמשים בבינה מלאכותית כדי לענות על שאלות בנוגע לתוכן מסויים שאנו נותנים לו מראש. הדרך לעשות זאת היא באמצעות שני שלבים: ראשית לוקחים את המסמכים שאנו רוצים לחפש בהם ויוצרים להם אינדקס באמצעות בינה מלאכותית (חיפוש סמנטי. הסברים נוספים כאן.) לאחר מכן קולטים שאלה מהמשתמש, ומחפשים את המסמכים הכי דומים. אז המערכת לוקחת את המסמכים הללו ושולחת אותם יחד עם השאלה למודל שפה (כמו ChatGPT) ומתקבלת תשובה על סמך המסמכים הללו.
אז יש כלי שעושה בשבילנו את כל העבודה, מה שאנו צריכים זה רק להעלות לו מסמכים, לדוגמה PDF, קבצי וורד, וכו'. לחכות קצת בשביל האינדקס, ולאחר מכן לשאול שאלות בשפה חופשית.
ומה עם המנוע מאחורה? אז אם אנחנו מוכנים לשלם אז הדרך הקלה והקצרה ביותר היא להשתמש בו עם מפתח API של אחד המודלים בתשלום.
אבל אם אנחנו לא רוצים לשלם, אז אפשר בהחלט לעשות הכל על המחשב שלנו. וזה בהחלט יכול לעבוד גם בלי GPU אבל באיטיות.היופי של הכלי שהוא מציג בצד את המקורות של התשובה, וניתן מיד לבדוק את הדברים במקורם:
אם יש מי שמתעניין בזה, אני יכול לפרט יותר כיצד לחבר את המערכת למודל בתשלום, וכן כיצד ניתן לחבר אותה למודל מקומי על המחשב שלנו.
@sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
אבל אם אנחנו לא רוצים לשלם
וגם רוצים לשמור על הפרטיות שלנו...
@sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
@צדיק-וטוב-לו-0 אפשר או כך או כך, בענן זה כמובן מהיר יותר בהרבה. וגם הרבה יותר מדוייק.
אבל פחות פרטי.
ממש לא הייתי מעלה את כל הקבצים שלי לאיזו חברת ביגטק.
-
@sivan22 כשאני מנסה להגדיר את ההגדרה האחרונה הוא כותב לי
error Failed to create Embedding model e5: Failed to add model e5: (sqlite3.IntegrityError) UNIQUE constraint failed: embedding.name\n[SQL: INSERT INTO embedding (name, spec, "default") VALUES (?, ?, ?)]\n[parameters: (\'e5\', \'{"api_key": "ollama", "base_url": "http://localhost:11434/v1/", "model": "e5", "__type__": "kotaemon.embeddings.openai.OpenAIEmbeddings"}\', 1)]\n(Background on this error at: https://sqlalche.me/e/20/gkpj)איפה הבעיה
-
@sivan22 כשאני מנסה להגדיר את ההגדרה האחרונה הוא כותב לי
error Failed to create Embedding model e5: Failed to add model e5: (sqlite3.IntegrityError) UNIQUE constraint failed: embedding.name\n[SQL: INSERT INTO embedding (name, spec, "default") VALUES (?, ?, ?)]\n[parameters: (\'e5\', \'{"api_key": "ollama", "base_url": "http://localhost:11434/v1/", "model": "e5", "__type__": "kotaemon.embeddings.openai.OpenAIEmbeddings"}\', 1)]\n(Background on this error at: https://sqlalche.me/e/20/gkpj)איפה הבעיה
@דוד-משה-1 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
איפה הבעיה?
אולי כבר קיים מודל בשם הזה?
-
@דוד-משה-1 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
איפה הבעיה?
אולי כבר קיים מודל בשם הזה?
@sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
@דוד-משה-1 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
איפה הבעיה?
אולי כבר קיים מודל בשם הזה?
ניסיתי לשנות למשהו אחר לא עזר
-
@דוד-משה-1 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
איפה הבעיה?
אולי כבר קיים מודל בשם הזה?
-
@sivan22
אין שום סיכוי שיהיה לך אופציה לקמפל הכל?כמו"כ האם כבודו מתכנן בקרוב לאנדקס את כלל ספרי אוצריא לAI הזה?
-
שיחקתי קצת עם כלי מעניין, שמפשט עבורנו את העבודה של מה שנקרא היום RAG - Retrieval-Augmented Generation.
זה אולי שם מפוצץ אבל זה די פשוט, משתמשים בבינה מלאכותית כדי לענות על שאלות בנוגע לתוכן מסויים שאנו נותנים לו מראש. הדרך לעשות זאת היא באמצעות שני שלבים: ראשית לוקחים את המסמכים שאנו רוצים לחפש בהם ויוצרים להם אינדקס באמצעות בינה מלאכותית (חיפוש סמנטי. הסברים נוספים כאן.) לאחר מכן קולטים שאלה מהמשתמש, ומחפשים את המסמכים הכי דומים. אז המערכת לוקחת את המסמכים הללו ושולחת אותם יחד עם השאלה למודל שפה (כמו ChatGPT) ומתקבלת תשובה על סמך המסמכים הללו.
אז יש כלי שעושה בשבילנו את כל העבודה, מה שאנו צריכים זה רק להעלות לו מסמכים, לדוגמה PDF, קבצי וורד, וכו'. לחכות קצת בשביל האינדקס, ולאחר מכן לשאול שאלות בשפה חופשית.
ומה עם המנוע מאחורה? אז אם אנחנו מוכנים לשלם אז הדרך הקלה והקצרה ביותר היא להשתמש בו עם מפתח API של אחד המודלים בתשלום.
אבל אם אנחנו לא רוצים לשלם, אז אפשר בהחלט לעשות הכל על המחשב שלנו. וזה בהחלט יכול לעבוד גם בלי GPU אבל באיטיות.היופי של הכלי שהוא מציג בצד את המקורות של התשובה, וניתן מיד לבדוק את הדברים במקורם:
אם יש מי שמתעניין בזה, אני יכול לפרט יותר כיצד לחבר את המערכת למודל בתשלום, וכן כיצד ניתן לחבר אותה למודל מקומי על המחשב שלנו.
-
@אלף-שין אולי מתי שהוא אני אצור docker שיכלול הכל. בינתיים אני עדיין בודק את הכלי.
לגבי אוצריא ברור שזה הכיוון, אבל אני עדיין לא שם.@sivan22
אם בבינה מלאכותית עסקינן, ובאופן הרצתה על כתבים תורניים.
אשאלה נא:א. לגבי דיון עם בינה מלאכותית על עצם התוכן התורני - מעיקרא אינני מאמין כ"כ ביכולת של המחשב לדייק ולהעלות מסקנות אמינות ומדוייקות. כך שבלא"ה יצטרכו לעמול בתורה עצמה וכו' [תקן אותי אם לדעתך אני טועה].
ב. לגבי מציאת מקורות ומראי מקומות - ראיתי את העבודה שלך ב'חיפוש תורני', ונראה שעדיין הונחה לך בקעה רחבה לגדור... [כוונתי שעשית כמובן עבודה גדולה, אבל כדי שיהיה בכלי הזה תועלת יותר מאשר חיפוש בבר אילן - צריך שהוא יהיה מאוד מדוייק וממוקד].
ג. דוקא במישור אחר היה נראה לי שיכולה להיות תועלת עצומה ונפלאה בבינה מלאכותית, אם יהיה אפשר לשאול שאלות ניתוח רוחביות. כגון:
(א) האם ניתן למצוא מקומות בהם חכם פלוני [למשל הרמח"ל, שברוב ספריו מצטט מקראות ודברי חז"ל] מביא מדברי ראשונים / אחרונים ?
[ב] האם יש מן החכמים הקדמונים שהעמידו עיקר האמונה וידיעת הנהגת ה' על גילוי הייחוד [כמו הרמח"ל]?
[ג] מי מחכמי ישראל [בתקופה מסויימת / באיזור מסויים] עסק בענין זה וזה...
[ד] היכן אפשר למצוא תשובות סדורות על השאלה בדבר כו'וכמו כן - ניתוח טקסטים ברמה פרטנית:
[ה] באילו פסוקים /פרשות מצאנו מושג החוזר על עצמו כמה פעמים?
[ו] היכן בתורה נביאים וכתובים מתבאר ענין מסויים?
[ז] היכן מצינו פסוקים או נבואות מקבילות בכמה ספרים?
[ח] האם נזכר במקרא ענין מסויים לפני דור מסויים?
[ט] ואפילו - היכן מצינו בכתובים ביטוי לשוני או שורש דקדוקי המשמש לדבר והיפוכו?
[י] אלו פרקים בתנ"ך מסודרים לפי א"ב, ובאילו נמצא חריגות מן הסדר [נ' החסרה באשרי, חילוף פ' וע' באיכה וכיו"ב]?או שאלות כמו:
[יא] האם ישנן סוגיות בהן הגמ' נשארת בקושיה, ובסוגיה מקבילה בה הקושיה מתורצת?
[יב] מה הם כל המקומות בהם חכם הורה הלכה מסויימת ולאחר מכן חזר בו מכח קושיה או מכח התבררות המציאות?
[יג] היכן מצינו שלמדים הלכה ממקרה שאירע קודם למתן תורה?
[יד] סיכום שמות צאצאי יעקב והשוואתם בין המקומות השונים.
[טו] סיכום גבולות הארץ בג' וד' מקומות ההבטחה, מציאת ההקבלה וההבדלה בין שמות המקומות הנזכרים בגבולות הארץ לבין מקומות הנזכרים בפרשות אחרות.וכמובן עוד ועוד ועוד כפי יד' ה' הטובה על כל לומד ולומד...
כמדומה שזה יהיה כלי אדיר לעיון ומחקר תורני אמיתי ויסודי.
האם זה חזון רחוק ?
-
@sivan22
אם בבינה מלאכותית עסקינן, ובאופן הרצתה על כתבים תורניים.
אשאלה נא:א. לגבי דיון עם בינה מלאכותית על עצם התוכן התורני - מעיקרא אינני מאמין כ"כ ביכולת של המחשב לדייק ולהעלות מסקנות אמינות ומדוייקות. כך שבלא"ה יצטרכו לעמול בתורה עצמה וכו' [תקן אותי אם לדעתך אני טועה].
ב. לגבי מציאת מקורות ומראי מקומות - ראיתי את העבודה שלך ב'חיפוש תורני', ונראה שעדיין הונחה לך בקעה רחבה לגדור... [כוונתי שעשית כמובן עבודה גדולה, אבל כדי שיהיה בכלי הזה תועלת יותר מאשר חיפוש בבר אילן - צריך שהוא יהיה מאוד מדוייק וממוקד].
ג. דוקא במישור אחר היה נראה לי שיכולה להיות תועלת עצומה ונפלאה בבינה מלאכותית, אם יהיה אפשר לשאול שאלות ניתוח רוחביות. כגון:
(א) האם ניתן למצוא מקומות בהם חכם פלוני [למשל הרמח"ל, שברוב ספריו מצטט מקראות ודברי חז"ל] מביא מדברי ראשונים / אחרונים ?
[ב] האם יש מן החכמים הקדמונים שהעמידו עיקר האמונה וידיעת הנהגת ה' על גילוי הייחוד [כמו הרמח"ל]?
[ג] מי מחכמי ישראל [בתקופה מסויימת / באיזור מסויים] עסק בענין זה וזה...
[ד] היכן אפשר למצוא תשובות סדורות על השאלה בדבר כו'וכמו כן - ניתוח טקסטים ברמה פרטנית:
[ה] באילו פסוקים /פרשות מצאנו מושג החוזר על עצמו כמה פעמים?
[ו] היכן בתורה נביאים וכתובים מתבאר ענין מסויים?
[ז] היכן מצינו פסוקים או נבואות מקבילות בכמה ספרים?
[ח] האם נזכר במקרא ענין מסויים לפני דור מסויים?
[ט] ואפילו - היכן מצינו בכתובים ביטוי לשוני או שורש דקדוקי המשמש לדבר והיפוכו?
[י] אלו פרקים בתנ"ך מסודרים לפי א"ב, ובאילו נמצא חריגות מן הסדר [נ' החסרה באשרי, חילוף פ' וע' באיכה וכיו"ב]?או שאלות כמו:
[יא] האם ישנן סוגיות בהן הגמ' נשארת בקושיה, ובסוגיה מקבילה בה הקושיה מתורצת?
[יב] מה הם כל המקומות בהם חכם הורה הלכה מסויימת ולאחר מכן חזר בו מכח קושיה או מכח התבררות המציאות?
[יג] היכן מצינו שלמדים הלכה ממקרה שאירע קודם למתן תורה?
[יד] סיכום שמות צאצאי יעקב והשוואתם בין המקומות השונים.
[טו] סיכום גבולות הארץ בג' וד' מקומות ההבטחה, מציאת ההקבלה וההבדלה בין שמות המקומות הנזכרים בגבולות הארץ לבין מקומות הנזכרים בפרשות אחרות.וכמובן עוד ועוד ועוד כפי יד' ה' הטובה על כל לומד ולומד...
כמדומה שזה יהיה כלי אדיר לעיון ומחקר תורני אמיתי ויסודי.
האם זה חזון רחוק ?
@איש-שלו סעיף ג' כבר זמין תקופה ארוכה דרך צ'אט gpt. זה כמובן לא מושלם כלל, ולא מדויק במאה אחוז, אבל הוא בהחלט יכול לענות על חלק ניכר מהשאלות שהצגת.
לתוכנה ספרים תורנית זה פחות נצרך, בהתחשב בעובדה שלמודל המקורי יש הרבה יותר מידע ממה שנמצא בתוכנה. אם יאמנו או יחברו מודל שכזה לכל המידע באוצר החכמה זו אכן תהיה בשורה
-
@איש-שלו סעיף ג' כבר זמין תקופה ארוכה דרך צ'אט gpt. זה כמובן לא מושלם כלל, ולא מדויק במאה אחוז, אבל הוא בהחלט יכול לענות על חלק ניכר מהשאלות שהצגת.
לתוכנה ספרים תורנית זה פחות נצרך, בהתחשב בעובדה שלמודל המקורי יש הרבה יותר מידע ממה שנמצא בתוכנה. אם יאמנו או יחברו מודל שכזה לכל המידע באוצר החכמה זו אכן תהיה בשורה
@NH-LOCAL למודל רגיל - גדול ככל שיהי - יש מידע רב, אבל לא תורני וודאי שלא מדוייק. [ובכל אופן ודאי שלא מידע מבורר ומסולת המושפע רק ממקורות תורניים מוסמכים...].
הכוונה שלי היא למודל שיהיה מאומן על שאלות ומחקרים תורניים וידע להתמודד עם נוסח הכתבים של תורה שבכתב ושבע"פ, להבין את המושגים ולנתח ברמה גבוהה ומהודקת. -
@NH-LOCAL למודל רגיל - גדול ככל שיהי - יש מידע רב, אבל לא תורני וודאי שלא מדוייק. [ובכל אופן ודאי שלא מידע מבורר ומסולת המושפע רק ממקורות תורניים מוסמכים...].
הכוונה שלי היא למודל שיהיה מאומן על שאלות ומחקרים תורניים וידע להתמודד עם נוסח הכתבים של תורה שבכתב ושבע"פ, להבין את המושגים ולנתח ברמה גבוהה ומהודקת.@איש-שלו כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
@NH-LOCAL למודל רגיל - גדול ככל שיהי - יש מידע רב, אבל לא תורני וודאי שלא מדוייק. [ובכל אופן ודאי שלא מידע מבורר ומסולת המושפע רק ממקורות תורניים מוסמכים...].
הכוונה שלי היא למודל שיהיה מאומן על שאלות ומחקרים תורניים וידע להתמודד עם נוסח הכתבים של תורה שבכתב ושבע"פ, להבין את המושגים ולנתח ברמה גבוהה ומהודקת.אם יש לך 10 מליארד דולר מיותרים, אתה מוזמן להרים את הכפפה
-
@איש-שלו כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
@NH-LOCAL למודל רגיל - גדול ככל שיהי - יש מידע רב, אבל לא תורני וודאי שלא מדוייק. [ובכל אופן ודאי שלא מידע מבורר ומסולת המושפע רק ממקורות תורניים מוסמכים...].
הכוונה שלי היא למודל שיהיה מאומן על שאלות ומחקרים תורניים וידע להתמודד עם נוסח הכתבים של תורה שבכתב ושבע"פ, להבין את המושגים ולנתח ברמה גבוהה ומהודקת.אם יש לך 10 מליארד דולר מיותרים, אתה מוזמן להרים את הכפפה
@NH-LOCAL כנראה בגלל השאלה של @איש-שלו שהייתה באותה שניה איתי לא שמת לב לשאלה שלי
@ivrפון כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
האם אני יכול להתקן את המודול על השרת שלי ולשים לו נניח קבצי מידע על האתר
כמובן שיש לי KEY [של openai]
ושיהיה לי צאט מידע על אתר האינטרנט? -
@איש-שלו כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
@NH-LOCAL למודל רגיל - גדול ככל שיהי - יש מידע רב, אבל לא תורני וודאי שלא מדוייק. [ובכל אופן ודאי שלא מידע מבורר ומסולת המושפע רק ממקורות תורניים מוסמכים...].
הכוונה שלי היא למודל שיהיה מאומן על שאלות ומחקרים תורניים וידע להתמודד עם נוסח הכתבים של תורה שבכתב ושבע"פ, להבין את המושגים ולנתח ברמה גבוהה ומהודקת.אם יש לך 10 מליארד דולר מיותרים, אתה מוזמן להרים את הכפפה
 { const baseUrl = 'https://www.google.co.il/search?q=site:mitmachim.top'; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; function search(path = '') { const query = document.getElementById('bb-inp').value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, '_blank'); } }; let buttons = {}; buttons.searchAll = { label: `חיפוש ${type ? 'בכל הפורום' : ''}`, className: type ? 'btn-secondary' : 'btn-primary', callback: () => search() }; if (type === 'topic') { buttons.searchTopic = { label: 'חיפוש בנושא זה', className: 'btn-primary', callback: () => search(`/topic/${id}`) }; } else if (type === 'category') { buttons.searchCat = { label: 'חיפוש בקטגוריה זו', className: 'btn-primary', callback: () => search(`/category/${id}`) }; } buttons.cancel = { label: 'ביטול', className: 'btn-default' }; bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true }); })(); void (0);){kind=link}