המלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך

[sivan22]

שיחקתי קצת עם כלי מעניין, שמפשט עבורנו את העבודה של מה שנקרא היום RAG - Retrieval-Augmented Generation.
זה אולי שם מפוצץ אבל זה די פשוט, משתמשים בבינה מלאכותית כדי לענות על שאלות בנוגע לתוכן מסויים שאנו נותנים לו מראש. הדרך לעשות זאת היא באמצעות שני שלבים: ראשית לוקחים את המסמכים שאנו רוצים לחפש בהם ויוצרים להם אינדקס באמצעות בינה מלאכותית (חיפוש סמנטי. הסברים נוספים כאן.) לאחר מכן קולטים שאלה מהמשתמש, ומחפשים את המסמכים הכי דומים. אז המערכת לוקחת את המסמכים הללו ושולחת אותם יחד עם השאלה למודל שפה (כמו ChatGPT) ומתקבלת תשובה על סמך המסמכים הללו.
אז יש כלי שעושה בשבילנו את כל העבודה, מה שאנו צריכים זה רק להעלות לו מסמכים, לדוגמה PDF, קבצי וורד, וכו'. לחכות קצת בשביל האינדקס, ולאחר מכן לשאול שאלות בשפה חופשית.
ומה עם המנוע מאחורה? אז אם אנחנו מוכנים לשלם אז הדרך הקלה והקצרה ביותר היא להשתמש בו עם מפתח API של אחד המודלים בתשלום.
אבל אם אנחנו לא רוצים לשלם, אז אפשר בהחלט לעשות הכל על המחשב שלנו. וזה בהחלט יכול לעבוד גם בלי GPU אבל באיטיות.

היופי של הכלי שהוא מציג בצד את המקורות של התשובה, וניתן מיד לבדוק את הדברים במקורם:

הוראות התקנה ושימוש בסיסיים

אם יש מי שמתעניין בזה, אני יכול לפרט יותר כיצד לחבר את המערכת למודל בתשלום, וכן כיצד ניתן לחבר אותה למודל מקומי על המחשב שלנו.

[צדיק וטוב לו 0]

@sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

שיחקתי קצת עם כלי מעניין, שמפשט עבורנו את העבודה של מה שנקרא היום RAG - Retrieval-Augmented Generation.
זה אולי שם מפוצץ אבל זה די פשוט, משתמשים בבינה מלאכותית כדי לענות על שאלות בנוגע לתוכן מסויים שאנו נותנים לו מראש. הדרך לעשות זאת היא באמצעות שני שלבים: ראשית לוקחים את המסמכים שאנו רוצים לחפש בהם ויוצרים להם אינדקס באמצעות בינה מלאכותית (חיפוש סמנטי. הסברים נוספים כאן.) לאחר מכן קולטים שאלה מהמשתמש, ומחפשים את המסמכים הכי דומים. אז המערכת לוקחת את המסמכים הללו ושולחת אותם יחד עם השאלה למודל שפה (כמו ChatGPT) ומתקבלת תשובה על סמך המסמכים הללו.
אז יש כלי שעושה בשבילנו את כל העבודה, מה שאנו צריכים זה רק להעלות לו מסמכים, לדוגמה PDF, קבצי וורד, וכו'. לחכות קצת בשביל האינדקס, ולאחר מכן לשאול שאלות בשפה חופשית.
ומה עם המנוע מאחורה? אז אם אנחנו מוכנים לשלם אז הדרך הקלה והקצרה ביותר היא להשתמש בו עם מפתח API של אחד המודלים בתשלום.
אבל אם אנחנו לא רוצים לשלם, אז אפשר בהחלט לעשות הכל על המחשב שלנו. וזה בהחלט יכול לעבוד גם בלי GPU אבל באיטיות.

היופי של הכלי שהוא מציג בצד את המקורות של התשובה, וניתן מיד לבדוק את הדברים במקורם:

הוראות התקנה ושימוש בסיסיים

אם יש מי שמתעניין בזה, אני יכול לפרט יותר כיצד לחבר את המערכת למודל בתשלום, וכן כיצד ניתן לחבר אותה למודל מקומי על המחשב שלנו.

בהנחה שזה יכול לעבוד על המחשב מקומי, למה זה צריך לעבור דרך המרשתת?
זה בעצם שימוש כפול בגלישה.

[sivan22]

@צדיק-וטוב-לו-0 אפשר או כך או כך, בענן זה כמובן מהיר יותר בהרבה. וגם הרבה יותר מדוייק.

[שליו]

@sivan22
נשמע מרתק
אשמח להדרכה לחיבור למודל מקומי על המחשב

[אהרן]

@sivan22 אשמח גם להדרכה על מחשב מקומי. האם ביצירת האינדקס צריך להעביר את הקבצים לרשת? פשוט יש לי קבצים עם מידע חסוי, השאלה אם ניתן לעשות את זה על המחשב בבית, או במקום שלא כתוב 'נבדק ע"י בודקים אנושיים, לא להכניס מידע חסוי'.

[DANIEL 4]

@sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

שיחקתי קצת עם כלי מעניין, שמפשט עבורנו את העבודה של מה שנקרא היום RAG - Retrieval-Augmented Generation.
זה אולי שם מפוצץ אבל זה די פשוט, משתמשים בבינה מלאכותית כדי לענות על שאלות בנוגע לתוכן מסויים שאנו נותנים לו מראש. הדרך לעשות זאת היא באמצעות שני שלבים: ראשית לוקחים את המסמכים שאנו רוצים לחפש בהם ויוצרים להם אינדקס באמצעות בינה מלאכותית (חיפוש סמנטי. הסברים נוספים כאן.) לאחר מכן קולטים שאלה מהמשתמש, ומחפשים את המסמכים הכי דומים. אז המערכת לוקחת את המסמכים הללו ושולחת אותם יחד עם השאלה למודל שפה (כמו ChatGPT) ומתקבלת תשובה על סמך המסמכים הללו.
אז יש כלי שעושה בשבילנו את כל העבודה, מה שאנו צריכים זה רק להעלות לו מסמכים, לדוגמה PDF, קבצי וורד, וכו'. לחכות קצת בשביל האינדקס, ולאחר מכן לשאול שאלות בשפה חופשית.
ומה עם המנוע מאחורה? אז אם אנחנו מוכנים לשלם אז הדרך הקלה והקצרה ביותר היא להשתמש בו עם מפתח API של אחד המודלים בתשלום.
אבל אם אנחנו לא רוצים לשלם, אז אפשר בהחלט לעשות הכל על המחשב שלנו. וזה בהחלט יכול לעבוד גם בלי GPU אבל באיטיות.

היופי של הכלי שהוא מציג בצד את המקורות של התשובה, וניתן מיד לבדוק את הדברים במקורם:

הוראות התקנה ושימוש בסיסיים

אם יש מי שמתעניין בזה, אני יכול לפרט יותר כיצד לחבר את המערכת למודל בתשלום, וכן כיצד ניתן לחבר אותה למודל מקומי על המחשב שלנו.

אשמח מאוד להדרכה מפורטת בעניין!

[sivan22]

@שליו

שלב 1: התקנת הכלי Kotaemon

נוריד את קובץ הזיפ מהגרסה האחרונה כאן: https://github.com/Cinnamon/kotaemon/releases/latest/

נחלץ את התוכן, ונריץ את הקובץ scripts/run_windows.bat כאשר המחשב מחובר לרשת.

ייפתח חלון שחור שבו רצות שורות של ההתקנה. לאחר שהיא מסתיימת ייפתח דפדפן שמבקש סיסמה. נכניס את המילה admin בשני השדות, ייפתח החלון הבא:

שלב 2 (אפשרות א): הגדרת API בתשלום

יש להרשם כאן ולאחר מכן ליצור API KEY
וכמובן נשמור אותו.

בתוכנה שלנו ניכנס לכרטיסייה resourced ותחת LLMS נבחר באפשרות ADD ונמלא את הפרטים הבאים:

נלך לכרטיסייה הסמוכה embeddings ונמלא את הפרטים הבאים:

שלב 2 (אפשרות ב): הגדרת מודל מקומי

נתקין את המוצר ollama
נוריד מודל בשביל הייצוג המספרי: קישור
נוריד מודל שפה (DictaLM)

כעת צריך להוסיף את המודלים הללו לollama :

ניצור קובץ בשם Modelfile ונכתוב בו את השורה הבאה:

FROM "C:\Users\sivan22\Downloads\dictalm2.0-instruct.Q4_K_M.gguf"

כמובן שנחליף את הנתיב בנתיב המדוייק לקובץ שהורדנו מקודם.

נריץ בשורת פקודה את השורה הבאה:

ollama create dictaLM -f Modelfile

כמובן שצריך לספק את המיקום המדוייק של הקובץ בשם Modelfile שיצרנו לעיל. (כלומר במקום Modelfile אפשר לכתוב "C:\Users\sivna22\Downloads\Modelfile")

נעשה אותו הדבר למודל השני:

FROM "C:\Users\sivan22\Downloads\multilingual-e5-large-instruct-q4_k.gguf"

ollama create e5 -f Modelfile

בתוכנה שלנו, נוסיף את המודלים הללו לפי הדוגמאות שלפנינו:

שלב 3 : העלאת קבצים

בכרטיסייה files נעלה את הקבצים וניצור להם אינדקס. (ייקח זמן עד שהם יופיעו בטבלה, כלומר שהעבודה הסתיימה):

שלב 4: צ'אט עם הקבצים שלנו

בכרטיסייה chat נסמן בצד באיזה קבצים אנו רוצים לחפש, ולאחר מכן פשוט נתחיל לשוחח עם הצ'אט אודות הקבצים:

[א.מ.ד.]

@sivan22 כשאני מריץ את קובץ ה-BAT הוא כותב "The current workdir has whitespace which can lead to unintended behaviour. Please modify your path and continue later." בשורת הפקודה
מה יש לעשות?

כמו כן, יש אפשרות להשתמש במודל מקומי דרך LMSTUDIO בהגדרת שרת מקומי (במקום להסתבך עם כל ההגדרות שם)?

[ג'נרטיבי]

@א-מ-ד גם לי מה עושים?

Spoiler

ספויילר

[sivan22]

@ג-נרטיבי הפתרון הוא ליצור תיקייה ב:C בשם DEV ושם לעבוד.

[sivan22]

@א-מ-ד כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

כמו כן, יש אפשרות להשתמש במודל מקומי דרך LMSTUDIO בהגדרת שרת מקומי (במקום להסתבך עם כל ההגדרות שם)?

לכאורה כן, צריך רק להריץ שרת API תואם לOPENAI ויש כזו אפשרות בSTUDIOLM אבל אני לא יודע בדיוק את הפרטים, זה נחסם בנטפרי משום מה. צריך להריץ את השרת, ולהגדיר בתוכנה שלנו על איזה כתובת בדיוק הוא רץ, בדומה להגדרות שעשינו עם OLLAMA.

[יצחק קוזניץ]

@sivan22
ייש"כ רב, זה מעניין ומרתק,
אך נשמח לשמוע על התקנה מקומית,
מכיון שאנחנו משתדלים לא להפקיר את המסמכים שלנו...

[כבוד הרב]

@יצחק-קוזניץ הרב @sivan22 הסביר כבר איך לעשות את זה תראה כאן

[דוד משה 1]

הcmd מחזיר שגיעה @sivan22

Will exit now...
Deactivate conda environment at C:\not\kotaemon-app\install_dir\env
Script completed successfully.
Press any key to continue . . .```

[א.מ.ד.]

@דוד-משה-1 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

הcmd מחזיר שגיעה @sivan22

Will exit now...
Deactivate conda environment at C:\not\kotaemon-app\install_dir\env
Script completed successfully.
Press any key to continue . . .```

@sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

@ג-נרטיבי הפתרון הוא ליצור תיקייה ב:C בשם DEV ושם לעבוד.

[aiib]

@sivan22 אחרי האינדוקס הוא יעבוד מהר גם על מחשב ללא כרטיס גרפי או מחשב לא חזק?

[חיים שנקר]

@משה-מזרחי @sivan22
אולי מישהו מתנדב להעלות את התוכנה המלאה עם כל המודלים הנדרשים - ככה שתעבוד בכל מחשב גם ללא אינטרנט

[אלף שין]

@חיים-שנקר
אני מוסיף על הבקשה,
מחכים למישהוא שיקמפל את הכל יחד,
מי לא רוצה לחפש דברים לפי הראש שלו בהתבסס על דברים שכתב בעבר והביע בהם את דעתו....

[דוד משה 1]

@א-מ-ד כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

@דוד-משה-1 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

הcmd מחזיר שגיעה @sivan22

Will exit now...
Deactivate conda environment at C:\not\kotaemon-app\install_dir\env
Script completed successfully.
Press any key to continue . . 

@sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

@ג-נרטיבי הפתרון הוא ליצור תיקייה ב:C בשם DEV ושם לעבוד.

זה לא אותה שגיעה שהייתה מקודם תכלס לא עוזר @sivan22

Spoiler

עם הצלחתי להבין נכון אז הבעייה היא במשתני סביבה ולא הבנתי עם אני צריך להסיר את המשתני סביבה של פיתון שמותקן לי מהתקייה הזו (ואם כן איך עושים את זה או סתם להוסיף את התקייה למשתני סביבה)

[אהרן]

מי מרים את הכפפה ומחבר את זה עם החומר באוצריא?