המלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך
-
@REFAEL-2 זה עדיין אמור לעבוד, אמנם הוא לא יצליח לדרג מחדש בגלל הבעיה הזו, אבל תמתין והוא יענה לך.
-
-
שיחקתי קצת עם כלי מעניין, שמפשט עבורנו את העבודה של מה שנקרא היום RAG - Retrieval-Augmented Generation.
זה אולי שם מפוצץ אבל זה די פשוט, משתמשים בבינה מלאכותית כדי לענות על שאלות בנוגע לתוכן מסויים שאנו נותנים לו מראש. הדרך לעשות זאת היא באמצעות שני שלבים: ראשית לוקחים את המסמכים שאנו רוצים לחפש בהם ויוצרים להם אינדקס באמצעות בינה מלאכותית (חיפוש סמנטי. הסברים נוספים כאן.) לאחר מכן קולטים שאלה מהמשתמש, ומחפשים את המסמכים הכי דומים. אז המערכת לוקחת את המסמכים הללו ושולחת אותם יחד עם השאלה למודל שפה (כמו ChatGPT) ומתקבלת תשובה על סמך המסמכים הללו.
אז יש כלי שעושה בשבילנו את כל העבודה, מה שאנו צריכים זה רק להעלות לו מסמכים, לדוגמה PDF, קבצי וורד, וכו'. לחכות קצת בשביל האינדקס, ולאחר מכן לשאול שאלות בשפה חופשית.
ומה עם המנוע מאחורה? אז אם אנחנו מוכנים לשלם אז הדרך הקלה והקצרה ביותר היא להשתמש בו עם מפתח API של אחד המודלים בתשלום.
אבל אם אנחנו לא רוצים לשלם, אז אפשר בהחלט לעשות הכל על המחשב שלנו. וזה בהחלט יכול לעבוד גם בלי GPU אבל באיטיות.היופי של הכלי שהוא מציג בצד את המקורות של התשובה, וניתן מיד לבדוק את הדברים במקורם:
אם יש מי שמתעניין בזה, אני יכול לפרט יותר כיצד לחבר את המערכת למודל בתשלום, וכן כיצד ניתן לחבר אותה למודל מקומי על המחשב שלנו.
-
S sivan22 התייחס לנושא זה ב
-
ד דאנציג התייחס לנושא זה ב
-
שלב 1: התקנת הכלי Kotaemon
נוריד את קובץ הזיפ מהגרסה האחרונה כאן: https://github.com/Cinnamon/kotaemon/releases/latest/
נחלץ את התוכן, ונריץ את הקובץ scripts/run_windows.bat כאשר המחשב מחובר לרשת.
ייפתח חלון שחור שבו רצות שורות של ההתקנה. לאחר שהיא מסתיימת ייפתח דפדפן שמבקש סיסמה. נכניס את המילה admin בשני השדות, ייפתח החלון הבא:
שלב 2 (אפשרות א): הגדרת API בתשלום
יש להרשם כאן ולאחר מכן ליצור API KEY
וכמובן נשמור אותו.בתוכנה שלנו ניכנס לכרטיסייה resourced ותחת LLMS נבחר באפשרות ADD ונמלא את הפרטים הבאים:
נלך לכרטיסייה הסמוכה embeddings ונמלא את הפרטים הבאים:
שלב 2 (אפשרות ב): הגדרת מודל מקומי
נתקין את המוצר ollama
נוריד מודל בשביל הייצוג המספרי: קישור
נוריד מודל שפה (DictaLM)כעת צריך להוסיף את המודלים הללו לollama :
ניצור קובץ בשם Modelfile ונכתוב בו את השורה הבאה:
FROM "C:\Users\sivan22\Downloads\dictalm2.0-instruct.Q4_K_M.gguf"כמובן שנחליף את הנתיב בנתיב המדוייק לקובץ שהורדנו מקודם.
נריץ בשורת פקודה את השורה הבאה:
ollama create dictaLM -f Modelfileכמובן שצריך לספק את המיקום המדוייק של הקובץ בשם Modelfile שיצרנו לעיל. (כלומר במקום Modelfile אפשר לכתוב "C:\Users\sivna22\Downloads\Modelfile")
נעשה אותו הדבר למודל השני:
FROM "C:\Users\sivan22\Downloads\multilingual-e5-large-instruct-q4_k.gguf"ollama create e5 -f Modelfileבתוכנה שלנו, נוסיף את המודלים הללו לפי הדוגמאות שלפנינו:
שלב 3 : העלאת קבצים
בכרטיסייה files נעלה את הקבצים וניצור להם אינדקס. (ייקח זמן עד שהם יופיעו בטבלה, כלומר שהעבודה הסתיימה):
שלב 4: צ'אט עם הקבצים שלנו
בכרטיסייה chat נסמן בצד באיזה קבצים אנו רוצים לחפש, ולאחר מכן פשוט נתחיל לשוחח עם הצ'אט אודות הקבצים:
-
י י. פל. התייחס לנושא זה ב
-
-
יש איזה עדכון לתוכנה מאז 2024?
@הלמדן-הטכנאי כלומר: שמת לב שאתה מקפיץ נושא מ2024!?
-
@הלמדן-הטכנאי כלומר: שמת לב שאתה מקפיץ נושא מ2024!?
@בנימין-מחשבים
שמתי לב,
לא הבנתי מה התלהבת, זו בדיוק מה ששאלתי. -
@בנימין-מחשבים
שמתי לב,
לא הבנתי מה התלהבת, זו בדיוק מה ששאלתי.@הלמדן-הטכנאי אסור לפי חוקי הפורום להקפיץ נושאים מלפני יותר מ-60 יום.
-
@הלמדן-הטכנאי אסור לפי חוקי הפורום להקפיץ נושאים מלפני יותר מ-60 יום.
@א.מ.ד.
סליחה, טעיתי.
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}