המלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך
-
@אהרן שמת לב שזה אותו אחד?
לא בטעות.
הרה"ג סיון כבר דיבר על הרעיון. -
שלב 1: התקנת הכלי Kotaemon
נוריד את קובץ הזיפ מהגרסה האחרונה כאן: https://github.com/Cinnamon/kotaemon/releases/latest/
נחלץ את התוכן, ונריץ את הקובץ scripts/run_windows.bat כאשר המחשב מחובר לרשת.
ייפתח חלון שחור שבו רצות שורות של ההתקנה. לאחר שהיא מסתיימת ייפתח דפדפן שמבקש סיסמה. נכניס את המילה admin בשני השדות, ייפתח החלון הבא:
שלב 2 (אפשרות א): הגדרת API בתשלום
יש להרשם כאן ולאחר מכן ליצור API KEY
וכמובן נשמור אותו.בתוכנה שלנו ניכנס לכרטיסייה resourced ותחת LLMS נבחר באפשרות ADD ונמלא את הפרטים הבאים:
נלך לכרטיסייה הסמוכה embeddings ונמלא את הפרטים הבאים:
שלב 2 (אפשרות ב): הגדרת מודל מקומי
נתקין את המוצר ollama
נוריד מודל בשביל הייצוג המספרי: קישור
נוריד מודל שפה (DictaLM)כעת צריך להוסיף את המודלים הללו לollama :
ניצור קובץ בשם Modelfile ונכתוב בו את השורה הבאה:
FROM "C:\Users\sivan22\Downloads\dictalm2.0-instruct.Q4_K_M.gguf"כמובן שנחליף את הנתיב בנתיב המדוייק לקובץ שהורדנו מקודם.
נריץ בשורת פקודה את השורה הבאה:
ollama create dictaLM -f Modelfileכמובן שצריך לספק את המיקום המדוייק של הקובץ בשם Modelfile שיצרנו לעיל. (כלומר במקום Modelfile אפשר לכתוב "C:\Users\sivna22\Downloads\Modelfile")
נעשה אותו הדבר למודל השני:
FROM "C:\Users\sivan22\Downloads\multilingual-e5-large-instruct-q4_k.gguf"ollama create e5 -f Modelfileבתוכנה שלנו, נוסיף את המודלים הללו לפי הדוגמאות שלפנינו:
שלב 3 : העלאת קבצים
בכרטיסייה files נעלה את הקבצים וניצור להם אינדקס. (ייקח זמן עד שהם יופיעו בטבלה, כלומר שהעבודה הסתיימה):
שלב 4: צ'אט עם הקבצים שלנו
בכרטיסייה chat נסמן בצד באיזה קבצים אנו רוצים לחפש, ולאחר מכן פשוט נתחיל לשוחח עם הצ'אט אודות הקבצים:
-
שיחקתי קצת עם כלי מעניין, שמפשט עבורנו את העבודה של מה שנקרא היום RAG - Retrieval-Augmented Generation.
זה אולי שם מפוצץ אבל זה די פשוט, משתמשים בבינה מלאכותית כדי לענות על שאלות בנוגע לתוכן מסויים שאנו נותנים לו מראש. הדרך לעשות זאת היא באמצעות שני שלבים: ראשית לוקחים את המסמכים שאנו רוצים לחפש בהם ויוצרים להם אינדקס באמצעות בינה מלאכותית (חיפוש סמנטי. הסברים נוספים כאן.) לאחר מכן קולטים שאלה מהמשתמש, ומחפשים את המסמכים הכי דומים. אז המערכת לוקחת את המסמכים הללו ושולחת אותם יחד עם השאלה למודל שפה (כמו ChatGPT) ומתקבלת תשובה על סמך המסמכים הללו.
אז יש כלי שעושה בשבילנו את כל העבודה, מה שאנו צריכים זה רק להעלות לו מסמכים, לדוגמה PDF, קבצי וורד, וכו'. לחכות קצת בשביל האינדקס, ולאחר מכן לשאול שאלות בשפה חופשית.
ומה עם המנוע מאחורה? אז אם אנחנו מוכנים לשלם אז הדרך הקלה והקצרה ביותר היא להשתמש בו עם מפתח API של אחד המודלים בתשלום.
אבל אם אנחנו לא רוצים לשלם, אז אפשר בהחלט לעשות הכל על המחשב שלנו. וזה בהחלט יכול לעבוד גם בלי GPU אבל באיטיות.היופי של הכלי שהוא מציג בצד את המקורות של התשובה, וניתן מיד לבדוק את הדברים במקורם:
אם יש מי שמתעניין בזה, אני יכול לפרט יותר כיצד לחבר את המערכת למודל בתשלום, וכן כיצד ניתן לחבר אותה למודל מקומי על המחשב שלנו.
-
@א-מ-ד כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
@דוד-משה-1 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
הcmd מחזיר שגיעה @sivan22
Will exit now... Deactivate conda environment at C:\not\kotaemon-app\install_dir\env Script completed successfully. Press any key to continue . .@sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
@ג-נרטיבי הפתרון הוא ליצור תיקייה ב:C בשם DEV ושם לעבוד.
זה לא אותה שגיעה שהייתה מקודם תכלס לא עוזר @sivan22
עם הצלחתי להבין נכון אז הבעייה היא במשתני סביבה ולא הבנתי עם אני צריך להסיר את המשתני סביבה של פיתון שמותקן לי מהתקייה הזו (ואם כן איך עושים את זה או סתם להוסיף את התקייה למשתני סביבה)
@דוד-משה-1
גם לי היו שגיאות, תתקין שוב את תעודת האבטחה של נטפרי.
לחילופין, אתה יכול להתקין בPIP את החבילות הללו:Installing collected packages: text-unidecode, striprtf, pytz, pyreadline3, pypika, pydub, mpmath, monotonic, mmh3, flatbuffers, dirtyjson, zipp, wrapt, websockets, websocket-client, urllib3, ujson, uc-micro-py, tzdata, typing_extensions, types-python-dateutil, tomlkit, tomli, tenacity, tantivy, sympy, soupsieve, sniffio, six, shellingham, semantic-version, ruff, regex, pyyaml, python-slugify, python-multipart, python-dotenv, pyproject_hooks, pyparsing, PyMuPDFb, pygments, pybind11, pyasn1, py, psutil, protobuf, platformdirs, pillow, packaging, overrides, orjson, opentelemetry-util-http, oauthlib, numpy, networkx, nest-asyncio, mypy-extensions, mdurl, markupsafe, kiwisolver, jsonpointer, joblib, jiter, importlib-resources, idna, humanfriendly, httpx-sse, httptools, html2text, h11, grpcio, greenlet, fsspec, frozenlist, fonttools, filelock, ffmpy, fastavro, exceptiongroup, et-xmlfile, distro, diskcache, defusedxml, decorator, cycler, colorama, charset-normalizer, chardet, certifi, cachetools, bcrypt, backoff, attrs, async-timeout, annotated-types, aiohappyeyeballs, aiofiles, typing-inspect, types-requests, tqdm, theflow, SQLAlchemy, rsa, retrying, retry, requests, python-dateutil, pypdf, PyMuPDF, pydantic-core, pyasn1-modules, pyarrow, pyaml, plotly, opentelemetry-proto, openpyxl, multidict, marshmallow, markdown-it-py, linkify-it-py, jsonpatch, Jinja2, importlib-metadata, httpcore, googleapis-common-protos, fasttext-wheel, deprecation, deprecated, contourpy, colorlog, coloredlogs, click, chroma-hnswlib, build, binaryornot, beautifulsoup4, asgiref, anyio, aiosignal, yarl, watchfiles, uvicorn, tiktoken, starlette, robust-downloader, rich, requests-oauthlib, pylance, pydantic, posthog, pandas, opentelemetry-exporter-otlp-proto-common, opentelemetry-api, onnxruntime, nltk, mdit-py-plugins, matplotlib, huggingface-hub, httpx, google-auth, environs, dataclasses-json, arrow, typer, tokenizers, pymilvus, opentelemetry-semantic-conventions, opentelemetry-instrumentation, openai, llama-cloud, langsmith, lancedb, kubernetes, gradio-client, fastapi, fast-langdetect, cookiecutter, aiohttp, textual, opentelemetry-sdk, opentelemetry-instrumentation-asgi, llama-index-legacy, llama-index-core, langchain-core, gradio, cohere, anthropic, trogon, opentelemetry-instrumentation-fastapi, opentelemetry-exporter-otlp-proto-grpc, llama-parse, llama-index-vector-stores-milvus, llama-index-vector-stores-lancedb, llama-index-readers-file, llama-index-llms-openai, llama-index-indices-managed-llama-cloud, llama-index-embeddings-openai, langchain-text-splitters, langchain-openai, langchain-community, langchain-anthropic, llama-index-readers-llama-parse, llama-index-multi-modal-llms-openai, llama-index-cli, llama-index-agent-openai, langchain, chromadb, llama-index-vector-stores-chroma, llama-index-program-openai, llama-index-question-gen-openai, llama-index, llama-hub, kotaemonככה:
pip install text-unidecode striprtf pytz pyreadline3 pypika pydub mpmath monotonic mmh3 flatbuffers dirtyjson zipp wrapt websockets websocket-client urllib3 ujson uc-micro-py tzdata typing_extensions types-python-dateutil tomlkit tomli tenacity tantivy sympy soupsieve sniffio six shellingham semantic-version ruff regex pyyaml python-slugify python-multipart python-dotenv pyproject_hooks pyparsing PyMuPDFb pygments pybind11 pyasn1 py psutil protobuf platformdirs pillow packaging overrides orjson opentelemetry-util-http oauthlib numpy networkx nest-asyncio mypy-extensions mdurl markupsafe kiwisolver jsonpointer joblib jiter importlib-resources idna humanfriendly httpx-sse httptools html2text h11 grpcio greenlet fsspec frozenlist fonttools filelock ffmpy fastavro exceptiongroup et-xmlfile distro diskcache defusedxml decorator cycler colorama charset-normalizer chardet certifi cachetools bcrypt backoff attrs async-timeout annotated-types aiohappyeyeballs aiofiles typing-inspect types-requests tqdm theflow SQLAlchemy rsa retrying retry requests python-dateutil pypdf PyMuPDF pydantic-core pyasn1-modules pyarrow pyaml plotly opentelemetry-proto openpyxl multidict marshmallow markdown-it-py linkify-it-py jsonpatch Jinja2 importlib-metadata httpcore googleapis-common-protos fasttext-wheel deprecation deprecated contourpy colorlog coloredlogs click chroma-hnswlib build binaryornot beautifulsoup4 asgiref anyio aiosignal yarl watchfiles uvicorn tiktoken starlette robust-downloader rich requests-oauthlib pylance pydantic posthog pandas opentelemetry-exporter-otlp-proto-common opentelemetry-api onnxruntime nltk mdit-py-plugins matplotlib huggingface-hub httpx google-auth environs dataclasses-json arrow typer tokenizers pymilvus opentelemetry-semantic-conventions opentelemetry-instrumentation openai llama-cloud langsmith lancedb kubernetes gradio-client fastapi fast-langdetect cookiecutter aiohttp textual opentelemetry-sdk opentelemetry-instrumentation-asgi llama-index-legacy llama-index-core langchain-core gradio cohere anthropic trogon opentelemetry-instrumentation-fastapi opentelemetry-exporter-otlp-proto-grpc llama-parse llama-index-vector-stores-milvus llama-index-vector-stores-lancedb llama-index-readers-file llama-index-llms-openai llama-index-indices-managed-llama-cloud llama-index-embeddings-openai langchain-text-splitters langchain-openai langchain-community langchain-anthropic llama-index-readers-llama-parse llama-index-multi-modal-llms-openai llama-index-cli llama-index-agent-openai langchain chromadb llama-index-vector-stores-chroma llama-index-program-openai llama-index-question-gen-openai llama-index llama-hub kotaemonעריכה: נראה שזה מתקין עוד...
-
@sivan22 זה נפתח לי בדפדפן על הדף הזה:
והוא כותב על כל מה שאני ממלא "שם משתמש או סיסמא לא חוקיים". צריך להירשם לזה איפשהו?
-
@א-מ-ד כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
@sivan22 זה נפתח לי בדפדפן על הדף הזה:
והוא כותב על כל מה שאני ממלא "שם משתמש או סיסמא לא חוקיים". צריך להירשם לזה איפשהו?
השם משתמש וגם הסיסמה זה admin
-
@sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
@sivan22 למשתמשי נטפרי צריך לפעול לפי שני המדריכים להלן:
1
2אפשר הסבר בעברית מה למעשה לעשות מותאם לתוכנה הזו?
-
@חיים-שנקר
אני מוסיף על הבקשה,
מחכים למישהוא שיקמפל את הכל יחד,
מי לא רוצה לחפש דברים לפי הראש שלו בהתבסס על דברים שכתב בעבר והביע בהם את דעתו....@אלף-שין כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
אני מוסיף על הבקשה,
מחכים למישהוא שיקמפל את הכל יחד,
מי לא רוצה לחפש דברים לפי הראש שלו בהתבסס על דברים שכתב בעבר והביע בהם את דעתו.... -
@צדיק-תמים כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
@אהרן הקישורים שהוא שלח הם בעברית
כמובן התכוונתי לפשט את ההסברים, כתוב שם שבפקודה זו להוסיף את זה ובזו את זה וכו', מה למעשה צריך לעשות בתוכנה הזו כדי להפעיל אותה בווינדוס בנטפרי?
-
שלב 1: התקנת הכלי Kotaemon
נוריד את קובץ הזיפ מהגרסה האחרונה כאן: https://github.com/Cinnamon/kotaemon/releases/latest/
נחלץ את התוכן, ונריץ את הקובץ scripts/run_windows.bat כאשר המחשב מחובר לרשת.
ייפתח חלון שחור שבו רצות שורות של ההתקנה. לאחר שהיא מסתיימת ייפתח דפדפן שמבקש סיסמה. נכניס את המילה admin בשני השדות, ייפתח החלון הבא:
שלב 2 (אפשרות א): הגדרת API בתשלום
יש להרשם כאן ולאחר מכן ליצור API KEY
וכמובן נשמור אותו.בתוכנה שלנו ניכנס לכרטיסייה resourced ותחת LLMS נבחר באפשרות ADD ונמלא את הפרטים הבאים:
נלך לכרטיסייה הסמוכה embeddings ונמלא את הפרטים הבאים:
שלב 2 (אפשרות ב): הגדרת מודל מקומי
נתקין את המוצר ollama
נוריד מודל בשביל הייצוג המספרי: קישור
נוריד מודל שפה (DictaLM)כעת צריך להוסיף את המודלים הללו לollama :
ניצור קובץ בשם Modelfile ונכתוב בו את השורה הבאה:
FROM "C:\Users\sivan22\Downloads\dictalm2.0-instruct.Q4_K_M.gguf"כמובן שנחליף את הנתיב בנתיב המדוייק לקובץ שהורדנו מקודם.
נריץ בשורת פקודה את השורה הבאה:
ollama create dictaLM -f Modelfileכמובן שצריך לספק את המיקום המדוייק של הקובץ בשם Modelfile שיצרנו לעיל. (כלומר במקום Modelfile אפשר לכתוב "C:\Users\sivna22\Downloads\Modelfile")
נעשה אותו הדבר למודל השני:
FROM "C:\Users\sivan22\Downloads\multilingual-e5-large-instruct-q4_k.gguf"ollama create e5 -f Modelfileבתוכנה שלנו, נוסיף את המודלים הללו לפי הדוגמאות שלפנינו:
שלב 3 : העלאת קבצים
בכרטיסייה files נעלה את הקבצים וניצור להם אינדקס. (ייקח זמן עד שהם יופיעו בטבלה, כלומר שהעבודה הסתיימה):
שלב 4: צ'אט עם הקבצים שלנו
בכרטיסייה chat נסמן בצד באיזה קבצים אנו רוצים לחפש, ולאחר מכן פשוט נתחיל לשוחח עם הצ'אט אודות הקבצים:
-
שיחקתי קצת עם כלי מעניין, שמפשט עבורנו את העבודה של מה שנקרא היום RAG - Retrieval-Augmented Generation.
זה אולי שם מפוצץ אבל זה די פשוט, משתמשים בבינה מלאכותית כדי לענות על שאלות בנוגע לתוכן מסויים שאנו נותנים לו מראש. הדרך לעשות זאת היא באמצעות שני שלבים: ראשית לוקחים את המסמכים שאנו רוצים לחפש בהם ויוצרים להם אינדקס באמצעות בינה מלאכותית (חיפוש סמנטי. הסברים נוספים כאן.) לאחר מכן קולטים שאלה מהמשתמש, ומחפשים את המסמכים הכי דומים. אז המערכת לוקחת את המסמכים הללו ושולחת אותם יחד עם השאלה למודל שפה (כמו ChatGPT) ומתקבלת תשובה על סמך המסמכים הללו.
אז יש כלי שעושה בשבילנו את כל העבודה, מה שאנו צריכים זה רק להעלות לו מסמכים, לדוגמה PDF, קבצי וורד, וכו'. לחכות קצת בשביל האינדקס, ולאחר מכן לשאול שאלות בשפה חופשית.
ומה עם המנוע מאחורה? אז אם אנחנו מוכנים לשלם אז הדרך הקלה והקצרה ביותר היא להשתמש בו עם מפתח API של אחד המודלים בתשלום.
אבל אם אנחנו לא רוצים לשלם, אז אפשר בהחלט לעשות הכל על המחשב שלנו. וזה בהחלט יכול לעבוד גם בלי GPU אבל באיטיות.היופי של הכלי שהוא מציג בצד את המקורות של התשובה, וניתן מיד לבדוק את הדברים במקורם:
אם יש מי שמתעניין בזה, אני יכול לפרט יותר כיצד לחבר את המערכת למודל בתשלום, וכן כיצד ניתן לחבר אותה למודל מקומי על המחשב שלנו.
@sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
אבל אם אנחנו לא רוצים לשלם
וגם רוצים לשמור על הפרטיות שלנו...
@sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
@צדיק-וטוב-לו-0 אפשר או כך או כך, בענן זה כמובן מהיר יותר בהרבה. וגם הרבה יותר מדוייק.
אבל פחות פרטי.
ממש לא הייתי מעלה את כל הקבצים שלי לאיזו חברת ביגטק.
-
@sivan22 כשאני מנסה להגדיר את ההגדרה האחרונה הוא כותב לי
error Failed to create Embedding model e5: Failed to add model e5: (sqlite3.IntegrityError) UNIQUE constraint failed: embedding.name\n[SQL: INSERT INTO embedding (name, spec, "default") VALUES (?, ?, ?)]\n[parameters: (\'e5\', \'{"api_key": "ollama", "base_url": "http://localhost:11434/v1/", "model": "e5", "__type__": "kotaemon.embeddings.openai.OpenAIEmbeddings"}\', 1)]\n(Background on this error at: https://sqlalche.me/e/20/gkpj)איפה הבעיה
-
@sivan22 כשאני מנסה להגדיר את ההגדרה האחרונה הוא כותב לי
error Failed to create Embedding model e5: Failed to add model e5: (sqlite3.IntegrityError) UNIQUE constraint failed: embedding.name\n[SQL: INSERT INTO embedding (name, spec, "default") VALUES (?, ?, ?)]\n[parameters: (\'e5\', \'{"api_key": "ollama", "base_url": "http://localhost:11434/v1/", "model": "e5", "__type__": "kotaemon.embeddings.openai.OpenAIEmbeddings"}\', 1)]\n(Background on this error at: https://sqlalche.me/e/20/gkpj)איפה הבעיה
@דוד-משה-1 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
איפה הבעיה?
אולי כבר קיים מודל בשם הזה?
-
@דוד-משה-1 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
איפה הבעיה?
אולי כבר קיים מודל בשם הזה?
@sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
@דוד-משה-1 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:
איפה הבעיה?
אולי כבר קיים מודל בשם הזה?
ניסיתי לשנות למשהו אחר לא עזר
![חיפוש גוגל בפורום](javascript:{bootbox.prompt({title:'<div style="text-align: center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400"></div>',placeholder:'כתוב מילים לחיפוש ב Google',buttons:{confirm:{label:'חיפוש'},cancel:{label:'ביטול'}},backdrop:true,callback:function(result){if(result!=null&&result!=''){var a=document.createElement('a');a.href='https://www.google.co.il/search?q=site:mitmachim.top '+encodeURIComponent(result.trim());a.target='_blank';a.click();}}})();};){kind=link}