דילוג לתוכן
  • חוקי הפורום
  • פופולרי
  • לא נפתר
  • משתמשים
  • חיפוש גוגל בפורום
  • צור קשר
עיצובים
  • Light
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • Dark
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • ברירת מחדל (ללא עיצוב (ברירת מחדל))
  • ללא עיצוב (ברירת מחדל)
כיווץ
לוגו מותג
  1. דף הבית
  2. כללי - עזרה הדדית
  3. המלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך

המלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך

מתוזמן נעוץ נעול הועבר כללי - עזרה הדדית
118 פוסטים 31 כותבים 6.9k צפיות 30 עוקבים
  • מהישן לחדש
  • מהחדש לישן
  • הכי הרבה הצבעות
תגובה
  • תגובה כנושא
התחברו כדי לפרסם תגובה
נושא זה נמחק. רק משתמשים עם הרשאות מתאימות יוכלו לצפות בו.
  • sivan22S sivan22

    שיחקתי קצת עם כלי מעניין, שמפשט עבורנו את העבודה של מה שנקרא היום RAG - Retrieval-Augmented Generation.
    זה אולי שם מפוצץ אבל זה די פשוט, משתמשים בבינה מלאכותית כדי לענות על שאלות בנוגע לתוכן מסויים שאנו נותנים לו מראש. הדרך לעשות זאת היא באמצעות שני שלבים: ראשית לוקחים את המסמכים שאנו רוצים לחפש בהם ויוצרים להם אינדקס באמצעות בינה מלאכותית (חיפוש סמנטי. הסברים נוספים כאן.) לאחר מכן קולטים שאלה מהמשתמש, ומחפשים את המסמכים הכי דומים. אז המערכת לוקחת את המסמכים הללו ושולחת אותם יחד עם השאלה למודל שפה (כמו ChatGPT) ומתקבלת תשובה על סמך המסמכים הללו.
    אז יש כלי שעושה בשבילנו את כל העבודה, מה שאנו צריכים זה רק להעלות לו מסמכים, לדוגמה PDF, קבצי וורד, וכו'. לחכות קצת בשביל האינדקס, ולאחר מכן לשאול שאלות בשפה חופשית.
    ומה עם המנוע מאחורה? אז אם אנחנו מוכנים לשלם אז הדרך הקלה והקצרה ביותר היא להשתמש בו עם מפתח API של אחד המודלים בתשלום.
    אבל אם אנחנו לא רוצים לשלם, אז אפשר בהחלט לעשות הכל על המחשב שלנו. וזה בהחלט יכול לעבוד גם בלי GPU אבל באיטיות.

    היופי של הכלי שהוא מציג בצד את המקורות של התשובה, וניתן מיד לבדוק את הדברים במקורם:
    adee6360-e235-495c-a111-8d595b53ccc9-image.png

    הוראות התקנה ושימוש בסיסיים

    אם יש מי שמתעניין בזה, אני יכול לפרט יותר כיצד לחבר את המערכת למודל בתשלום, וכן כיצד ניתן לחבר אותה למודל מקומי על המחשב שלנו.

    M מנותק
    M מנותק
    mma
    כתב נערך לאחרונה על ידי
    #26

    @sivan22 איך משתמשים ויוצרים בענן?

    תגובה 1 תגובה אחרונה
    0
    • דוד משה 1ד דוד משה 1

      @א-מ-ד כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

      @דוד-משה-1 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

      הcmd מחזיר שגיעה @sivan22

      Will exit now...
      Deactivate conda environment at C:\not\kotaemon-app\install_dir\env
      Script completed successfully.
      Press any key to continue . . 
      

      @sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

      @ג-נרטיבי הפתרון הוא ליצור תיקייה ב:C בשם DEV ושם לעבוד.

      זה לא אותה שגיעה שהייתה מקודם תכלס לא עוזר @sivan22

      עם הצלחתי להבין נכון אז הבעייה היא במשתני סביבה ולא הבנתי עם אני צריך להסיר את המשתני סביבה של פיתון שמותקן לי מהתקייה הזו (ואם כן איך עושים את זה או סתם להוסיף את התקייה למשתני סביבה)

      י. פל.י מנותק
      י. פל.י מנותק
      י. פל.
      כתב נערך לאחרונה על ידי י. פל.
      #27

      @דוד-משה-1
      גם לי היו שגיאות, תתקין שוב את תעודת האבטחה של נטפרי.
      לחילופין, אתה יכול להתקין בPIP את החבילות הללו:

      Installing collected packages: text-unidecode, striprtf, pytz, pyreadline3, pypika, pydub, mpmath, monotonic, mmh3, flatbuffers, dirtyjson, zipp, wrapt, websockets, websocket-client, urllib3, ujson, uc-micro-py, tzdata, typing_extensions, types-python-dateutil, tomlkit, tomli, tenacity, tantivy, sympy, soupsieve, sniffio, six, shellingham, semantic-version, ruff, regex, pyyaml, python-slugify, python-multipart, python-dotenv, pyproject_hooks, pyparsing, PyMuPDFb, pygments, pybind11, pyasn1, py, psutil, protobuf, platformdirs, pillow, packaging, overrides, orjson, opentelemetry-util-http, oauthlib, numpy, networkx, nest-asyncio, mypy-extensions, mdurl, markupsafe, kiwisolver, jsonpointer, joblib, jiter, importlib-resources, idna, humanfriendly, httpx-sse, httptools, html2text, h11, grpcio, greenlet, fsspec, frozenlist, fonttools, filelock, ffmpy, fastavro, exceptiongroup, et-xmlfile, distro, diskcache, defusedxml, decorator, cycler, colorama, charset-normalizer, chardet, certifi, cachetools, bcrypt, backoff, attrs, async-timeout, annotated-types, aiohappyeyeballs, aiofiles, typing-inspect, types-requests, tqdm, theflow, SQLAlchemy, rsa, retrying, retry, requests, python-dateutil, pypdf, PyMuPDF, pydantic-core, pyasn1-modules, pyarrow, pyaml, plotly, opentelemetry-proto, openpyxl, multidict, marshmallow, markdown-it-py, linkify-it-py, jsonpatch, Jinja2, importlib-metadata, httpcore, googleapis-common-protos, fasttext-wheel, deprecation, deprecated, contourpy, colorlog, coloredlogs, click, chroma-hnswlib, build, binaryornot, beautifulsoup4, asgiref, anyio, aiosignal, yarl, watchfiles, uvicorn, tiktoken, starlette, robust-downloader, rich, requests-oauthlib, pylance, pydantic, posthog, pandas, opentelemetry-exporter-otlp-proto-common, opentelemetry-api, onnxruntime, nltk, mdit-py-plugins, matplotlib, huggingface-hub, httpx, google-auth, environs, dataclasses-json, arrow, typer, tokenizers, pymilvus, opentelemetry-semantic-conventions, opentelemetry-instrumentation, openai, llama-cloud, langsmith, lancedb, kubernetes, gradio-client, fastapi, fast-langdetect, cookiecutter, aiohttp, textual, opentelemetry-sdk, opentelemetry-instrumentation-asgi, llama-index-legacy, llama-index-core, langchain-core, gradio, cohere, anthropic, trogon, opentelemetry-instrumentation-fastapi, opentelemetry-exporter-otlp-proto-grpc, llama-parse, llama-index-vector-stores-milvus, llama-index-vector-stores-lancedb, llama-index-readers-file, llama-index-llms-openai, llama-index-indices-managed-llama-cloud, llama-index-embeddings-openai, langchain-text-splitters, langchain-openai, langchain-community, langchain-anthropic, llama-index-readers-llama-parse, llama-index-multi-modal-llms-openai, llama-index-cli, llama-index-agent-openai, langchain, chromadb, llama-index-vector-stores-chroma, llama-index-program-openai, llama-index-question-gen-openai, llama-index, llama-hub, kotaemon
      

      ככה:

      pip install text-unidecode striprtf pytz pyreadline3 pypika pydub mpmath monotonic mmh3 flatbuffers dirtyjson zipp wrapt websockets websocket-client urllib3 ujson uc-micro-py tzdata typing_extensions types-python-dateutil tomlkit tomli tenacity tantivy sympy soupsieve sniffio six shellingham semantic-version ruff regex pyyaml python-slugify python-multipart python-dotenv pyproject_hooks pyparsing PyMuPDFb pygments pybind11 pyasn1 py psutil protobuf platformdirs pillow packaging overrides orjson opentelemetry-util-http oauthlib numpy networkx nest-asyncio mypy-extensions mdurl markupsafe kiwisolver jsonpointer joblib jiter importlib-resources idna humanfriendly httpx-sse httptools html2text h11 grpcio greenlet fsspec frozenlist fonttools filelock ffmpy fastavro exceptiongroup et-xmlfile distro diskcache defusedxml decorator cycler colorama charset-normalizer chardet certifi cachetools bcrypt backoff attrs async-timeout annotated-types aiohappyeyeballs aiofiles typing-inspect types-requests tqdm theflow SQLAlchemy rsa retrying retry requests python-dateutil pypdf PyMuPDF pydantic-core pyasn1-modules pyarrow pyaml plotly opentelemetry-proto openpyxl multidict marshmallow markdown-it-py linkify-it-py jsonpatch Jinja2 importlib-metadata httpcore googleapis-common-protos fasttext-wheel deprecation deprecated contourpy colorlog coloredlogs click chroma-hnswlib build binaryornot beautifulsoup4 asgiref anyio aiosignal yarl watchfiles uvicorn tiktoken starlette robust-downloader rich requests-oauthlib pylance pydantic posthog pandas opentelemetry-exporter-otlp-proto-common opentelemetry-api onnxruntime nltk mdit-py-plugins matplotlib huggingface-hub httpx google-auth environs dataclasses-json arrow typer tokenizers pymilvus opentelemetry-semantic-conventions opentelemetry-instrumentation openai llama-cloud langsmith lancedb kubernetes gradio-client fastapi fast-langdetect cookiecutter aiohttp textual opentelemetry-sdk opentelemetry-instrumentation-asgi llama-index-legacy llama-index-core langchain-core gradio cohere anthropic trogon opentelemetry-instrumentation-fastapi opentelemetry-exporter-otlp-proto-grpc llama-parse llama-index-vector-stores-milvus llama-index-vector-stores-lancedb llama-index-readers-file llama-index-llms-openai llama-index-indices-managed-llama-cloud llama-index-embeddings-openai langchain-text-splitters langchain-openai langchain-community langchain-anthropic llama-index-readers-llama-parse llama-index-multi-modal-llms-openai llama-index-cli llama-index-agent-openai langchain chromadb llama-index-vector-stores-chroma llama-index-program-openai llama-index-question-gen-openai llama-index llama-hub kotaemon
      

      עריכה: נראה שזה מתקין עוד...

      תגובה 1 תגובה אחרונה
      0
      • י. פל.י מנותק
        י. פל.י מנותק
        י. פל.
        כתב נערך לאחרונה על ידי י. פל.
        #28

        תכל'ס, לאחר כל ההתקנות הגעתי לשגיאה נוספת, פתרתי אותה עם GPT [כלומר, הוא פתר אותה איתי...] ונתקעתי בשגיאת SSL נוספת, אשמח לעזרה:
        https://chatgpt.com/share/66e3fd2a-67cc-800f-9e66-deebc66fc916
        @sivan22

        תגובה 1 תגובה אחרונה
        0
        • א.מ.ד.א א.מ.ד.

          @sivan22 זה נפתח לי בדפדפן על הדף הזה:
          0c3fd127-5529-4855-8deb-6755cc50db0f-image.png

          והוא כותב על כל מה שאני ממלא "שם משתמש או סיסמא לא חוקיים". צריך להירשם לזה איפשהו?

          sivan22S מנותק
          sivan22S מנותק
          sivan22
          כתב נערך לאחרונה על ידי
          #29

          @א-מ-ד כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

          @sivan22 זה נפתח לי בדפדפן על הדף הזה:
          0c3fd127-5529-4855-8deb-6755cc50db0f-image.png

          והוא כותב על כל מה שאני ממלא "שם משתמש או סיסמא לא חוקיים". צריך להירשם לזה איפשהו?

          השם משתמש וגם הסיסמה זה admin

          sivan22S תגובה 1 תגובה אחרונה
          1
          • sivan22S sivan22

            @א-מ-ד כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

            @sivan22 זה נפתח לי בדפדפן על הדף הזה:
            0c3fd127-5529-4855-8deb-6755cc50db0f-image.png

            והוא כותב על כל מה שאני ממלא "שם משתמש או סיסמא לא חוקיים". צריך להירשם לזה איפשהו?

            השם משתמש וגם הסיסמה זה admin

            sivan22S מנותק
            sivan22S מנותק
            sivan22
            כתב נערך לאחרונה על ידי
            #30

            @sivan22 למשתמשי נטפרי צריך לפעול לפי שני המדריכים להלן:
            1
            2

            א א.מ.ד.א א 3 תגובות תגובה אחרונה
            1
            • sivan22S sivan22

              @sivan22 למשתמשי נטפרי צריך לפעול לפי שני המדריכים להלן:
              1
              2

              א מנותק
              א מנותק
              אהרן
              כתב נערך לאחרונה על ידי
              #31

              @sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

              @sivan22 למשתמשי נטפרי צריך לפעול לפי שני המדריכים להלן:
              1
              2

              אפשר הסבר בעברית מה למעשה לעשות מותאם לתוכנה הזו?

              צדיק תמיםצ תגובה 1 תגובה אחרונה
              0
              • א אהרן

                @sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

                @sivan22 למשתמשי נטפרי צריך לפעול לפי שני המדריכים להלן:
                1
                2

                אפשר הסבר בעברית מה למעשה לעשות מותאם לתוכנה הזו?

                צדיק תמיםצ מנותק
                צדיק תמיםצ מנותק
                צדיק תמים
                מדריכים
                כתב נערך לאחרונה על ידי
                #32

                @אהרן הקישורים שהוא שלח הם בעברית

                רוצה לזכור קריאת שמע בזמן? לחץ כאן! || אתר שכולו מדריכים

                א תגובה 1 תגובה אחרונה
                1
                • sivan22S sivan22

                  @sivan22 למשתמשי נטפרי צריך לפעול לפי שני המדריכים להלן:
                  1
                  2

                  א.מ.ד.א מחובר
                  א.מ.ד.א מחובר
                  א.מ.ד.
                  כתב נערך לאחרונה על ידי
                  #33

                  @sivan22 אין איזה שהוא API חינמי כמו של X או משהו כזה?

                  תגובה 1 תגובה אחרונה
                  0
                  • א אלף שין

                    @חיים-שנקר
                    אני מוסיף על הבקשה,
                    מחכים למישהוא שיקמפל את הכל יחד,
                    מי לא רוצה לחפש דברים לפי הראש שלו בהתבסס על דברים שכתב בעבר והביע בהם את דעתו....

                    צ מנותק
                    צ מנותק
                    צבי דורש ציון
                    כתב נערך לאחרונה על ידי
                    #34

                    @אלף-שין כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

                    אני מוסיף על הבקשה,
                    מחכים למישהוא שיקמפל את הכל יחד,
                    מי לא רוצה לחפש דברים לפי הראש שלו בהתבסס על דברים שכתב בעבר והביע בהם את דעתו....

                    תגובה 1 תגובה אחרונה
                    3
                    • צדיק תמיםצ צדיק תמים

                      @אהרן הקישורים שהוא שלח הם בעברית

                      א מנותק
                      א מנותק
                      אהרן
                      כתב נערך לאחרונה על ידי
                      #35

                      @צדיק-תמים כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

                      @אהרן הקישורים שהוא שלח הם בעברית

                      כמובן התכוונתי לפשט את ההסברים, כתוב שם שבפקודה זו להוסיף את זה ובזו את זה וכו', מה למעשה צריך לעשות בתוכנה הזו כדי להפעיל אותה בווינדוס בנטפרי?

                      תגובה 1 תגובה אחרונה
                      0
                      • sivan22S sivan22

                        @שליו

                        שלב 1: התקנת הכלי Kotaemon

                        נוריד את קובץ הזיפ מהגרסה האחרונה כאן: https://github.com/Cinnamon/kotaemon/releases/latest/

                        נחלץ את התוכן, ונריץ את הקובץ scripts/run_windows.bat כאשר המחשב מחובר לרשת.

                        ייפתח חלון שחור שבו רצות שורות של ההתקנה. לאחר שהיא מסתיימת ייפתח דפדפן שמבקש סיסמה. נכניס את המילה admin בשני השדות, ייפתח החלון הבא:
                        50f6af30-f217-4428-a49e-ac18a88914c2-image.png

                        שלב 2 (אפשרות א): הגדרת API בתשלום

                        יש להרשם כאן ולאחר מכן ליצור API KEY abd51670-c3c1-4d24-b081-5b240999937b-image.png
                        וכמובן נשמור אותו.

                        בתוכנה שלנו ניכנס לכרטיסייה resourced ותחת LLMS נבחר באפשרות ADD ונמלא את הפרטים הבאים:4c6966d1-d0f7-4eda-b440-a321086b540f-image.png

                        נלך לכרטיסייה הסמוכה embeddings ונמלא את הפרטים הבאים:
                        b5fd13e7-34e1-4e17-a9f4-2bae4dd022c3-image.png

                        שלב 2 (אפשרות ב): הגדרת מודל מקומי

                        נתקין את המוצר ollama
                        נוריד מודל בשביל הייצוג המספרי: קישור
                        נוריד מודל שפה (DictaLM)

                        כעת צריך להוסיף את המודלים הללו לollama :

                        ניצור קובץ בשם Modelfile ונכתוב בו את השורה הבאה:

                        FROM "C:\Users\sivan22\Downloads\dictalm2.0-instruct.Q4_K_M.gguf"
                        

                        כמובן שנחליף את הנתיב בנתיב המדוייק לקובץ שהורדנו מקודם.

                        נריץ בשורת פקודה את השורה הבאה:

                        ollama create dictaLM -f Modelfile
                        

                        כמובן שצריך לספק את המיקום המדוייק של הקובץ בשם Modelfile שיצרנו לעיל. (כלומר במקום Modelfile אפשר לכתוב "C:\Users\sivna22\Downloads\Modelfile")

                        נעשה אותו הדבר למודל השני:

                        FROM "C:\Users\sivan22\Downloads\multilingual-e5-large-instruct-q4_k.gguf"
                        
                        ollama create e5 -f Modelfile
                        

                        בתוכנה שלנו, נוסיף את המודלים הללו לפי הדוגמאות שלפנינו:
                        77ca66bd-da32-4b5e-9575-226585a633f3-image.png
                        8bc1c3a4-be05-45a8-bd6b-3c763b45b44e-image.png

                        שלב 3 : העלאת קבצים

                        בכרטיסייה files נעלה את הקבצים וניצור להם אינדקס. (ייקח זמן עד שהם יופיעו בטבלה, כלומר שהעבודה הסתיימה):
                        adfe168d-63ed-4a59-a2b9-c223dc9b68c1-image.png
                        3efcbb56-61d8-4eb9-86b9-8a7d9816a50c-image.png

                        שלב 4: צ'אט עם הקבצים שלנו

                        בכרטיסייה chat נסמן בצד באיזה קבצים אנו רוצים לחפש, ולאחר מכן פשוט נתחיל לשוחח עם הצ'אט אודות הקבצים:
                        de3de31a-00cc-4d16-976f-07de406c52e9-image.png

                        דוד משה 1ד מנותק
                        דוד משה 1ד מנותק
                        דוד משה 1
                        כתב נערך לאחרונה על ידי
                        #36

                        @sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

                        נעשה אותו הדבר למודל השני:

                        באותו קובץ או בקובץ אחר

                        תגובה 1 תגובה אחרונה
                        0
                        • sivan22S sivan22

                          שיחקתי קצת עם כלי מעניין, שמפשט עבורנו את העבודה של מה שנקרא היום RAG - Retrieval-Augmented Generation.
                          זה אולי שם מפוצץ אבל זה די פשוט, משתמשים בבינה מלאכותית כדי לענות על שאלות בנוגע לתוכן מסויים שאנו נותנים לו מראש. הדרך לעשות זאת היא באמצעות שני שלבים: ראשית לוקחים את המסמכים שאנו רוצים לחפש בהם ויוצרים להם אינדקס באמצעות בינה מלאכותית (חיפוש סמנטי. הסברים נוספים כאן.) לאחר מכן קולטים שאלה מהמשתמש, ומחפשים את המסמכים הכי דומים. אז המערכת לוקחת את המסמכים הללו ושולחת אותם יחד עם השאלה למודל שפה (כמו ChatGPT) ומתקבלת תשובה על סמך המסמכים הללו.
                          אז יש כלי שעושה בשבילנו את כל העבודה, מה שאנו צריכים זה רק להעלות לו מסמכים, לדוגמה PDF, קבצי וורד, וכו'. לחכות קצת בשביל האינדקס, ולאחר מכן לשאול שאלות בשפה חופשית.
                          ומה עם המנוע מאחורה? אז אם אנחנו מוכנים לשלם אז הדרך הקלה והקצרה ביותר היא להשתמש בו עם מפתח API של אחד המודלים בתשלום.
                          אבל אם אנחנו לא רוצים לשלם, אז אפשר בהחלט לעשות הכל על המחשב שלנו. וזה בהחלט יכול לעבוד גם בלי GPU אבל באיטיות.

                          היופי של הכלי שהוא מציג בצד את המקורות של התשובה, וניתן מיד לבדוק את הדברים במקורם:
                          adee6360-e235-495c-a111-8d595b53ccc9-image.png

                          הוראות התקנה ושימוש בסיסיים

                          אם יש מי שמתעניין בזה, אני יכול לפרט יותר כיצד לחבר את המערכת למודל בתשלום, וכן כיצד ניתן לחבר אותה למודל מקומי על המחשב שלנו.

                          מישהו12מ מנותק
                          מישהו12מ מנותק
                          מישהו12
                          מדריכים
                          כתב נערך לאחרונה על ידי
                          #37

                          @sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

                          אבל אם אנחנו לא רוצים לשלם

                          וגם רוצים לשמור על הפרטיות שלנו...

                          @sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

                          @צדיק-וטוב-לו-0 אפשר או כך או כך, בענן זה כמובן מהיר יותר בהרבה. וגם הרבה יותר מדוייק.

                          אבל פחות פרטי.

                          ממש לא הייתי מעלה את כל הקבצים שלי לאיזו חברת ביגטק.

                          הבלוג שלי
                          https://aiv-dev.com/he-IL/

                          תגובה 1 תגובה אחרונה
                          0
                          • דוד משה 1ד מנותק
                            דוד משה 1ד מנותק
                            דוד משה 1
                            כתב נערך לאחרונה על ידי
                            #38

                            @sivan22 כשאני מנסה להגדיר את ההגדרה האחרונה הוא כותב לי

                            error
                            Failed to create Embedding model e5: Failed to add model e5: (sqlite3.IntegrityError) UNIQUE constraint failed: embedding.name\n[SQL: INSERT INTO embedding (name, spec, "default") VALUES (?, ?, ?)]\n[parameters: (\'e5\', \'{"api_key": "ollama", "base_url": "http://localhost:11434/v1/", "model": "e5", "__type__": "kotaemon.embeddings.openai.OpenAIEmbeddings"}\', 1)]\n(Background on this error at: https://sqlalche.me/e/20/gkpj)
                            

                            איפה הבעיה

                            sivan22S תגובה 1 תגובה אחרונה
                            0
                            • דוד משה 1ד דוד משה 1

                              @sivan22 כשאני מנסה להגדיר את ההגדרה האחרונה הוא כותב לי

                              error
                              Failed to create Embedding model e5: Failed to add model e5: (sqlite3.IntegrityError) UNIQUE constraint failed: embedding.name\n[SQL: INSERT INTO embedding (name, spec, "default") VALUES (?, ?, ?)]\n[parameters: (\'e5\', \'{"api_key": "ollama", "base_url": "http://localhost:11434/v1/", "model": "e5", "__type__": "kotaemon.embeddings.openai.OpenAIEmbeddings"}\', 1)]\n(Background on this error at: https://sqlalche.me/e/20/gkpj)
                              

                              איפה הבעיה

                              sivan22S מנותק
                              sivan22S מנותק
                              sivan22
                              כתב נערך לאחרונה על ידי
                              #39

                              @דוד-משה-1 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

                              איפה הבעיה?

                              אולי כבר קיים מודל בשם הזה?

                              דוד משה 1ד א 2 תגובות תגובה אחרונה
                              1
                              • sivan22S sivan22

                                @דוד-משה-1 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

                                איפה הבעיה?

                                אולי כבר קיים מודל בשם הזה?

                                דוד משה 1ד מנותק
                                דוד משה 1ד מנותק
                                דוד משה 1
                                כתב נערך לאחרונה על ידי
                                #40

                                @sivan22 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

                                @דוד-משה-1 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

                                איפה הבעיה?

                                אולי כבר קיים מודל בשם הזה?

                                ניסיתי לשנות למשהו אחר לא עזר

                                תגובה 1 תגובה אחרונה
                                0
                                • sivan22S sivan22

                                  @דוד-משה-1 כתב בהמלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך:

                                  איפה הבעיה?

                                  אולי כבר קיים מודל בשם הזה?

                                  א מנותק
                                  א מנותק
                                  אלף שין
                                  כתב נערך לאחרונה על ידי
                                  #41

                                  @sivan22
                                  אין שום סיכוי שיהיה לך אופציה לקמפל הכל?

                                  כמו"כ האם כבודו מתכנן בקרוב לאנדקס את כלל ספרי אוצריא לAI הזה?

                                  sivan22S תגובה 1 תגובה אחרונה
                                  3
                                  • א אלף שין

                                    @sivan22
                                    אין שום סיכוי שיהיה לך אופציה לקמפל הכל?

                                    כמו"כ האם כבודו מתכנן בקרוב לאנדקס את כלל ספרי אוצריא לAI הזה?

                                    sivan22S מנותק
                                    sivan22S מנותק
                                    sivan22
                                    כתב נערך לאחרונה על ידי
                                    #42

                                    @אלף-שין אולי מתי שהוא אני אצור docker שיכלול הכל. בינתיים אני עדיין בודק את הכלי.
                                    לגבי אוצריא ברור שזה הכיוון, אבל אני עדיין לא שם.

                                    א תגובה 1 תגובה אחרונה
                                    6
                                    • sivan22S sivan22

                                      שיחקתי קצת עם כלי מעניין, שמפשט עבורנו את העבודה של מה שנקרא היום RAG - Retrieval-Augmented Generation.
                                      זה אולי שם מפוצץ אבל זה די פשוט, משתמשים בבינה מלאכותית כדי לענות על שאלות בנוגע לתוכן מסויים שאנו נותנים לו מראש. הדרך לעשות זאת היא באמצעות שני שלבים: ראשית לוקחים את המסמכים שאנו רוצים לחפש בהם ויוצרים להם אינדקס באמצעות בינה מלאכותית (חיפוש סמנטי. הסברים נוספים כאן.) לאחר מכן קולטים שאלה מהמשתמש, ומחפשים את המסמכים הכי דומים. אז המערכת לוקחת את המסמכים הללו ושולחת אותם יחד עם השאלה למודל שפה (כמו ChatGPT) ומתקבלת תשובה על סמך המסמכים הללו.
                                      אז יש כלי שעושה בשבילנו את כל העבודה, מה שאנו צריכים זה רק להעלות לו מסמכים, לדוגמה PDF, קבצי וורד, וכו'. לחכות קצת בשביל האינדקס, ולאחר מכן לשאול שאלות בשפה חופשית.
                                      ומה עם המנוע מאחורה? אז אם אנחנו מוכנים לשלם אז הדרך הקלה והקצרה ביותר היא להשתמש בו עם מפתח API של אחד המודלים בתשלום.
                                      אבל אם אנחנו לא רוצים לשלם, אז אפשר בהחלט לעשות הכל על המחשב שלנו. וזה בהחלט יכול לעבוד גם בלי GPU אבל באיטיות.

                                      היופי של הכלי שהוא מציג בצד את המקורות של התשובה, וניתן מיד לבדוק את הדברים במקורם:
                                      adee6360-e235-495c-a111-8d595b53ccc9-image.png

                                      הוראות התקנה ושימוש בסיסיים

                                      אם יש מי שמתעניין בזה, אני יכול לפרט יותר כיצד לחבר את המערכת למודל בתשלום, וכן כיצד ניתן לחבר אותה למודל מקומי על המחשב שלנו.

                                      I מנותק
                                      I מנותק
                                      ivrפון
                                      כתב נערך לאחרונה על ידי
                                      #43

                                      @sivan22 האם אני יכול להתקן את המודול על השרת שלי ולשים לו נניח קבצי מידע על האתר
                                      כמובן שיש לי KEY [של openai]
                                      ושיהיה לי צאט מידע על אתר האינטרנט?

                                      sivan22S תגובה 1 תגובה אחרונה
                                      0
                                      • sivan22S sivan22

                                        @אלף-שין אולי מתי שהוא אני אצור docker שיכלול הכל. בינתיים אני עדיין בודק את הכלי.
                                        לגבי אוצריא ברור שזה הכיוון, אבל אני עדיין לא שם.

                                        א מנותק
                                        א מנותק
                                        איש שלו'
                                        כתב נערך לאחרונה על ידי איש שלו'
                                        #44

                                        @sivan22
                                        אם בבינה מלאכותית עסקינן, ובאופן הרצתה על כתבים תורניים.
                                        אשאלה נא:

                                        א. לגבי דיון עם בינה מלאכותית על עצם התוכן התורני - מעיקרא אינני מאמין כ"כ ביכולת של המחשב לדייק ולהעלות מסקנות אמינות ומדוייקות. כך שבלא"ה יצטרכו לעמול בתורה עצמה וכו' [תקן אותי אם לדעתך אני טועה].

                                        ב. לגבי מציאת מקורות ומראי מקומות - ראיתי את העבודה שלך ב'חיפוש תורני', ונראה שעדיין הונחה לך בקעה רחבה לגדור... [כוונתי שעשית כמובן עבודה גדולה, אבל כדי שיהיה בכלי הזה תועלת יותר מאשר חיפוש בבר אילן - צריך שהוא יהיה מאוד מדוייק וממוקד].

                                        ג. דוקא במישור אחר היה נראה לי שיכולה להיות תועלת עצומה ונפלאה בבינה מלאכותית, אם יהיה אפשר לשאול שאלות ניתוח רוחביות. כגון:
                                        (א) האם ניתן למצוא מקומות בהם חכם פלוני [למשל הרמח"ל, שברוב ספריו מצטט מקראות ודברי חז"ל] מביא מדברי ראשונים / אחרונים ?
                                        [ב] האם יש מן החכמים הקדמונים שהעמידו עיקר האמונה וידיעת הנהגת ה' על גילוי הייחוד [כמו הרמח"ל]?
                                        [ג] מי מחכמי ישראל [בתקופה מסויימת / באיזור מסויים] עסק בענין זה וזה...
                                        [ד] היכן אפשר למצוא תשובות סדורות על השאלה בדבר כו'

                                        וכמו כן - ניתוח טקסטים ברמה פרטנית:
                                        [ה] באילו פסוקים /פרשות מצאנו מושג החוזר על עצמו כמה פעמים?
                                        [ו] היכן בתורה נביאים וכתובים מתבאר ענין מסויים?
                                        [ז] היכן מצינו פסוקים או נבואות מקבילות בכמה ספרים?
                                        [ח] האם נזכר במקרא ענין מסויים לפני דור מסויים?
                                        [ט] ואפילו - היכן מצינו בכתובים ביטוי לשוני או שורש דקדוקי המשמש לדבר והיפוכו?
                                        [י] אלו פרקים בתנ"ך מסודרים לפי א"ב, ובאילו נמצא חריגות מן הסדר [נ' החסרה באשרי, חילוף פ' וע' באיכה וכיו"ב]?

                                        או שאלות כמו:
                                        [יא] האם ישנן סוגיות בהן הגמ' נשארת בקושיה, ובסוגיה מקבילה בה הקושיה מתורצת?
                                        [יב] מה הם כל המקומות בהם חכם הורה הלכה מסויימת ולאחר מכן חזר בו מכח קושיה או מכח התבררות המציאות?
                                        [יג] היכן מצינו שלמדים הלכה ממקרה שאירע קודם למתן תורה?
                                        [יד] סיכום שמות צאצאי יעקב והשוואתם בין המקומות השונים.
                                        [טו] סיכום גבולות הארץ בג' וד' מקומות ההבטחה, מציאת ההקבלה וההבדלה בין שמות המקומות הנזכרים בגבולות הארץ לבין מקומות הנזכרים בפרשות אחרות.

                                        וכמובן עוד ועוד ועוד כפי יד' ה' הטובה על כל לומד ולומד...

                                        כמדומה שזה יהיה כלי אדיר לעיון ומחקר תורני אמיתי ויסודי.

                                        האם זה חזון רחוק ?

                                        NH.LOCALN תגובה 1 תגובה אחרונה
                                        2
                                        • א איש שלו'

                                          @sivan22
                                          אם בבינה מלאכותית עסקינן, ובאופן הרצתה על כתבים תורניים.
                                          אשאלה נא:

                                          א. לגבי דיון עם בינה מלאכותית על עצם התוכן התורני - מעיקרא אינני מאמין כ"כ ביכולת של המחשב לדייק ולהעלות מסקנות אמינות ומדוייקות. כך שבלא"ה יצטרכו לעמול בתורה עצמה וכו' [תקן אותי אם לדעתך אני טועה].

                                          ב. לגבי מציאת מקורות ומראי מקומות - ראיתי את העבודה שלך ב'חיפוש תורני', ונראה שעדיין הונחה לך בקעה רחבה לגדור... [כוונתי שעשית כמובן עבודה גדולה, אבל כדי שיהיה בכלי הזה תועלת יותר מאשר חיפוש בבר אילן - צריך שהוא יהיה מאוד מדוייק וממוקד].

                                          ג. דוקא במישור אחר היה נראה לי שיכולה להיות תועלת עצומה ונפלאה בבינה מלאכותית, אם יהיה אפשר לשאול שאלות ניתוח רוחביות. כגון:
                                          (א) האם ניתן למצוא מקומות בהם חכם פלוני [למשל הרמח"ל, שברוב ספריו מצטט מקראות ודברי חז"ל] מביא מדברי ראשונים / אחרונים ?
                                          [ב] האם יש מן החכמים הקדמונים שהעמידו עיקר האמונה וידיעת הנהגת ה' על גילוי הייחוד [כמו הרמח"ל]?
                                          [ג] מי מחכמי ישראל [בתקופה מסויימת / באיזור מסויים] עסק בענין זה וזה...
                                          [ד] היכן אפשר למצוא תשובות סדורות על השאלה בדבר כו'

                                          וכמו כן - ניתוח טקסטים ברמה פרטנית:
                                          [ה] באילו פסוקים /פרשות מצאנו מושג החוזר על עצמו כמה פעמים?
                                          [ו] היכן בתורה נביאים וכתובים מתבאר ענין מסויים?
                                          [ז] היכן מצינו פסוקים או נבואות מקבילות בכמה ספרים?
                                          [ח] האם נזכר במקרא ענין מסויים לפני דור מסויים?
                                          [ט] ואפילו - היכן מצינו בכתובים ביטוי לשוני או שורש דקדוקי המשמש לדבר והיפוכו?
                                          [י] אלו פרקים בתנ"ך מסודרים לפי א"ב, ובאילו נמצא חריגות מן הסדר [נ' החסרה באשרי, חילוף פ' וע' באיכה וכיו"ב]?

                                          או שאלות כמו:
                                          [יא] האם ישנן סוגיות בהן הגמ' נשארת בקושיה, ובסוגיה מקבילה בה הקושיה מתורצת?
                                          [יב] מה הם כל המקומות בהם חכם הורה הלכה מסויימת ולאחר מכן חזר בו מכח קושיה או מכח התבררות המציאות?
                                          [יג] היכן מצינו שלמדים הלכה ממקרה שאירע קודם למתן תורה?
                                          [יד] סיכום שמות צאצאי יעקב והשוואתם בין המקומות השונים.
                                          [טו] סיכום גבולות הארץ בג' וד' מקומות ההבטחה, מציאת ההקבלה וההבדלה בין שמות המקומות הנזכרים בגבולות הארץ לבין מקומות הנזכרים בפרשות אחרות.

                                          וכמובן עוד ועוד ועוד כפי יד' ה' הטובה על כל לומד ולומד...

                                          כמדומה שזה יהיה כלי אדיר לעיון ומחקר תורני אמיתי ויסודי.

                                          האם זה חזון רחוק ?

                                          NH.LOCALN מנותק
                                          NH.LOCALN מנותק
                                          NH.LOCAL
                                          מדריכים
                                          כתב נערך לאחרונה על ידי
                                          #45

                                          @איש-שלו סעיף ג' כבר זמין תקופה ארוכה דרך צ'אט gpt. זה כמובן לא מושלם כלל, ולא מדויק במאה אחוז, אבל הוא בהחלט יכול לענות על חלק ניכר מהשאלות שהצגת.

                                          לתוכנה ספרים תורנית זה פחות נצרך, בהתחשב בעובדה שלמודל המקורי יש הרבה יותר מידע ממה שנמצא בתוכנה. אם יאמנו או יחברו מודל שכזה לכל המידע באוצר החכמה זו אכן תהיה בשורה

                                          לאינדקס המלא של כלל הסקריפטים שלי
                                          https://nhlocal.github.io

                                          א תגובה 1 תגובה אחרונה
                                          0

                                          • התחברות

                                          • אין לך חשבון עדיין? הרשמה

                                          • התחברו או הירשמו כדי לחפש.
                                          • פוסט ראשון
                                            פוסט אחרון
                                          0
                                          • חוקי הפורום
                                          • פופולרי
                                          • לא נפתר
                                          • משתמשים
                                          • חיפוש גוגל בפורום
                                          • צור קשר