המלצה | חיפוש הלכתי חכם (AI)

@sivan22 כתב בהמלצה | חיפוש הלכתי חכם (AI):

אני אולי אעשה space שאפשר להעלות אליו קובץ, ליצור לו ייצוגים מספריים ולחפש בהם.

הכי טוב!! אם זה בקלות אדרבה ואדרבה, מאמין שזה יעזור לי ולרבים!
תעדכן אם זה בתוכנית בזמן הקרוב...

זה מוכן: https://huggingface.co/spaces/sivan22/Semantic-Search-upload-your-file

תתאזר בסבלנות ליצירת הייצוג המספרי, זה יכול לקחת הרבה זמן (זה רץ בענן חינמי בלי GPU)

aiib

@sivan22 יש מצב ליצור כזה פרטי שלא כל אחד יוכל לגשת?
עריכה: הכי טוב שיהיה אפשרות למשהו קבוע כמו שאתה עשית לילקוט יוסף.
אבל אני כבר מגזים עם הדרישות...

sivan22

@aiib כתב בהמלצה | חיפוש הלכתי חכם (AI):

@sivan22 יש מצב ליצור כזה פרטי שלא כל אחד יוכל לגשת?

אפשר באותו אתר, אבל בתשלום (חינם זה רק ציבורי).

עריכה: הכי טוב שיהיה אפשרות למשהו קבוע כמו שאתה עשית לילקוט יוסף.

וכמובן שאתה יכול ליצור פעם אחת את הייצוגים ולשמור אותם בענן, וכל פעם להוריד אותם מוכנים.

היום זה ממש שווה ללמוד פייתון, ובפרט את הספריות: pandas, transformers, וdatasets.

aiib

@sivan22 כתב בהמלצה | חיפוש הלכתי חכם (AI):

@aiib כתב בהמלצה | חיפוש הלכתי חכם (AI):

@sivan22 יש מצב ליצור כזה פרטי שלא כל אחד יוכל לגשת?

אפשר באותו אתר, אבל בתשלום (חינם זה רק ציבורי).

אתה בטוח? כי גם כשבחרתי מצב חינם הוא נתן לי אופציה של פרטי. ככה נראה לי...

עריכה: הכי טוב שיהיה אפשרות למשהו קבוע כמו שאתה עשית לילקוט יוסף.

וכמובן שאתה יכול ליצור פעם אחת את הייצוגים ולשמור אותם בענן, וכל פעם להוריד אותם מוכנים.

אני מתכוון ליצור ספייס שמיועד לחיפוש בספר פלוני [כמו שאתה עשית עם הילקוט יוסף] ספציפי.

sivan22

@aiib אין שום בעיה, רק תצטרך קודם ליצור את הייצוגים ולשמור אותם בענן. מומלץ דרך ספריית datasets ושמירה בhuggingface_hub. מושגים שאם מעניין אותך בינה מלאכותית "למעיישה", אתה חייב לדעת.

aiib

@sivan22 אם אני מעלה ספר, עוד מישהו יכול לראות אותו?

aiib

@sivan22 כתב בהמלצה | חיפוש הלכתי חכם (AI):

אם כבר אתה מנסה ליצור ספייס, פשוט תשכפל את שלי:

אני מעלה קובץ טקסט [וורד הוא מסרב לקבל, אז המרתי לקובץ טקסט] ואני מקבל את השגיאה הבאה:

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe0 in position 0: invalid continuation byte
Traceback:
File "/usr/local/lib/python3.10/site-packages/streamlit/runtime/scriptrunner/script_runner.py", line 575, in _run_script
    self._session_state.on_script_will_rerun(
File "/usr/local/lib/python3.10/site-packages/streamlit/runtime/state/safe_session_state.py", line 65, in on_script_will_rerun
    self._state.on_script_will_rerun(latest_widget_states)
File "/usr/local/lib/python3.10/site-packages/streamlit/runtime/state/session_state.py", line 517, in on_script_will_rerun
    self._call_callbacks()
File "/usr/local/lib/python3.10/site-packages/streamlit/runtime/state/session_state.py", line 530, in _call_callbacks
    self._new_widget_state.call_callback(wid)
File "/usr/local/lib/python3.10/site-packages/streamlit/runtime/state/session_state.py", line 274, in call_callback
    callback(*args, **kwargs)
File "/home/user/app/app.py", line 105, in run
    df = get_df(uploaded_file)
File "/usr/local/lib/python3.10/site-packages/streamlit/runtime/caching/cache_utils.py", line 165, in wrapper
    return cached_func(*args, **kwargs)
File "/usr/local/lib/python3.10/site-packages/streamlit/runtime/caching/cache_utils.py", line 194, in __call__
    return self._get_or_create_cached_value(args, kwargs)
File "/usr/local/lib/python3.10/site-packages/streamlit/runtime/caching/cache_utils.py", line 221, in _get_or_create_cached_value
    return self._handle_cache_miss(cache, value_key, func_args, func_kwargs)
File "/usr/local/lib/python3.10/site-packages/streamlit/runtime/caching/cache_utils.py", line 277, in _handle_cache_miss
    computed_value = self._info.func(*func_args, **func_kwargs)
File "/home/user/app/app.py", line 21, in get_df
    stringio = StringIO(uploaded_file.getvalue().decode("utf-8"))

sivan22

@aiib הקידוד של הקובץ צריך להיות UTF-8 אפשר לשנות את זה בקלות דרך פנקס רשימות->שמירה בשם.

sivan22

@aiib כתב בהמלצה | חיפוש הלכתי חכם (AI):

@sivan22 אם אני מעלה ספר, עוד מישהו יכול לראות אותו?

לא.

aiib

@sivan22 כתב בהמלצה | חיפוש הלכתי חכם (AI):

@aiib הקידוד של הקובץ צריך להיות UTF-8 אפשר לשנות את זה בקלות דרך פנקס רשימות->שמירה בשם.

זה עזר! הקובץ עלה.
אבל אחרי ריצה של איזה 20 דקות מקבל את השגיאה הבאה:

StreamlitAPIException: set_page_config() can only be called once per app page, and must be called as the first Streamlit command in your script.

For more information refer to the docs.

Traceback:
File "/home/user/app/app.py", line 137, in <module>
    run()
File "/home/user/app/app.py", line 87, in run
    st.set_page_config(

sivan22

@aiib כתב בהמלצה | חיפוש הלכתי חכם (AI):

@sivan22 כתב בהמלצה | חיפוש הלכתי חכם (AI):

@aiib הקידוד של הקובץ צריך להיות UTF-8 אפשר לשנות את זה בקלות דרך פנקס רשימות->שמירה בשם.

זה עזר! הקובץ עלה.
אבל אחרי ריצה של איזה 20 דקות מקבל את השגיאה הבאה:
StreamlitAPIException: set_page_config() can only be called once per app page, and must be called as the first Streamlit command in your script.

For more information refer to the docs.

Traceback:
File "/home/user/app/app.py", line 137, in <module>
    run()
File "/home/user/app/app.py", line 87, in run
    st.set_page_config(

שגיאה שלא מפריעה לעבודה התקינה.

aiib

@sivan22 ברשותך כמה שאלות
האם האינדקס נוצר ואני יכול לשמור אותו? א"כ איפה?
למה אצלי זה לא מחולק לפרקים וסעיפים כמו אצלך?

sivan22

@aiib כתב בהמלצה | חיפוש הלכתי חכם (AI):

@sivan22 ברשותך כמה שאלות
האם האינדקס נוצר ואני יכול לשמור אותו? א"כ איפה?
למה אצלי זה לא מחולק לפרקים וסעיפים כמו אצלך?

האינדקס (יותר נכון לומר הembeddings כלומר התיאור המספרי) לא נשמר בדיסק. אני ערכתי טבלה מחולקת לסימנים וסעיפים. כאן זה יותר אוניברסלי ומתאים לכל קובץ טקסט.