שיתוף | אימון מודל לזיהוי הנושא ההלכתי

MAKRO

@sivan22
בהחלט הוא (אתה!) מתקדם
הממשק כבר ממש נראה יפה!
והצגת הציטוטים שדרוג רציני! והרבה יותר תועלתי שרואים את התוצאות מיד
במודל הקודם פשוט פתחתי אחד אחד
בשלב הבא לחיצה על הטקסט תפתח את המקור...

MAKRO

@sivan22
"טלית פסולה כבוד הבריות" תוצאה מדויקת - רביעית
וזה המילים של השו"ע כמעט מילה במילה
"ציצית פסולה כבוד הבריות" תוצאה מדויקת - שניה
ואין שם את המילה "ציצית"

לא לנסות להבין אותו....

הצעת ייעול קטנה אם היא אפשרית:
שלחיצה על אנטר תאשר את חיפוש, ולא יהיה צורך ללחוץ עם העכבר על "חפש"

sivan22

@MAKRO ניסיתי "טלית פסולה צריך להוריד מיד או שיש כבוד הבריות" וקיבלתי תוצאה ראשונה. נראה לי שהוא מתקשה יותר בשאלות קצרות, כי כל המשפט מסייע לו להבין את המשקל של כל מילה (לעומת החיפוש המקובל היום לפי מילות מפתח שמחפש את הדימיון לפי מילה ולא לפי משמעות), וגם בגלל שהוא התאמן על קטעים ארוכים יותר (המפרשים), כבר כתבתי שאני מקווה שאחרי אימון על מאגר של שאלות, הוא ישתפר עוד.

לא לנסות להבין אותו...

לגבי התמיהה שלך, זה שוב בגלל שהוא לא עובד לפי מילה אלא לפי הקשר, וכנראה שהוא ראה יותר פעמים את המילה ציצית בהקשר שעוזר לו להבין למה התכוונת, מאשר את המילה טלית. (כי למעשה גם אם לא היה כתוב בכלל את המילה טלית יכול להיות שהוא היה מוצא את זה לפי שאר המשפט שגורם לכך שמובן מאליו שמדברים על טלית)

י. פל.

@sivan22 כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:

אני עובד על גירסה לא מקוונת.

אז אין כרגע??

@טכנופוב כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:

ניסיתי להוריד לשימוש לא מקוון וזה מה שהוא כותב לי

אז יש כרגע???

@sivan22 כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:

יש להוריד מחדש.

אז יש כרגע!
איך מורידים?

טכנופוב

@י-פל יש אפשרות להוריד לשימוש לא מקוון אבל צריך לזה אינטרנט בשביל ההורדה בפעם הראשונה,
בגיטהאב יש הוראות להתקנה אבל זה לא מדוייק
ולהלן ההוראות:
דבר ראשון צריך להתקין פייתון וגיט

תריץ את הפקודה הזו

pip install streamlit

(@sivan22 שים לב שכתבת בטעות pip intall sreamlit)

תריץ את הפקודה הזו

git clone https://github.com/Sivan22/halacha-classification.git

אם זה מחזיר שגיאה בסיגנון Cloning into 'halacha-classification'...
fatal: unable to access 'https://github.com/Sivan22/halacha-classification.git/': SSL certificate problem: unable to get local issuer certificate תריץ את הפקודה הזו

git config --global http.sslVerify false

ותחזור שוב על שלב 2, ואחרי שהוא גומר לרוץ תריץ שוב

git config --global http.sslVerify true

תריץ

cd halacha-classification

ובסוף תריץ

streamlit run App.py

אני עשיתי את זה וזה עובד לי אופליין,
קרדיט @sivan22 וchatGPT

י. פל.

הצלחתי הכל, חוץ מ:
???

@טכנופוב @sivan22 ???

י. פל.

@sivan22 @טכנופוב
זה מה שכתוב בגוף הצילו"מ:

File "C:\Users\user\AppData\Local\Programs\Python\Python312\Lib\site-packages\streamlit\runtime\scriptrunner\script_runner.py", line 534, in _run_script
    exec(code, module.__dict__)
File "C:\Users\user\halacha-classification\App.py", line 3, in <module>
    from transformers import  pipeline

NH.LOCAL

@י-פל כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:

הצלחתי הכל, חוץ מ...

אתה צריך להוריד את החבילה transformers
תשתמש בפקודה:

pip install transformers

י. פל.

@NH-LOCAL כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:

אתה צריך להוריד את החבילה transformers
תשתמש בפקודה:

pip install transformers

צודק, עשיתי חיפוש והורדתי...
לא הספקתי למחוק...
תודה בכל אופן!

אהרן

@טכנופוב זה תופס מקום בראם או רק בזמן השימוש [פייתון מותקן אצלי בכל מקרה, גיט אצטרך להתקין במיוחד].

sivan22

שיניתי קצת:

git clone https://github.com/Sivan22/halacha-classification.git
cd halacha-classification
pip install -r requirements.txt
streamlit run App.py

לחילופין אפשר להריץ את run.bat

sivan22

הוספתי אפשרות למשוב (פידבק) על התוצאות, אשמח אם תעזרו למודל להשתפר!

נ.ב. למען הפרטיות, התוצאות נשמרות רק אם לחצתם על "אישור".

דאנציג

@טכנופוב כתב בשיתוף | אימון מודל לזיהוי הנושא ההלכתי:

תריץ את הפקודה הזו
pip install streamlit

ניסיתי, ונכתב לי:
''pip'' is not recognized as an internal or external command,
operable program or batch file.

האדם החושב

@דאנציג מותקן לך python ו pip?
אם כן יתכן שלא הוספת אותם למשתני הסביבה.

דאנציג

@האדם-החושב
@י-פל כתב לי את זה בפרטי, ובאמת הסתדר הענין הזה, אבל כעת אני נמצא בישורת האחרונה, ולא מסתדר לי:

streamlit run App.py
'streamlit' is not recognized as an internal or external command,
operable program or batch file.

התקנתי את PY עם כולל סימון Add Python 3.7 to PATH, ובכל זאת...

עריכה:
האם את PIP צריך להוסיף בנפרד למשתני הסביבה?

צדיק תמים

@דאנציג השגיאה היא שהתוכנה streamlit לא מותקנת
האם הרצת קודם בהצלחה את הפקודה pip install streamlit?

דאנציג

@צדיק-תמים
כן!

דאנציג

@צדיק-תמים
מענין שכאשר כתבתי בפקודה:

python -m streamlit run C:\Users\user\Desktop\halacha-classification\App.py

זה כן מצא והוריד את המודל, אבל כעת הוא כותב לי:

FileNotFoundError: Directory sivan22/orach-chaim not found
Traceback:
File "C:\Users\user\AppData\Roaming\Python\Python311\site-packages\streamlit\runtime\scriptrunner\script_runner.py", line 542, in _run_script
    exec(code, module.__dict__)
File "C:\Users\user\Desktop\halacha-classification\App.py", line 65, in <module>
    run()
File "C:\Users\user\Desktop\halacha-classification\App.py", line 43, in run
    df = get_df()
         ^^^^^^^^
File "C:\Users\user\AppData\Roaming\Python\Python311\site-packages\streamlit\runtime\caching\cache_utils.py", line 210, in wrapper
    return cached_func(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\AppData\Roaming\Python\Python311\site-packages\streamlit\runtime\caching\cache_utils.py", line 239, in __call__
    return self._get_or_create_cached_value(args, kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\AppData\Roaming\Python\Python311\site-packages\streamlit\runtime\caching\cache_utils.py", line 266, in _get_or_create_cached_value
    return self._handle_cache_miss(cache, value_key, func_args, func_kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\AppData\Roaming\Python\Python311\site-packages\streamlit\runtime\caching\cache_utils.py", line 322, in _handle_cache_miss
    computed_value = self._info.func(*func_args, **func_kwargs)
                     ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\Desktop\halacha-classification\App.py", line 14, in get_df
    ds = datasets.load_from_disk('sivan22/orach-chaim')
         ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\user\AppData\Roaming\Python\Python311\site-packages\datasets\load.py", line 2663, in load_from_disk
    raise FileNotFoundError(f"Directory {dataset_path} not found")

עריכה:
@sivan22 @י-פל
הפתרון הוא לשנות את:

streamlit run app.py

ל:

python -m streamlit run app.py

וכך זה עובד אצלי נפלא.

יהודי צעיר

אני מנסה להבין, אשמח אם תעזרו לי,
האם אפשר להוריד למחשב אפליקציה שתחפש בשולחן ערוך בבינה מלאכותית בצורה לא מקוונת או שזה רק מקוון?
תודה

יהודי צעיר

אם זה אפשרי כמו שאני מבין מהפוסטים לעיל,
אם כן אני אשמח שמישהו יעלה לכאן קובץ זיפ עם הקבצים שצריך בשביל זה והוראות ברורות.
תודה
זה מאד מעניין אותי.