המלצה | חיפוש הלכתי חכם (AI)

יוסף3

בתור מי שמתענין בתחום, אבל לא ממש בקי בו,

אני תוהה האם אין דרך טובה יותר, בצורה הבאה:

לקחת מודל מתקדם, למשל GPT4o, ולהפעיל עליו מה שנקרא Fine-tuning,
על ידי חשיפתו לדרך הנכונה שצריך לענות, למשל לתת לו אלפי שאלות ותשובות של מבחני הרבנות הראשית בהלכה,
כך שיבין איך הוא אמור לענות.

וכמובן להוסיף לו גם הוראות מתאמות אישית על מה לענות ועל מה לא ואיך לענות, ושתמיד יביא את המקור לתשובה שלו, ואולי אפשר לחבר זאת למשהו כמו ספריא/אוצריה שתמיד יביא לך את הציטוט המדוייק, וכדו'

אשמח לשמוע את דעתך על כיוון המחשבה שלי.

תודה

aiib

@יוסף3 כתב בהמלצה | חיפוש הלכתי חכם (AI):

בתור מי שמתענין בתחום, אבל לא ממש בקי בו,

אני תוהה האם אין דרך טובה יותר, בצורה הבאה:

לקחת מודל מתקדם, למשל GPT4o, ולהפעיל עליו מה שנקרא Fine-tuning,

בתור מי שמתעניין בתחום אבל לא ממש בקי בו, יש דרך לכוונן בכלל את GPT?

יוסף3

@aiib

https://platform.openai.com/docs/guides/fine-tuning

aiib

@יוסף3 מעניין. לא כתוב שם כמה זה יעלה. וגם על GPT4o לכאורה לא ניתן לעשות כיוונון

sivan22

@יוסף3 כתב בהמלצה | חיפוש הלכתי חכם (AI):

@sivan22

בתור מי שמתענין בתחום, אבל לא ממש בקי בו,

אני תוהה האם אין דרך טובה יותר, בצורה הבאה:

לקחת מודל מתקדם, למשל GPT4o, ולהפעיל עליו מה שנקרא Fine-tuning,
על ידי חשיפתו לדרך הנכונה שצריך לענות, למשל לתת לו אלפי שאלות ותשובות של מבחני הרבנות הראשית בהלכה,
כך שיבין איך הוא אמור לענות.

וכמובן להוסיף לו גם הוראות מתאמות אישית על מה לענות ועל מה לא ואיך לענות, ושתמיד יביא את המקור לתשובה שלו, ואולי אפשר לחבר זאת למשהו כמו ספריא/אוצריה שתמיד יביא לך את הציטוט המדוייק, וכדו'

אשמח לשמוע את דעתך על כיוון המחשבה שלי.

תודה

ברור שבעקרון זה יהיה יותר מוצלח, אבל מדובר בסדר גודל אחר לגמרי של פרוייקט, לא בתקציב של מפתח בודד, וכנראה גם לא של חברה קטנה או בינונית. כמו כן כמות הנתונים הנדרשת היא הרבה יותר גדולה ממה שתיארת, ואלפי שאלות זה לא ממש מספיק, צריך עשרות אלפי שאלות.
לכן פרוייקט שמשתמש במודל כמות שהוא ורק מביא לו את הנתונים ומצווה עליו להיצמד אליהם, הרבה יותר רלווונטי. (זה נקרא בשפה מקצועית RAG)

יוסף3

@sivan22
תודה על התגובה!

aiib

@sivan22 זה דבר שכל אחד יכול לעשות? [מבחינת ידע ואמצעים?] א"כ יש אפשרות שתתן הדרכה איך אני יכול לעשות כזה דבר על ספר משלי?

אשמח!
תודה רבה

aiib

@sivan22 כתב בהמלצה | חיפוש הלכתי חכם (AI):

שימו לב שכדי להשתמש במודל שפה (שלב ב) צריך לספק לו מפתח API של openAI, ניתן להשיג אותו (בתשלום) באתר של openAI. אבל החיפוש הרגיל עובד לכולם.

יש להבנתי מודלים שנותנים API חינם, זה אפשרי להשתמש איתם או שזה מיועד רק עבור GPT?

sivan22

@aiib תיאורטית אפשר עם כל מודל (צריך קצת לשנות את הקוד, לא בשמים).

sivan22

@aiib כתב בהמלצה | חיפוש הלכתי חכם (AI):

@sivan22 זה דבר שכל אחד יכול לעשות? [מבחינת ידע ואמצעים?] א"כ יש אפשרות שתתן הדרכה איך אני יכול לעשות כזה דבר על ספר משלי?

אשמח!
תודה רבה

יחסית זה פשוט, והרבה יותר קל מלאמן מודל.

צריך קצת ידע בפייתון, ובפרט בספריית pandas כדי להפוך את הספר לטבלה שכל רשומה היא שורה (או קטע) בספר. אלא אם כן אתה רוצה לעשות את זה ידנית....

ואז הקוד הוא די פשוט, שוב פייתון, משהו כזה (בהנחה שיש לך קובץ אקסל שכל שורה היא קטע מהספר):

import pandas ad pd
df = pd.read_excel('הקובץ שלך'.xlsx)
from langchain_huggingface.embeddings import HuggingFaceEmbeddings
model_name = "intfloat/multilingual-e5-large"
model_kwargs = {'device': 'cpu'} # or 'cuda'
encode_kwargs = {'normalize_embeddings': False}
embeddings_model = HuggingFaceEmbeddings(
    model_name=model_name,
    model_kwargs=model_kwargs,
    encode_kwargs=encode_kwargs
)

df['embeddings'] =embeddings_model.embed_documents(df['text'].apply (lambda x: 'passage: ' + x ).to_list())

query = "בשבת ערב ראש חודש האם אומרים רצה או יעלה ויבוא"
queryEmbedd = embeddings_model.embed_query('query: '+query)

from sentence_transformers import util
df['similarity'] = df['embeddings'].apply(lambda x: util.cos_sim(x, queryEmbedd))
results = df.sort_values(by='similarity', ascending=False)
results

זהו. ב21 שורות סיימנו (כולל שורות ריקות).

קצת הסברים:
שורה 2 אנו לוקחים את הנתונים מהקובץ.
שורות 4-10 אנו מורידים מודל.
שורה 13 יוצרים את הייצוג המספרי עבור הנתונים.
שורות 15-16 יוצרים את הייצוג המספרי עבור השאילתה.
שורות 19-20 ממייינים את הנתונים לפי רמת הדימיון לשאילתה.
זהו. מציגים את התוצאה בשורה האחרונה.

aiib

@sivan22 כתב בהמלצה | חיפוש הלכתי חכם (AI):

צריך קצת ידע בפייתון, ובפרט בספריית pandas כדי להפוך את הספר לטבלה שכל רשומה היא שורה (או קטע) בספר. אלא אם כן אתה רוצה לעשות את זה ידנית....

מה הכוונה שורה? שורה ממש? שורה שהיא חלק ממשפט אחד? כמות מילים?

זהו. מציגים את התוצאה בשורה האחרונה.

ואיך עושים שזה יהיה יפה כמו אצלך באתר מסודר ומעוצב?

sivan22

@aiib אתה יכול להחליט לבד מה נקרא שורה, בספר עם סעיפים מתבקש שזה סעיף, אם זה ספר עם קטעים ארוכים אתה יכול להחליט שכל 20 מילים לדוגמה הם שורה.

בשביל שזה ייראה יפה צריך עוד קצת קוד פייתון, תוכל לראות את הקוד כאן: https://huggingface.co/spaces/sivan22/Halacha-semantic-search/blob/main/app.py

aiib

@sivan22 האמת היא שאני בבסיס צריך הדרכה...
יש מצב?

מה אני בוחר כאן?

sivan22

@aiib כתב בהמלצה | חיפוש הלכתי חכם (AI):

@sivan22 האמת היא שאני בבסיס צריך הדרכה...
יש מצב?

מה אני בוחר כאן?

אם כבר אתה מנסה ליצור ספייס, פשוט תשכפל את שלי:

אני אולי אעשה space שאפשר להעלות אליו קובץ, ליצור לו ייצוגים מספריים ולחפש בהם.

aiib

@sivan22 כתב בהמלצה | חיפוש הלכתי חכם (AI):

אני אולי אעשה space שאפשר להעלות אליו קובץ, ליצור לו ייצוגים מספריים ולחפש בהם.

הכי טוב!! אם זה בקלות אדרבה ואדרבה, מאמין שזה יעזור לי ולרבים!
תעדכן אם זה בתוכנית בזמן הקרוב...

אהרן

@sivan22 יש אפשרות להוריד את זה למחשב?

דאנציג

@אהרן כתב בהמלצה | חיפוש הלכתי חכם (AI):

יש אפשרות להוריד את זה למחשב?

עיין כאן https://mitmachim.top/post/771276

דוד משה 1

@דאנציג כתב בהמלצה | חיפוש הלכתי חכם (AI):

עיין כאן

זה למודל הקודם

sivan22

@aiib כתב בהמלצה | חיפוש הלכתי חכם (AI):

@sivan22 כתב בהמלצה | חיפוש הלכתי חכם (AI):

אני אולי אעשה space שאפשר להעלות אליו קובץ, ליצור לו ייצוגים מספריים ולחפש בהם.

הכי טוב!! אם זה בקלות אדרבה ואדרבה, מאמין שזה יעזור לי ולרבים!
תעדכן אם זה בתוכנית בזמן הקרוב...

זה מוכן: https://huggingface.co/spaces/sivan22/Semantic-Search-upload-your-file

תתאזר בסבלנות ליצירת הייצוג המספרי, זה יכול לקחת הרבה זמן (זה רץ בענן חינמי בלי GPU)

aiib

@sivan22 יש מצב ליצור כזה פרטי שלא כל אחד יוכל לגשת?
עריכה: הכי טוב שיהיה אפשרות למשהו קבוע כמו שאתה עשית לילקוט יוסף.
אבל אני כבר מגזים עם הדרישות...