מדריך | מודלי חיפוש חכמים. בלי לחנוק את המחשב.

המלאך

כן AI זה לא בהכרח לחנוק את המחשב!!

מסתמא כל מתכנת פה מכיר את הבעיה הזו.
רוצים להטמיע AI בתוכנה בלי תלות באינטרנט או בAPI לא חינמי. אבל להוריד מודל LLM/SLM שלם סוחט את המחשב ודורש משאבים גבוהים.
אז הנה הפיתרון.
מסתבר שלא צריך מודל LLM/SLM שלם.
כן. יש מודלים ייעודיים לזה.
מודלי חיפוש סמנטי בסיסיים. כל מה שהם עושים זה לזהות (בלי להצויא פלט) ומודלי RAG (עם פלט).

שלב א': התקנת הספריות.

הקלידו את הפקודה הזו:

pip install sentence-transformers

שימו לב שכדאי להוסיף faiss-cpu אם יש לכם מאגר גדול.

שלב ב': הורדת המודל.

למודל חיפוש סמנטי:
כנסו כאן להאגינג פייס והורידו את המודל.
למודל חיפוש על בסיס ראג' וכדו':
כנסו לכאן בהאגינג פייס.
הערה: המודלים עובדים בעברית.

לכל מודל יש דף ב-Hugging Face עם קוד מוכן לשימוש.
אין צורך להמציא קוד עם הAI - פשוט להיכנס לקישור ולהעתיק את הקטע תחת ‘Usage’.
בדרך כלל כל מודלי ההטמעה עובדים באותה צורה:
טוענים את המודל → נותנים טקסט → מקבלים וקטור (embedding).
בגדול הקוד אמור להראות כזה:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("כאן תכתבו את שם המודל")
embeddings = model.encode(["כאן תכתבו את הטקסט שתרצו שהוא יזהה לדוגמא קוגל"])

שימו לב. אם אין לכם כח להתעסק עם קוד מורכב - מומלץ ללכת על חיפוש סמנטי. הטמעה בקוד הרבה יותר פשוטה..
או בקיצור?
תיהיו מודעים שלא צריך לחנוק את המחשב של המשתמש רק כי הסטנדרט החדש זה AI.
יש עוד פיתרונות AI. לא רק QWEN וג'מאה.

דוגמא לקוד הטמעה שאני השתמשתי בו (המודל לא מעודכן מספיק כמדומני, כמו"כ תתעלמו מדאטה (איך ללמוד תכנות מהר? - לא אפשרי.. )

from sentence_transformers import SentenceTransformer, util
 
# טעינת המודל נמצאת כאן.
model = SentenceTransformer("sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")
 
documents = [
   "איך מתקנים מחשב",
   "מתכון לפיצה איטלקית",
   "מדריך לפתרון תקלות חומרה",
   "איך ללמוד תכנות מהר"
]
 
doc_embeddings = model.encode(documents)
 
query = input("הכנס שאלה: ")
query_embedding = model.encode(query)
 
scores = util.cos_sim(query_embedding, doc_embeddings)[0]
best_index = scores.argmax()
 
print("\nהמסמך הכי מתאים שמצאתי:")
print(documents[best_index])
print(f"ציון התאמה: {scores[best_index]:.2f}")

הערה אחרונה: כלל המודלים לא בהכרח מומלצים על ידי. וייתכן ולחלקם יהיו כבר גירסאות טובות יותר. אלו מודלים שבהם השתמשתי.
אם יש טעות או עדכון חשוב למדריך - אשמח שתגיבו ותגידו לי!
אני עוד לא מלאך. למרות שזהו שמי.
תודה.

@עידו300

א.מ.ד.

@המלאך ככה עובד גם חיפוש גוגל. מודל שפה שלם נדרש רק כאשר רוצים לקבל תשובות AI המבוססות על החומר.

י. פל.

@המלאך כתב במדריך | מודלי חיפוש חכמים. בלי לחנוק את המחשב.:

מומלץ ללכת על חיפוש סמנטי.

לא חושב שיש משהו חינמי שטוב מספיק בעברית.
מניסיון.
יש לי כיוון חדש כעת, אבל הוא ממש לא חינמי רשמית, יש תכנית חינם וכו', אבל אין מודל חינמי שטוב בעברית כרגע.