מדריך | מודלי חיפוש חכמים. בלי לחנוק את המחשב.
-
כן AI זה לא בהכרח לחנוק את המחשב!!
מסתמא כל מתכנת פה מכיר את הבעיה הזו.
רוצים להטמיע AI בתוכנה בלי תלות באינטרנט או בAPI לא חינמי. אבל להוריד מודל LLM/SLM שלם סוחט את המחשב ודורש משאבים גבוהים.
אז הנה הפיתרון.
מסתבר שלא צריך מודל LLM/SLM שלם.
כן. יש מודלים ייעודיים לזה.
מודלי חיפוש סמנטי בסיסיים. כל מה שהם עושים זה לזהות (בלי להצויא פלט) ומודלי RAG (עם פלט).שלב א': התקנת הספריות.
הקלידו את הפקודה הזו:
pip install sentence-transformersשימו לב שכדאי להוסיף faiss-cpu אם יש לכם מאגר גדול.
שלב ב': הורדת המודל.
למודל חיפוש סמנטי:
כנסו כאן להאגינג פייס והורידו את המודל.
למודל חיפוש על בסיס ראג' וכדו':
כנסו לכאן בהאגינג פייס.
הערה: המודלים עובדים בעברית.לכל מודל יש דף ב-Hugging Face עם קוד מוכן לשימוש.
אין צורך להמציא קוד עם הAI
- פשוט להיכנס לקישור ולהעתיק את הקטע תחת ‘Usage’.
בדרך כלל כל מודלי ההטמעה עובדים באותה צורה:
טוענים את המודל → נותנים טקסט → מקבלים וקטור (embedding).
בגדול הקוד אמור להראות כזה:from sentence_transformers import SentenceTransformer model = SentenceTransformer("כאן תכתבו את שם המודל") embeddings = model.encode(["כאן תכתבו את הטקסט שתרצו שהוא יזהה לדוגמא קוגל"])שימו לב. אם אין לכם כח להתעסק עם קוד מורכב - מומלץ ללכת על חיפוש סמנטי. הטמעה בקוד הרבה יותר פשוטה..
או בקיצור?
תיהיו מודעים שלא צריך לחנוק את המחשב של המשתמש רק כי הסטנדרט החדש זה AI.
יש עוד פיתרונות AI. לא רק QWEN וג'מאה.דוגמא לקוד הטמעה שאני השתמשתי בו (המודל לא מעודכן מספיק כמדומני, כמו"כ תתעלמו מדאטה (איך ללמוד תכנות מהר?
- לא אפשרי..
)from sentence_transformers import SentenceTransformer, util # טעינת המודל נמצאת כאן. model = SentenceTransformer("sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2") documents = [ "איך מתקנים מחשב", "מתכון לפיצה איטלקית", "מדריך לפתרון תקלות חומרה", "איך ללמוד תכנות מהר" ] doc_embeddings = model.encode(documents) query = input("הכנס שאלה: ") query_embedding = model.encode(query) scores = util.cos_sim(query_embedding, doc_embeddings)[0] best_index = scores.argmax() print("\nהמסמך הכי מתאים שמצאתי:") print(documents[best_index]) print(f"ציון התאמה: {scores[best_index]:.2f}")הערה אחרונה: כלל המודלים לא בהכרח מומלצים על ידי. וייתכן ולחלקם יהיו כבר גירסאות טובות יותר. אלו מודלים שבהם השתמשתי.
אם יש טעות או עדכון חשוב למדריך - אשמח שתגיבו ותגידו לי!
אני עוד לא מלאך. למרות שזהו שמי.
תודה. -
כן AI זה לא בהכרח לחנוק את המחשב!!
מסתמא כל מתכנת פה מכיר את הבעיה הזו.
רוצים להטמיע AI בתוכנה בלי תלות באינטרנט או בAPI לא חינמי. אבל להוריד מודל LLM/SLM שלם סוחט את המחשב ודורש משאבים גבוהים.
אז הנה הפיתרון.
מסתבר שלא צריך מודל LLM/SLM שלם.
כן. יש מודלים ייעודיים לזה.
מודלי חיפוש סמנטי בסיסיים. כל מה שהם עושים זה לזהות (בלי להצויא פלט) ומודלי RAG (עם פלט).שלב א': התקנת הספריות.
הקלידו את הפקודה הזו:
pip install sentence-transformersשימו לב שכדאי להוסיף faiss-cpu אם יש לכם מאגר גדול.
שלב ב': הורדת המודל.
למודל חיפוש סמנטי:
כנסו כאן להאגינג פייס והורידו את המודל.
למודל חיפוש על בסיס ראג' וכדו':
כנסו לכאן בהאגינג פייס.
הערה: המודלים עובדים בעברית.לכל מודל יש דף ב-Hugging Face עם קוד מוכן לשימוש.
אין צורך להמציא קוד עם הAI
- פשוט להיכנס לקישור ולהעתיק את הקטע תחת ‘Usage’.
בדרך כלל כל מודלי ההטמעה עובדים באותה צורה:
טוענים את המודל → נותנים טקסט → מקבלים וקטור (embedding).
בגדול הקוד אמור להראות כזה:from sentence_transformers import SentenceTransformer model = SentenceTransformer("כאן תכתבו את שם המודל") embeddings = model.encode(["כאן תכתבו את הטקסט שתרצו שהוא יזהה לדוגמא קוגל"])שימו לב. אם אין לכם כח להתעסק עם קוד מורכב - מומלץ ללכת על חיפוש סמנטי. הטמעה בקוד הרבה יותר פשוטה..
או בקיצור?
תיהיו מודעים שלא צריך לחנוק את המחשב של המשתמש רק כי הסטנדרט החדש זה AI.
יש עוד פיתרונות AI. לא רק QWEN וג'מאה.דוגמא לקוד הטמעה שאני השתמשתי בו (המודל לא מעודכן מספיק כמדומני, כמו"כ תתעלמו מדאטה (איך ללמוד תכנות מהר?
- לא אפשרי..
)from sentence_transformers import SentenceTransformer, util # טעינת המודל נמצאת כאן. model = SentenceTransformer("sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2") documents = [ "איך מתקנים מחשב", "מתכון לפיצה איטלקית", "מדריך לפתרון תקלות חומרה", "איך ללמוד תכנות מהר" ] doc_embeddings = model.encode(documents) query = input("הכנס שאלה: ") query_embedding = model.encode(query) scores = util.cos_sim(query_embedding, doc_embeddings)[0] best_index = scores.argmax() print("\nהמסמך הכי מתאים שמצאתי:") print(documents[best_index]) print(f"ציון התאמה: {scores[best_index]:.2f}")הערה אחרונה: כלל המודלים לא בהכרח מומלצים על ידי. וייתכן ולחלקם יהיו כבר גירסאות טובות יותר. אלו מודלים שבהם השתמשתי.
אם יש טעות או עדכון חשוב למדריך - אשמח שתגיבו ותגידו לי!
אני עוד לא מלאך. למרות שזהו שמי.
תודה. -
@המלאך כתב במדריך | מודלי חיפוש חכמים. בלי לחנוק את המחשב.:
מומלץ ללכת על חיפוש סמנטי.
לא חושב שיש משהו חינמי שטוב מספיק בעברית.
מניסיון.
יש לי כיוון חדש כעת, אבל הוא ממש לא חינמי רשמית, יש תכנית חינם וכו', אבל אין מודל חינמי שטוב בעברית כרגע.@י.-פל. כתב במדריך | מודלי חיפוש חכמים. בלי לחנוק את המחשב.:
לא חושב שיש משהו חינמי שטוב מספיק בעברית.
מניסיון.אכן.
תמיד עברית היא השפה הבעייתית המקרים כאלו.@י.-פל. כתב במדריך | מודלי חיפוש חכמים. בלי לחנוק את המחשב.:
יש לי כיוון חדש כעת, אבל הוא ממש לא חינמי רשמית, יש תכנית חינם וכו', אבל אין מודל חינמי שטוב בעברית כרגע.
סיקרנת
.. -
@המלאך כתב במדריך | מודלי חיפוש חכמים. בלי לחנוק את המחשב.:
ב' כן. [אולי תשובות בסיסיות מספיק ראג'].
RAG מצריך מודל שלם... RAG פירושו אחזור של נתונים סמנטיים למודל שפה שלם בכדי שייתבסס עליהם כהקשר.
-
@א.מ.ד. נכון.
אבל הצריכת משאבים הרבה יותר נמוכה.
אין לו את כלל הגודל של מודל שלם.
אלא רק הקשר החיפוש.
[דרך אגב אני די חושד שמצב ai של גוגל לא קרוב לזה..] -
@המלאך לא הבנת אותי. אמרתי ש-RAG דורש מודל שלם לכל דבר, כמו Qwen, ולכן האמירה שלך שלתשובות בסיסיות מספיק RAG אינה מתאימה, כי RAG זה לא רק חיפוש סמנטי.
ולגבי החיפוש גוגל, התכוונתי לחיפוש הרגיל. מצב AI זה ג'מיני לכל דבר.@א.מ.ד. כתב במדריך | מודלי חיפוש חכמים. בלי לחנוק את המחשב.:
לא הבנת אותי. אמרתי ש-RAG דורש מודל שלם לכל דבר, כמו Qwen, ולכן האמירה שלך שלתשובות בסיסיות מספיק RAG אינה מתאימה, כי RAG זה לא רק חיפוש סמנטי.
צודק.
לא נכון לומר שמספיק ראג'.
כוונתי הייתה שמבחינת הצריכת משאבים ראג' עדיף על פני מודל בצורתו הרגילה.
[זאת מניסיון אישי].@א.מ.ד. כתב במדריך | מודלי חיפוש חכמים. בלי לחנוק את המחשב.:
ולגבי החיפוש גוגל, התכוונתי לחיפוש הרגיל. מצב AI זה ג'מיני לכל דבר.
כמובן.
לא דיברתי על מה שאמרת לעיל.
הערתי שנראה לי שזה כן אל ג' מיני רגיל אלא משהו מעבר.
תראה. הוא מביא קישורים, ג'מיני הרגיל לא מחובר לאינטרנט.. -
@א.מ.ד. כתב במדריך | מודלי חיפוש חכמים. בלי לחנוק את המחשב.:
לא הבנת אותי. אמרתי ש-RAG דורש מודל שלם לכל דבר, כמו Qwen, ולכן האמירה שלך שלתשובות בסיסיות מספיק RAG אינה מתאימה, כי RAG זה לא רק חיפוש סמנטי.
צודק.
לא נכון לומר שמספיק ראג'.
כוונתי הייתה שמבחינת הצריכת משאבים ראג' עדיף על פני מודל בצורתו הרגילה.
[זאת מניסיון אישי].@א.מ.ד. כתב במדריך | מודלי חיפוש חכמים. בלי לחנוק את המחשב.:
ולגבי החיפוש גוגל, התכוונתי לחיפוש הרגיל. מצב AI זה ג'מיני לכל דבר.
כמובן.
לא דיברתי על מה שאמרת לעיל.
הערתי שנראה לי שזה כן אל ג' מיני רגיל אלא משהו מעבר.
תראה. הוא מביא קישורים, ג'מיני הרגיל לא מחובר לאינטרנט..