הסבר | חיפוש חכם באמצעות סוכן AI

[צדיק תמים]

@א-מ-ד כתב בהסבר | חיפוש חכם באמצעות סוכן AI:

ראה כאן

בעבר OpenAI נתנו זיכוי קטן בהרשמה, כיום הם לא נותנים וגם מה שנתנו בעבר כבר פג
ככה שזה או גנוב או דלף בטעות, תכלס מישהו משלם את החשבון. OpenAI לא פראיירים ואין כזה דבר מפתח בחינם

[א.מ.ד.]

@צדיק-תמים כתב בהסבר | חיפוש חכם באמצעות סוכן AI:

בעבר

לא כזה בעבר - כולה חודש יולי האחרון...

[צדיק תמים]

@א-מ-ד זה שאיזה אלמוני כתב ככה לא אומר שזה נכון
אנשים כותבים גם הרבה שטויות
זה בוטל מזמן, הנה לדוגמה דיון בפורום של OpenAI מיוני, ועוד אחד, ועוד אחד

[sivan22]

@א-מ-ד כתב בהסבר | חיפוש חכם באמצעות סוכן AI:

@sivan22 כתב בהסבר | חיפוש חכם באמצעות סוכן AI:

שלום לכולם,

אז מפעם לפעם אני משתף אתכם בכלים שיצרתי או גיליתי, והפעם אני חוקר את היכולת של חיפוש חכם באמצעות סוכן AI, מה שנקרא Agent.

אז דבר ראשון כדאי להבין את המגבלה של מודל שפה, כמו chatGPT. למעשה כל מה שהוא יכול לעשות זה לקבל טקסט ולהוציא טקסט. זהו. לא לחפש באינטרנט, לא להפעיל מחשבון, כלום, רק טקסט מטקסט.

אבל בהחלט אפשר ליצור דברים הרבה יותר מורכבים. הדרך היא ליצור תוכנה שבכל שלב תשלח טקסט למודל שפה, תקבל בחזרה את הטקסט, תפעיל את הכלים שיש לה, ותחזיר שוב את התוצאות למודל השפה. מאד כדאי לספר למודל שפה גם כן שיש לו אפשרות לבקש להשתמש בכלים לפני שהוא ממשיך בפעולה, וכך המודל עצמו "כביכול" משתמש בכלים לפי רצונו.

אז בשביל לחפש בצורה חכמה בטקסטים, בניתי תוכנה שכוללת מנוע חיפוש טקסט, וכן סוכן שפועל לפי השלבים הבאים:

1. מקבל מהמשתמש שאלה בנוסח חופשי.
2. השאלה נשלחת למודל שפה (לדוגמה ChatGPT) בכדי לקבל את מילות המפתח שכדאי לחפש במנוע חיפוש.
3. התוכנה מחפשת את המילים במנוע חיפוש טקסט.
   a4. אם לא נמצאו שום תוצאות, השאלה נשלחת שוב למודל שפה עם המילים שלא עבדו, כדי לקבל מילים אחרות. וממשיכים משלב 3.
   4b. אם נמצאו תוצאות, הם נשלחות למודל שפה כדי שיחליט אם התוצאות עונות בצורה מספיקה על השאלה.
4. אם המודל החליט שהתוצאות לא עונות על השאלה, הוא מספק מילות מפתח חדשות, וממשיכים שוב משלב 3.
5. אם התוצאות מספיקות, המודל מסכם את התשובה ומציג אותה למשתמש.
6. כמו כן, יוצגו למשתמש התוצאות עצמן, כדי שיוכל לראות את המקור והאם התשובה מדוייקת.

היופי הוא שכל השלבים מוצגים למשתמש בצורה שקופה והוא יכול להבין איך ומדוע הגיע המודל לתשובה שלו.

אז הנה כמה תמונות מההדגמה של התוכנה:

למעוניינים, כל הקוד של התוכנה חופשי וזמין בגיטהאב כאן, ויש גם הוראות להתקנה.

וואו, פשוט מטורף!!!
אבל למה זה לא אפשרי עם API של OpenAI שנפוץ הרבה יותר ולעיתים אף חינמי?

אין סיבה מיוחדת, פשוט אני אוהב את האיכות שלו. זה פשוט לניסיון בלבד. אם אני אבנה כלי לשימוש רחב יותר הוא כנראה יתמוך בכל המודלים הנפוצים כולל ollama מקומי.

[NH.LOCAL]

@איש-שלו כתב בהסבר | חיפוש חכם באמצעות סוכן AI:

@א-מ-ד @sivan22
האם יש לי [בתור אחד שאינו מפַתֵחַ ולא יודע איך מחזיקים מַפתֵחַ API ולא AI...]
דרך פשוטה וישרה להתקין את הדבר הנפלא הזה?

אפשר להשתמש בג'מיני. יש להם מגבלה חינמית מאוד גבוהה

[aiib]

@NH-LOCAL כתב בהסבר | חיפוש חכם באמצעות סוכן AI:

@איש-שלו כתב בהסבר | חיפוש חכם באמצעות סוכן AI:

@א-מ-ד @sivan22
האם יש לי [בתור אחד שאינו מפַתֵחַ ולא יודע איך מחזיקים מַפתֵחַ API ולא AI...]
דרך פשוטה וישרה להתקין את הדבר הנפלא הזה?

אפשר להשתמש בג'מיני. יש להם מגבלה חינמית מאוד גבוהה

אבל איכות מאד נמוכה, לא?

[NH.LOCAL]

@aiib כתב בהסבר | חיפוש חכם באמצעות סוכן AI:

@NH-LOCAL כתב בהסבר | חיפוש חכם באמצעות סוכן AI:

@איש-שלו כתב בהסבר | חיפוש חכם באמצעות סוכן AI:

@א-מ-ד @sivan22
האם יש לי [בתור אחד שאינו מפַתֵחַ ולא יודע איך מחזיקים מַפתֵחַ API ולא AI...]
דרך פשוטה וישרה להתקין את הדבר הנפלא הזה?

אפשר להשתמש בג'מיני. יש להם מגבלה חינמית מאוד גבוהה

אבל איכות מאד נמוכה, לא?

איכות סבירה למדי. הפעלת מנוע חיפוש לא דורשת תחכום גדול

[aiib]

@NH-LOCAL כתב בהסבר | חיפוש חכם באמצעות סוכן AI:

אפשר להשתמש בג'מיני. יש להם מגבלה חינמית מאוד גבוהה

מה נצרך בשביל זה? @sivan22 צריך לשנות משהו?

[א.מ.ד.]

@sivan22 כתב בהסבר | חיפוש חכם באמצעות סוכן AI:

@א-מ-ד כתב בהסבר | חיפוש חכם באמצעות סוכן AI:

@sivan22 כתב בהסבר | חיפוש חכם באמצעות סוכן AI:

שלום לכולם,

אז מפעם לפעם אני משתף אתכם בכלים שיצרתי או גיליתי, והפעם אני חוקר את היכולת של חיפוש חכם באמצעות סוכן AI, מה שנקרא Agent.

אז דבר ראשון כדאי להבין את המגבלה של מודל שפה, כמו chatGPT. למעשה כל מה שהוא יכול לעשות זה לקבל טקסט ולהוציא טקסט. זהו. לא לחפש באינטרנט, לא להפעיל מחשבון, כלום, רק טקסט מטקסט.

אבל בהחלט אפשר ליצור דברים הרבה יותר מורכבים. הדרך היא ליצור תוכנה שבכל שלב תשלח טקסט למודל שפה, תקבל בחזרה את הטקסט, תפעיל את הכלים שיש לה, ותחזיר שוב את התוצאות למודל השפה. מאד כדאי לספר למודל שפה גם כן שיש לו אפשרות לבקש להשתמש בכלים לפני שהוא ממשיך בפעולה, וכך המודל עצמו "כביכול" משתמש בכלים לפי רצונו.

אז בשביל לחפש בצורה חכמה בטקסטים, בניתי תוכנה שכוללת מנוע חיפוש טקסט, וכן סוכן שפועל לפי השלבים הבאים:

1. מקבל מהמשתמש שאלה בנוסח חופשי.
2. השאלה נשלחת למודל שפה (לדוגמה ChatGPT) בכדי לקבל את מילות המפתח שכדאי לחפש במנוע חיפוש.
3. התוכנה מחפשת את המילים במנוע חיפוש טקסט.
   a4. אם לא נמצאו שום תוצאות, השאלה נשלחת שוב למודל שפה עם המילים שלא עבדו, כדי לקבל מילים אחרות. וממשיכים משלב 3.
   4b. אם נמצאו תוצאות, הם נשלחות למודל שפה כדי שיחליט אם התוצאות עונות בצורה מספיקה על השאלה.
4. אם המודל החליט שהתוצאות לא עונות על השאלה, הוא מספק מילות מפתח חדשות, וממשיכים שוב משלב 3.
5. אם התוצאות מספיקות, המודל מסכם את התשובה ומציג אותה למשתמש.
6. כמו כן, יוצגו למשתמש התוצאות עצמן, כדי שיוכל לראות את המקור והאם התשובה מדוייקת.

היופי הוא שכל השלבים מוצגים למשתמש בצורה שקופה והוא יכול להבין איך ומדוע הגיע המודל לתשובה שלו.

אז הנה כמה תמונות מההדגמה של התוכנה:

למעוניינים, כל הקוד של התוכנה חופשי וזמין בגיטהאב כאן, ויש גם הוראות להתקנה.

וואו, פשוט מטורף!!!
אבל למה זה לא אפשרי עם API של OpenAI שנפוץ הרבה יותר ולעיתים אף חינמי?

אין סיבה מיוחדת, פשוט אני אוהב את האיכות שלו. זה פשוט לניסיון בלבד. אם אני אבנה כלי לשימוש רחב יותר הוא כנראה יתמוך בכל המודלים הנפוצים כולל ollama מקומי.

אז מה אני צריך לערוך בקוד הפתוח בשביל לשנות את בקשת ה-api ל-openai או ג'מיני, רק להחליף את השורה של הבקשה והטיפול בתגובה או שיש עוד דברים?

אגב, אתה מתכוון להכניס את זה לאוצריא?

[ארץ הצבי]

אותי מעניין איך אפשר לחבר את זה לOLLAMA אשמח להסבר

[א.מ.ד.]

@ארץ-הצבי כתב בהסבר | חיפוש חכם באמצעות סוכן AI:

אותי מעניין איך אפשר לחבר את זה לOLLAMA אשמח להסבר

מה שבטוח שזה יאט את החיפוש לרמה לא שימושית, לפחות במחשבים הסטנדרטיים... אבל עדיין זה יהיה כלי מטורף - לפחות בשביל הרעיון או בשביל מקרים שזה בכל זאת נצרך, ולכן גם אני מחכה להסבר על זה.

[sivan22]

@א-מ-ד אני עדיין בשלב הבדיקות ואב טיפוס, אז קודם אני רוצה שהמוצר יהיה בשל יותר לפני שאני אוסיף אפשרויות למודלים נוספים.

בינתיים התקדמתי לאותו מנוע חיפוש עצמו של אוצריא, ויתרה מזו, אני משתמש באינדקס הקיים.

דבר שני, וחשוב יותר, במקום סתם מילות מפתח אני מקבל מהמודל שפה שאילתה מתוחכמת יותר, לדוגמה: "גזלן ששבר" AND ~5 ("שעת השבירה" OR "שעת התשלום").
כלומר: המילים גזלן ששבר ובמרחק של עד 5 מילים המילים שעת השבירה או המילים שעת התשלום.
אגב, גם אוצריא בחיפוש מקורב תומכת בניסוחים מורכבים.

בינתיים אני חושב שזה יהיה כתוכנה נפרדת שרצה על האינדקס של אוצריא.

עריכה: הדגמה:

[REFAEL 2]

@sivan22
אולי תקמפל את זה לטובת אלה שאינם בקיאים?
תודה

[איש שלו']

@aiib @NH-LOCAL
אדרבה, נראה לי שצ'אט GPT עצמו הרבה יותר שימושי בחינם.
האם אני טועה?

ובכל אופן - איך אפשר להשתמש איתו במערכת הזו ?

[aiib]

@איש-שלו כתב בהסבר | חיפוש חכם באמצעות סוכן AI:

@aiib @NH-LOCAL
אדרבה, נראה לי שצ'אט GPT עצמו הרבה יותר שימושי בחינם.
האם אני טועה?

ובכל אופן - איך אפשר להשתמש איתו במערכת הזו ?

בשביל להשתמש בGPT בצורה חיצונית שזה מצריך API שהוא בתשלום

[צדיק תמים]

פוסט זה נמחק!

[sivan22]

@sivan22 עדכונים:

התוכנה זמינה להורדה: https://github.com/Sivan22/ituria/releases

הממשק כולו בעברית.

נתמכים המודלים הבאים:

• Claude-sonnet-3.5
• gpt-4o
• Gemini-flash-1.5
• DictaLM מקומי באמצעות Ollama

gemini עובד ללא צורך במפתח API. אבל מצד שני הוא לא איכותי כמו קלוד.

[REFAEL 2]

@sivan22
איפה צריך לשים את הDICTALM?
ובמקרה כזה זה יעבוד גם אופליין?

[aiib]

@sivan22 כתב בהסבר | חיפוש חכם באמצעות סוכן AI:

נ.ב. ניתן להשיג API חינמי עבור gemini.

איך?

[ארץ הצבי]

@aiib
תפעיל את התוכנה ותבחר בג'מיני וזה יעבוד ככה היה אצלי