בירור | יצירת אלגוריתם/כללים למנוע חיפוש

[עידו300]

@pcinfogmach בגדול אתר, בnodejs בVSC.

[pcinfogmach]

@עידו300
node זה לא אתר זה תוכנה
אז שוב האם אתה מפתח אתר כלומר אתה מתכנן להציג לציבור כאתר או כתוכנה

[המלאך]

@pcinfogmach המנוע חיפוש לא מתחשב בממשק, מה זה משנה אם זה רץ על שרת או על המחשב? תכלס' זה עובד על node.js.

Spoiler

כמובן שיש דברים בשרת שצריך לקחת בחשבון אבל היסוד וודאי נשאר..

[עידו300]

@pcinfogmach המנוע חיפוש נמצא בשרת שלי, הוא בשימוש ע"י אתר + קו בימות המשיח + מייל + היד עוד נטויה

[pcinfogmach]

@המלאך כתב:

@pcinfogmach המנוע חיפוש לא מתחשב בממשק, מה זה משנה אם זה רץ על שרת או על המחשב?

זה משנהמאוד איזה מנוע הוא יכול להשתמש בו בפרט אם מדובר באתר סטטי

[pcinfogmach]

@עידו300 כתב:

@pcinfogmach המנוע חיפוש נמצא בשרת שלי, הוא בשימוש ע"י אתר + קו בימות המשיח + מייל + היד עוד נטויה

מצויין בוא נתקדם
אז יש לך שרת עם אתר
מה סדר גודל הנתונים שאתה מחפש בהם?

[עידו300]

@pcinfogmach זה משתנה, נכון לעכשיו יש לי מעל 4000 פריטים.
אבל כמו שאמרתי המנגנון אמור להתאים לכל הסוגים, ובעקרון מיועד (יום אחד, בתקווה) לפרודוקשן.

[pcinfogmach]

@עידו300
4000 פריטים זה כלום
פרודוקשן משתנה לפי היעד שלך מה ריאלי שיהיה

בכל אופן נשמע לי שאתה מתנהל עם כמויות קטנות של דאטה כך שכל מנוע חיפוש פשוט יכול לשמש אותך
כדאי מאוד להשתמש עם מנוע חיפוש בגלל שהוא עושה בשבילך את כל העבודה
מכיון שמדובר בכמות מידע קטנה ובשרת אתה יכול להשתמש במנוע חיפוש ששומר הכל בראם בקלות וביעילות

אם בכל אופן מדובר במשהו יותר בומבסטי תוכל לשקול משהו כמו opensearch

Spoiler

אם יש עוד שאלות לא להתבייש לשאול

[ע"ה דכו"ע]

@עידו300 כתב:

המנוע צריך לחפש בכל העמודות כי אולי התשובה נמצאת שם.

לחפש את המילים בכל אחת מהעמודות אין שום בעיה, אני שואל האם צריך לחפש כל חלק מהמשפט בעמודה אחרת

דוגמא של האתר, השיחה כמובן מגיע לAI והוא שולח בקשה בAPI
Video Project 4.mp4

חסום בנטפרי

[עידו300]

@ע-ה-דכו-ע כתב:

@עידו300 כתב:

המנוע צריך לחפש בכל העמודות כי אולי התשובה נמצאת שם.

לחפש את המילים בכל אחת מהעמודות אין שום בעיה, אני שואל האם צריך לחפש כל חלק מהמשפט בעמודה אחרת

כן, יכול להיות גם.

Video Project 4.zi

[עידו300]

@pcinfogmach כתב:

4000 פריטים זה כלום

באמת, הייתי בטוח ש4000 שורות זה הרבה... בשביל לסבר את האוזן, זה כל הקטלוג של עוז והדר והוצאת הספר ביחד. זה המון...

@pcinfogmach כתב:

בכל אופן נשמע לי שאתה מתנהל עם כמויות קטנות של דאטה כך שכל מנוע חיפוש פשוט יכול לשמש אותך
כדאי מאוד להשתמש עם מנוע חיפוש בגלל שהוא עושה בשבילך את כל העבודה
מכיון שמדובר בכמות מידע קטנה ובשרת אתה יכול להשתמש במנוע חיפוש ששומר הכל בראם בקלות וביעילות

רעיון טוב, אבל צריך ספריה טובה וחינמית עם רישיון גם למטרה עסקית. וכמובן צריכה להיות בnodejs...

יש לך המלצה על אחת?

אני חושב שזה אחד החסרונות הגדולים של AI, רוב הדברים הוא ירצה לבנות לך לבד במקום פשוט להשתמש במשהו בנוי וטוב... למה להמציא את הגלגל מחדש במקום להגיד לי בצורה פשוטה שיש ספריות מוכנות לזה?

[ע"ה דכו"ע]

@עידו300 כתב:

אני חושב שזה אחד החסרונות הגדולים של AI, רוב הדברים הוא ירצה לבנות לך לבד במקום פשוט להשתמש במשהו בנוי וטוב... למה להמציא את הגלגל מחדש במקום להגיד לי בצורה פשוטה שיש ספריות מוכנות לזה?

זה פשוט שיש ספריות לחיפוש בכל שפה, וגם מנועים חיצוניים שאפשר להטמיע גם אם במקרה משתמשים בשפה שעדיין אף אחד לא כתב לה ספריה... וכמובן הכל קיים גם בקוד פתוח עם רשיונות מתירניים

זה התפקיד שלך לומר לAI להשתמש בספריות קיימות.

ראיתי פעם מישהו שהAI הכניס לו בקוד מימוש שלם כמעט של הצגת הבדלים חזותית כמו בגיט במקום לעשות import פשוט לעורך של VS CODE שהוא בקוד פתוח וניתן להטמעה בקלות

[עידו300]

קלוד טוען שמנוע מוכן לא יעזור כאן, כי הדרישות שלי כאן שונות...

המנועים לא יעזרו לתיקון שגיאות כמו שף חתנים במקום שס חתנים.

Spoiler

רעיון לגיטימי, ויש כמה מנועים כאלה. אבל לדעתי מנוע חיפוש לא היה מציל את השיחה של "ש"ס חתנים", כי הבעיה שם לא הייתה בחיפוש.

מה כבר קיים היום. הקטלוג מריץ מנוע חיפוש שנכתב כאן (packages/core/hebrew.js). הוא מנרמל עברית, וסולח לשגיאות לפי מרחק עריכה, כשהסף תלוי באורך המילה. מעליו, בערוץ הטלפוני, יש מפל ניסיונות (apps/voice/facts/book-search.js): טבלת תיקונים לשיבושי תמלול, מילים נרדפות, הסרת מילים תיאוריות ושער כיסוי. בפועל זה מנוע קטן עם סובלנות לשגיאות, בדיוק מה שמנוע מוכן היה נותן.

מה מנוע מוכן היה עושה עם השאילתות מהשיחה:

שאילתה למה זה לא היה עוזר
"שש חתנים" / "שף חתנים" מנועים כמו Meilisearch ו-Typesense לא סולחים על טעות במילים קצרות. כברירת מחדל, תיקון שגיאה מתחיל רק מ-5 אותיות. "שש"→"שס" זו אות אחת מתוך שתיים, ושום מנוע לא יתקן אותה, ובצדק.
"שוקאמין" זה שיבוש של צליל, לא של כתיב. אף מנוע טקסט לא יחבר את זה ל-"ש"ס חתנים".
המנוע כן יכול להשמיט מילה שלא נמצאה. ב-Meilisearch יש לזה הגדרה מובנית, matchingStrategy: last. אבל זה בדיוק "לנסות שוב בלי המילה הקצרה", שדחית כתיקון שמותאם להדגמה. זה אותו פתרון, רק עטוף בספרייה.

השיבוש קורה לפני החיפוש: המתמלל שומע ארמית וראשי תיבות לא נכון. את זה מתקנים במקום אחר:

הטיית המתמלל לשמות שבקטלוג. זה כבר קיים חלקית ב-asr-vocab.
שם מדובר או מפתח פונטי לכל מוצר. "שס", "שַׁס" ו"שש" יקבלו מפתח צליל אחד.
התאוששות בשיחה: אחרי שני כישלונות הסוכן מציע קטגוריה או מבקש לאיית, ולא שואל "בטוח שזה השם?".
איפה מנוע מוכן כן מתאים: ביעד ארוך הטווח של מנוע מענה לכל סוג מוצר. שם דירוג, סינון לפי שדות וקטלוגים גדולים זה עבודה שלא כדאי לכתוב בעצמנו. אפשרויות עם רישיון שמתיר שימוש מסחרי:

MiniSearch (MIT) או Orama (Apache 2.0): ספרייה שרצה בתוך התהליך, בלי שרת נוסף. ל-4,077 ספרים זה מספיק לגמרי.
Meilisearch: הליבה ברישיון MIT. זה שרת נפרד, כלומר תהליך נוסף שצריך לסנכרן מול SQLite.
Typesense (GPL-3): מותר להריץ אותו כשירות מסחרי. גם הוא שרת נפרד.
SQLite FTS5: כבר קיים במסד, אבל אין בו סובלנות לשגיאות.
ההמלצה שלי: לא להחליף מנוע עכשיו כתיקון לבעיה הזו. במקום זה להכריע לפי מדידה, שזה גם הצעד הראשון בהצעה לשיטה שממתינה לך:

לאסוף מהלוגים של השיחות קורפוס של שאילתות אמיתיות: מה המתמלל שמע, ואיזה ספר הלקוח התכוון.
להריץ את הקורפוס מול המנוע הקיים ומול מנוע מוכן אחד, למשל MiniSearch, ולספור תוצאה נכונה, "לא נמצא" ותוצאה שגויה.
לבחור לפי המספרים.

[ע"ה דכו"ע]

@עידו300 כתב:

"שש חתנים" / "שף חתנים" מנועים כמו Meilisearch ו-Typesense לא סולחים על טעות במילים קצרות. כברירת מחדל, תיקון שגיאה מתחיל רק מ-5 אותיות. "שש"→"שס" זו אות אחת מתוך שתיים, ושום מנוע לא יתקן אותה, ובצדק.

גם המנוע שאתה תעשה לא יכול לתקן את זה ובצדק, ולכן צריך פתרונות אחרים שאינם בתוך החיפוש עצמו, זה לא סיבה לא להשתמש במנוע בחיצוני, אם כי יותר מתאים להשתמש כאן בספריה פנימית, לא נראה לי שיש צורך להריץ תהליך נוסף חיצוני

[המלאך]

@עידו300 זה כי הוא מתעקש שיש קשר בין השניים, אין קשר בין חיפוש בעמודות שונות לבין תיקון שגיאות כתיב.
זה שני אלגוריתמים שונים לגמרי.

[עידו300]

@ע-ה-דכו-ע כתב:

ולכן צריך פתרונות אחרים שאינם בתוך החיפוש עצמו

כמו? איזה פתרון?

[עידו300]

@המלאך כתב:

@עידו300 זה כי הוא מתעקש שיש קשר בין השניים, אין קשר בין חיפוש בעמודות שונות לבין תיקון שגיאות כתיב.
זה שני אלגוריתמים שונים לגמרי.

אבל הם צריכים לעבוד ביחד, כי הרי "שש" זה לא שגיאת כתיב, זו מילה נכונה רק שהAI תמלל את החיפוש לא נכון (או שהמחפש זכר את השם בערך), צריך משהו שכן ימצא את השינויים האלו וכן ידע להתאים אותם נכון.

[ע"ה דכו"ע]

@עידו300 כתב:

כמו? איזה פתרון?

כמו ש @המלאך כבר כתב וגם אתה הזכרת, לדייק יותר את הזיהוי, ותנסות להתאים אותו למילים הקיימות וכו'

@עידו300 כתב:

אבל הם צריכים לעבוד ביחד, כי הרי "שש" זה לא שגיאת כתיב, זו מילה נכונה רק שהAI תמלל את החיפוש לא נכון (או שהמחפש זכר את השם בערך), צריך משהו שכן ימצא את השינויים האלו וכן ידע להתאים אותם נכון.

מנועי חיפוש לא מזהים שגיאות כתיב בגלל שהם שגיאות, אלא ע"י אליגוריתמים למשל כמו לוינשטיין שהזכרת, אין נפק"מ אם המילה שכתבו בפועל קיימת גם היא

[עידו300]

@ע-ה-דכו-ע @המלאך אז מה אתם מציעים בעצם?
לממש מרחק לוינשטיין? בעקרון זה כבר קיים ועדיין לא מוצא את התוצאות הנ"ל...

איך אני יכול לדעת אם המנוע חיפוש שהוא כתב לי מספיק טוב או שכדאי לשנות לאחד מוכן כבר?

[המלאך]

@עידו300 אני אומ לשנות את הדרך פיתוח.
לחלק לשני פיתוחים שונים.
נסה ותראה ניפלאות, אפילו רק קלוד