בירור | יצירת אלגוריתם/כללים למנוע חיפוש
-
תראו מה יש עד עכשיו, בקשתי מקלוד שיתמצת בשביל להראות לחבר שיחווה דעתו.
לדעתי עשה שם שטויות, אבל אני לא מבין בזה.
בעקרון הוא חילק את זה ל-4 לא ל-2.
-
-
-
-
קלוד עשה ניסוי עם החיפוש הוקטורי, התוצאות לא טובות בכלל... לא מתאים לכזה דבר, למרות שזה מוזר.
-
@ע-ה-דכו-ע שיתבייש לעצמו, הכניס רק את שם הספר, לא חשב על זה בכלל.
עכשיו עושה בדיקה חוזרת, אמרתי לו שיתכנן הפעם את צעדיו.
-
מהבדיקה האחרונה יוצא שהבעיה העקרית היא שחיפוש וקטורי תמיד מחזיר תשובה, גם אם היא שגויה לחלוטין, מה שגרוע מאוד במקרה שלי.
-
@ע-ה-דכו-ע תשובות שגויות נותנות ציון גבוה כמו תשובות נכונות... תשובות נכונות קיבלו ציון בין 0.73 ל-0.88, ושגויות עד 0.844
מה לגבי זה?
עידו300 כתב:
תראו מה יש עד עכשיו, בקשתי מקלוד שיתמצת בשביל להראות לחבר שיחווה דעתו.
לדעתי עשה שם שטויות, אבל אני לא מבין בזה.
בעקרון הוא חילק את זה ל-4 לא ל-2.
מפת החיפוש.pdf
-
@ע-ה-דכו-ע תשובות שגויות נותנות ציון גבוה כמו תשובות נכונות... תשובות נכונות קיבלו ציון בין 0.73 ל-0.88, ושגויות עד 0.844
מה לגבי זה?
עידו300 כתב:
תראו מה יש עד עכשיו, בקשתי מקלוד שיתמצת בשביל להראות לחבר שיחווה דעתו.
לדעתי עשה שם שטויות, אבל אני לא מבין בזה.
בעקרון הוא חילק את זה ל-4 לא ל-2.
מפת החיפוש.pdf
@ע-ה-דכו-ע תשובות שגויות נותנות ציון גבוה כמו תשובות נכונות... תשובות נכונות קיבלו ציון בין 0.73 ל-0.88, ושגויות עד 0.844
שגויות שאין ביניהם שום קשר? אולי באמת יש קשר סמנטי, נניח עוז והדר יכול בהחלט להיות קרוב סמנטית למילה ספר
באיזה מודל הטמעה השתמשת? ואיזה מנוע חיפוש?
-
@ע-ה-דכו-ע תשובות שגויות נותנות ציון גבוה כמו תשובות נכונות... תשובות נכונות קיבלו ציון בין 0.73 ל-0.88, ושגויות עד 0.844
שגויות שאין ביניהם שום קשר? אולי באמת יש קשר סמנטי, נניח עוז והדר יכול בהחלט להיות קרוב סמנטית למילה ספר
באיזה מודל הטמעה השתמשת? ואיזה מנוע חיפוש?
-
ספר עם שם דומה, אבל ספר אחר: 8 טעויות
הלקוח ביקש -> החיפוש הוקטורי החזיר
רמב"ן המבואר -> רמב"ם מבואר המורחב, שופטים (אבל)
סט רמב"ן המבואר -> סט רמב"ם מבואר כחול (34 כר')
רמב"ן המבואר על התורה -> סט רמב"ן מנוקד על התורה (כלומר מהדורה אחרת, עוד נסבל אבל לא תקין).
ערוך השלחן -> שולחן ערוך יומי בכרך אחד
בית יוסף -> ראש יוסף מסכת ביצה (למרות שאין ספר בית יוסף עד כמה שזכור לי, עדיין הוא לא היה אמור למצוא את זה)
ספר חסידים -> סט אוצר החסידות (29 כר')
תלמוד בבלי -> חוברת יד משס תלמודו, בבא בתרא
משנה ברורה (נשמע "משנא ברורה") -> חוברת משנ"ב חנוכה (בתכלס זה נכון אבל זו לא התשובה הנכונה כי אנחנו מצפים לסטים הסונדרטיים ולא לאיזה חוברת לא ידועה שהוציאו)
את "רמב"ן" ו"רמב"ם" הוא מבלבל בשתי הגרסאות. -
שאילתה שמתארת ספר: 2 טעויות
הלקוח ביקש -> החיפוש הוקטורי החזיר
ספר מוסר על מידות טובות -> שכל טוב ב (מדרש על התורה)
משניות עם פירוש מבואר -> פנינים משנ"ב המבואר (משנה ברורה ולא משניות) -
שיבוש בשמיעה או כתיב שגוי: 4 טעויות
הלקוח ביקש -> החיפוש הוקטורי החזיר
שוקאמין (ש"ס חתנים, איך ג'ימני הגיע לשוקאמין, אין לי מושג...) -> סידור השלם סקאי, אשכנז (למען האמת אני לא מצפה שמישהו כן יבין את זה...)
שף חתנים (ש"ס חתנים) -> אוצר מחמדים חלק ד
מילתך בדרך (בלכתך בדרך) -> מילתא חדתא במדבר
דף יומי (לעוז והדר יש כאלו גמרות, לדוגמא "ברכות מנוקד מאורות דף היומי") -> אור החיים כרך אחד לוח יומי -
ספר שלא קיים בקטלוג: 20 מתוך 20 טעויות
על כל שאילתה הוא החזיר ספר כלשהו. כמה דוגמאות:
הלקוח ביקש -> החיפוש הוקטורי החזיר
נתיבות המשפט -> נתיבות דעת בראשית
אגרות משה -> תורת משה, אלשיך המבואר ויקרא
ים של שלמה -> מנחת שלמה ב"מ א
מורה נבוכים -> רמב"ם מבואר המורחב, שופטים (מלכים)
שמירת שבת כהלכתה -> זמירות שבת אלבומי יגל יעקב
מקדחה נטענת -> סט נ"ך מקראות גדולות (25 כר')
שעון קיר -> 5 זמירות שבת יגל יעקב במעמדקלוד יצר בשביל זה מנוע חיפוש, לא השתמש במנוע קיים.
המודל הוא מה שדיברנו עליו EmbeddingGemma 2 של גוגל, בגרסת ONNX הדחוסה (q4). הוא רץ על המעבד של השרת דרך הספרייה transformers.js 4.3.1.
את השורות הבאות לא הבנתי אז הבאתי כלשונו:
לכל שאילתה חישבתי ציון דמיון מול כל 4,077 הספרים, ומיינתי לפי הציון.
מה זה אומר על הטעויות: כל אחד מ-4,077 הספרים קיבל ציון, אז אין כאן טעויות של קירוב. כל טעות נובעת מהמודל עצמו. שני גורמים אפשריים לא בדקתי: הדחיסה של המודל (q4), ותבנית המסמך שבחרתי. -
![ע"ה דכו"ע](/assets/uploads/profile/uid-24261/24261-profileavatar-1774768870385.png "ע"ה דכו"ע"){kind=avatar}
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}