@המלאך נכון BEREL הוא מודל בסיס, אבל אפשר בקלות לכוונן אותו למשימות שיעזרו לחיפוש סמנטי, הייתי מתחיל עם משימה קלאסית של senntence similarity, אתה רק צריך דאטה סט של חיפושים ותוצאות או שאלות ותשובות, אני פעם יצרתי כזה דאטה סט על שולחן ערוך אורח חיים.
אבל בשביל המשימה שלך, הייתי יוצר דאטה סט משלי, לוקח קטעים אקראיים מספריית אוצריא ומבקש מLLM ליצור שאלה קצרה או שאילתת חיפוש לקטע, אפשר אפילו מודל זול יחסית כמו flash-lite-3.1 ועל הדאטה סט הזה לאמן.
אתה יכול להניח שכל זוג כזה הוא 1.0 מבחינת דמיון וכל זוג אחר (כשאתה מאמן אתה לוקח זוגות לא מתאימים) 0.3 או מספר נמוך אחר, וכך לאמן אותו.
זה יהיה מודל שיכול רק לעשות rerank כי הוא נותן ציון לכל המשפטים ולא ממש אמבדינג.
אתה יכול לעשות embeddings עם מודל קלאסי כמו e5 או bge ולקחת את ה2000 הטובים ולהריץ אותם אחד אחד על המודל הזה, הוא קטן יחסית.
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}