@sivan22 כתב בלהורדה | תוכנה נסיונית - otzariaAI:
@arieldaniely בשביל מודל Sentence Embeddings אתה צריך נתונים אחרים, לא תוכל להשתמש במאגר של אוצריא כמו שהוא, תצטרך זוגות של משפטים עם ציון מידת הדימיון. או לפחות דומה ולא דומה.
בזמנו חרשתי על מאגרי שאלות ותשובות, מבחנים של דירשו, המאגר של שאלות אנקי, ועוד, בשביל ליצור כזה דאטהסט.
היום הייתי משתמש בLLM כדי ליצור את הזוגות, אתה לוקח טקסט אקראי מאוצריא, ויוצר את השאילתה שהמשתמש היה שואל עליה. כמה עשרות דולרים במודל זול ויש לך דאטהסט סביר.
מודל הטמעה לא מאומן באימון מפוקח, אלא כמו כל מודל שפה רגיל - על טקסט חופשי, רק בתור מקודד ולא מפענח (מתוך הטרנספורמר השלם), כלומר הוא לומד באימון לקודד טקסט לווקטורים לפי ההקשר המלא של המשפט, בלי התאמת זוגות ותיוגים (כמו שעשו במודלי דיפוזיה של טקסט לתמונה).
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}