סקר | חיפוש AI תורני בספרי יסוד
-
@yehokarpel כתב בסקר | חיפוש AI תורני בספרי יסוד:
לאחרונה מצאתי את המודל: Cohere Embed v3 שזה מודל AI שיודע לקשר שאלה לפי משמעות של הדברים ולא חיפש שהוא רק מתבסס על מילות מפתח וזה יכול לחפש בתוך למאגר חיפוש ענק יצא לי לבחון את זה בערך ויש לזה תוצאות מאד מדויקות מכל סדרת מודלי Embeddings לפחות ככה בדקתי
יותר טוב מ-Gemini Embedding (עם מגבלות שימוש נדיבות בחינמי)?
פוסט זה נמחק! -
@yehokarpel כתב בסקר | חיפוש AI תורני בספרי יסוד:
לאחרונה מצאתי את המודל: Cohere Embed v3 שזה מודל AI שיודע לקשר שאלה לפי משמעות של הדברים ולא חיפש שהוא רק מתבסס על מילות מפתח וזה יכול לחפש בתוך למאגר חיפוש ענק יצא לי לבחון את זה בערך ויש לזה תוצאות מאד מדויקות מכל סדרת מודלי Embeddings לפחות ככה בדקתי
יותר טוב מ-Gemini Embedding (עם מגבלות שימוש נדיבות בחינמי)?
@א.מ.ד. כן זה יותר טוב
-
@yehokarpel
אני מאוד אשמח, אם תשקיע יותר בRAG יעיל ואיכותי, כך שהמנוע לא יצטרך לפלוט תשובות, אלא רק לעבד את המקורות, ולהצביע על המקורות הנכונים.
מה נרוויח?- הסרת התנגדות מAI.
- הפחתת הזיות ושגיאות כתיב.
- [ופה העיקר], הפחתה משמעותית מאוד של זמן העיבוד, כך שאולי יש סיכוי שנוכל להריץ זאתעם מודלים קטנים על מחשבים חלשים.
-
@yehokarpel
אני מאוד אשמח, אם תשקיע יותר בRAG יעיל ואיכותי, כך שהמנוע לא יצטרך לפלוט תשובות, אלא רק לעבד את המקורות, ולהצביע על המקורות הנכונים.
מה נרוויח?- הסרת התנגדות מAI.
- הפחתת הזיות ושגיאות כתיב.
- [ופה העיקר], הפחתה משמעותית מאוד של זמן העיבוד, כך שאולי יש סיכוי שנוכל להריץ זאתעם מודלים קטנים על מחשבים חלשים.
-
@yehokarpel
החזון שלי, הוא להריץ זאת עם GEMMA [בטח כעת יצא חדש, אחרי ג'מיני 3], על מחשב של אברך עם סלרון.
לדעתי, אם 98% מהחישובים יהיה רק בקלט, יש לזה סיכוי טוב.@י.-פל. כתב בסקר | חיפוש AI תורני בספרי יסוד:
@yehokarpel
החזון שלי, הוא להריץ זאת עם GEMMA [בטח כעת יצא חדש, אחרי ג'מיני 3], על מחשב של אברך עם סלרון.
לדעתי, אם 98% מהחישובים יהיה רק בקלט, יש לזה סיכוי טוב.יש GEMMA3 Embedding עם 300M פרמטרים. זה יכול לרוץ אפילו על נגנים במהירות יחסית. אבל מודלי הטמעות מתאימים רק לחיפוש ואחזור מידע, כך שאם אתה רוצה שהתוכנה תוכל לחפש תשובות על שאלות בשפה טבעית תהיה חייב לשלב מודל שפה רגיל שישתמש ב-RAG. לזה אפשר אולי להשתמש בדיקטה 3.0 החדש.
-
טוב אני משחרר את מה שעשיתי בנתים את הקוד הנסיוני כל אחד שיגיד איך שזה עובד יש רשימה של קבצים שבתוכם התוכן של הספרים עצמם:
rashi.txt
tosafot.txt
gemara.txt
shulchan_aruch.txt
rambam.txt
לא מילאתי בהם כלום ממש חוץ מדברים בסיסים כדי לראות שזה עובד צריך לחלץ את הzip אל תקייה במחשב ולא להוציא שום קובץ מהתקייה ולהפעיל את הקובץ torhak.exe מקווה שזה היה קצת תועלת עבדתי על זה ממש איזה קצת זמן היום יצא לי בס"ד חיפוש תורני.zip -
אפשר לערוך ולשנות את התוכן בקבצים: rashi.txt
tosafot.txt
gemara.txt
shulchan_aruch.txt
rambam.txt
לאיזה ספר שאתם רוצים למשל אני לקחתי בויקיטקסט אולי אחרי זה אני יוסיף תמיכה לזה שזה יעבוד גם לpdf או json כו' -
Y yehokarpel התייחס לנושא זה
-
טוב אני משחרר את מה שעשיתי בנתים את הקוד הנסיוני כל אחד שיגיד איך שזה עובד יש רשימה של קבצים שבתוכם התוכן של הספרים עצמם:
rashi.txt
tosafot.txt
gemara.txt
shulchan_aruch.txt
rambam.txt
לא מילאתי בהם כלום ממש חוץ מדברים בסיסים כדי לראות שזה עובד צריך לחלץ את הzip אל תקייה במחשב ולא להוציא שום קובץ מהתקייה ולהפעיל את הקובץ torhak.exe מקווה שזה היה קצת תועלת עבדתי על זה ממש איזה קצת זמן היום יצא לי בס"ד חיפוש תורני.zip@yehokarpel
תודה רבה, אבל לא עובד לי כלום, אני לוחץ על ''שאל'' ולא עושה שום דבר. -
ברוך ה הייתה לי התקדמות חשובה לגבי הסינון ביחד עם @es0583292679 יש לי פרוייקט יחסית קצר בשבילי שלא ידרש לי תקופה ארוכה לעשות השאלה כמה זה שימושי בשביל לעשות דבר כזה
לאחרונה מצאתי את המודל: Cohere Embed v3 שזה מודל AI שיודע לקשר שאלה לפי משמעות של הדברים ולא חיפש שהוא רק מתבסס על מילות מפתח וזה יכול לחפש בתוך למאגר חיפוש ענק יצא לי לבחון את זה בערך ויש לזה תוצאות מאד מדויקות מכל סדרת מודלי Embeddings לפחות ככה בדקתי חשבתי פשוט לעשות לספרי יסוד שזה תנ"ך גמרא רש"י תוס' שו"ע \רמ"א לפחות זה בנתים לא בא לי לעבוד סתם שאין לזה כלל שימוש אני עושה סקר לראות למי זה שימושי או לא.
- גם אם המודל הזה יותר טוב מאחרים, אני בכלל לא בטוח שהוא מספיק בשביל שפה תורנית משולבת ארמית. הפתרון: קל להשיג תרגומים לאנגלית לספרי יסוד, ישפר את התוצאות באחוזים רבים.
- תשתמש במודל נוסף לrerank - ישפר לך את התוצאות מאד.
- אתה משתמש בזרימת RAG מיושנת לדעתי, היום הכל agentic.
נ.ב. אם מעניין אותך, כמה ניסויים שלי בתחום
-
- גם אם המודל הזה יותר טוב מאחרים, אני בכלל לא בטוח שהוא מספיק בשביל שפה תורנית משולבת ארמית. הפתרון: קל להשיג תרגומים לאנגלית לספרי יסוד, ישפר את התוצאות באחוזים רבים.
- תשתמש במודל נוסף לrerank - ישפר לך את התוצאות מאד.
- אתה משתמש בזרימת RAG מיושנת לדעתי, היום הכל agentic.
נ.ב. אם מעניין אותך, כמה ניסויים שלי בתחום
@sivan22 כתב בסקר | חיפוש AI תורני בספרי יסוד:
נ.ב. אם מעניין אותך, כמה ניסויים שלי בתחום
בזמנו השתמשתי באיתוריא ומאד נהנתי, אבל זה הפסיק לעבוד. כעת פתחתי שוב וזה עובד אבל נתקע באמצע [כמעט בתחילת] התשובה, ניסתי פעמיים בשאלות שונות.
רשימת המקורות ממשיכה ולא נכנס בצילום, אבל בתשובה עצמה הוא נתקע.
ד"א, יש אתר עם המאגר של אוצריא און ליין או משהו כזה שהוא מחפש שם? איך ניתן להגיע לזה?
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}