סקר | חיפוש AI תורני בספרי יסוד
-
ברוך ה הייתה לי התקדמות חשובה לגבי הסינון ביחד עם @es0583292679 יש לי פרוייקט יחסית קצר בשבילי שלא ידרש לי תקופה ארוכה לעשות השאלה כמה זה שימושי בשביל לעשות דבר כזה
לאחרונה מצאתי את המודל: Cohere Embed v3 שזה מודל AI שיודע לקשר שאלה לפי משמעות של הדברים ולא חיפש שהוא רק מתבסס על מילות מפתח וזה יכול לחפש בתוך למאגר חיפוש ענק יצא לי לבחון את זה בערך ויש לזה תוצאות מאד מדויקות מכל סדרת מודלי Embeddings לפחות ככה בדקתי חשבתי פשוט לעשות לספרי יסוד שזה תנ"ך גמרא רש"י תוס' שו"ע \רמ"א לפחות זה בנתים לא בא לי לעבוד סתם שאין לזה כלל שימוש אני עושה סקר לראות למי זה שימושי או לא.
@yehokarpel נראה לי ש @לא-מתייאש יש איזה רעיון כזה.
-
ברוך ה הייתה לי התקדמות חשובה לגבי הסינון ביחד עם @es0583292679 יש לי פרוייקט יחסית קצר בשבילי שלא ידרש לי תקופה ארוכה לעשות השאלה כמה זה שימושי בשביל לעשות דבר כזה
לאחרונה מצאתי את המודל: Cohere Embed v3 שזה מודל AI שיודע לקשר שאלה לפי משמעות של הדברים ולא חיפש שהוא רק מתבסס על מילות מפתח וזה יכול לחפש בתוך למאגר חיפוש ענק יצא לי לבחון את זה בערך ויש לזה תוצאות מאד מדויקות מכל סדרת מודלי Embeddings לפחות ככה בדקתי חשבתי פשוט לעשות לספרי יסוד שזה תנ"ך גמרא רש"י תוס' שו"ע \רמ"א לפחות זה בנתים לא בא לי לעבוד סתם שאין לזה כלל שימוש אני עושה סקר לראות למי זה שימושי או לא.
@yehokarpel
דבר ראשון:
אתה יודע מה זה rag?
אם כן - המשך, אני מחזק את ידיך.
אם לא - תדע שצריך לזה יותר ידע ממה שאתה חושב. -
ברוך ה הייתה לי התקדמות חשובה לגבי הסינון ביחד עם @es0583292679 יש לי פרוייקט יחסית קצר בשבילי שלא ידרש לי תקופה ארוכה לעשות השאלה כמה זה שימושי בשביל לעשות דבר כזה
לאחרונה מצאתי את המודל: Cohere Embed v3 שזה מודל AI שיודע לקשר שאלה לפי משמעות של הדברים ולא חיפש שהוא רק מתבסס על מילות מפתח וזה יכול לחפש בתוך למאגר חיפוש ענק יצא לי לבחון את זה בערך ויש לזה תוצאות מאד מדויקות מכל סדרת מודלי Embeddings לפחות ככה בדקתי חשבתי פשוט לעשות לספרי יסוד שזה תנ"ך גמרא רש"י תוס' שו"ע \רמ"א לפחות זה בנתים לא בא לי לעבוד סתם שאין לזה כלל שימוש אני עושה סקר לראות למי זה שימושי או לא.
@yehokarpel זה נשמע טוב מאד, אם תצליח לעשות את זה
ואם כבר עוסקים בזה יש לי רעיון בשבילך שממש יכול לעשות משהו אדיר!!!!!!
בזמנו הצעתי את זה ל @sivan22 לשלבו באוצריא אבל לא יצא מזה כלום
יש אתר של שאלות הלכתיות כמעט בכל תחום עם תשובות מפורטות ומנומקות (ברמה כזו או אחרת) אתר דין, https://din.org.il/
וזה רבנים חרדים לגמרי וכו', אזי באמת יש שם ים של תורה, כיון שכל תשובה היא מנומקת, ומקורות, אזי אם אפשר להוריד את האתר לשימוש לא מקוון, ולעשות שיעשה חיפוש ע''י AI בתוך התשובות [כמובן אני לא מתכוון ח''ו שהAI יפסוק אלא רק יציין לתשובות דומות] אזי זה יכול להיות מראה מקומות ממש מוצלח ללומד, מי שמכיר את האתר יודע שיש שם ים של תורה -
@yehokarpel זה נשמע טוב מאד, אם תצליח לעשות את זה
ואם כבר עוסקים בזה יש לי רעיון בשבילך שממש יכול לעשות משהו אדיר!!!!!!
בזמנו הצעתי את זה ל @sivan22 לשלבו באוצריא אבל לא יצא מזה כלום
יש אתר של שאלות הלכתיות כמעט בכל תחום עם תשובות מפורטות ומנומקות (ברמה כזו או אחרת) אתר דין, https://din.org.il/
וזה רבנים חרדים לגמרי וכו', אזי באמת יש שם ים של תורה, כיון שכל תשובה היא מנומקת, ומקורות, אזי אם אפשר להוריד את האתר לשימוש לא מקוון, ולעשות שיעשה חיפוש ע''י AI בתוך התשובות [כמובן אני לא מתכוון ח''ו שהAI יפסוק אלא רק יציין לתשובות דומות] אזי זה יכול להיות מראה מקומות ממש מוצלח ללומד, מי שמכיר את האתר יודע שיש שם ים של תורה@menajemmendel כתב בסקר | חיפוש AI תורני בספרי יסוד:
אזי אם אפשר להוריד את האתר לשימוש לא מקוון
אולי - כדבר ראשון - תפנה אליהם ותשאל אותם תיאורטית?
-
@yehokarpel זה נשמע טוב מאד, אם תצליח לעשות את זה
ואם כבר עוסקים בזה יש לי רעיון בשבילך שממש יכול לעשות משהו אדיר!!!!!!
בזמנו הצעתי את זה ל @sivan22 לשלבו באוצריא אבל לא יצא מזה כלום
יש אתר של שאלות הלכתיות כמעט בכל תחום עם תשובות מפורטות ומנומקות (ברמה כזו או אחרת) אתר דין, https://din.org.il/
וזה רבנים חרדים לגמרי וכו', אזי באמת יש שם ים של תורה, כיון שכל תשובה היא מנומקת, ומקורות, אזי אם אפשר להוריד את האתר לשימוש לא מקוון, ולעשות שיעשה חיפוש ע''י AI בתוך התשובות [כמובן אני לא מתכוון ח''ו שהAI יפסוק אלא רק יציין לתשובות דומות] אזי זה יכול להיות מראה מקומות ממש מוצלח ללומד, מי שמכיר את האתר יודע שיש שם ים של תורה@menajemmendel אפשרי אבל דרוש עבודה לזה אני חושב אולי אני יפרסם את הקוד שאני עושה את זה בגיהב שיהיה לאנשים בקוד פתוח או להוסיף מקום שאפשר לצרף ספרים למאגר אבל קודם כל אני יחכה שזה יהיה מוכן בלי נדר שיהיה התרשמות ראשונית כדי לגבש אנשים שיעלו ספרים אבל אני צפציפית התרשמתי ביותר מAI הזה תודה על הרעיון
@י.-פל. כתב בסקר | חיפוש AI תורני בספרי יסוד:
אתה יודע מה זה rag?
בגדול למדתי את הרעיון של זה אבל הצלחתי לבנות קוד שמחפש ונותן תוצאות מהספר למשל נתתי לזה לחפש בלבוש שאלתי שאלה כזאת האם שמברכים על משהוא ומזכרים בברכה הידור שלא קיים במצווה האם זה נחשב כשקר? וזה מצא לי את מה שכתב על זה הלבוש אאל"ט שלגבי ציצית שמברך בפתח זה נחשב שקר כי אין לו תכלת בציצית בגדול זה מצא מקור מדויק למה ששלאתי נסתי את זה בשולחן ערוך וגם עבד התפלאתי מהצורה המדויקת יחסית שזה מוצא אבל צריך לכוון למה שאתה מחפש כדי שזה ימצא
-
זה נותן מקורות קרובים לשאלה המקור הראשון הכי דומה שהוא מצא לשאלה והשני פחות והשלישי פחות כנל לעוד מקורות
-
-
-
-
@menajemmendel אפשרי אבל דרוש עבודה לזה אני חושב אולי אני יפרסם את הקוד שאני עושה את זה בגיהב שיהיה לאנשים בקוד פתוח או להוסיף מקום שאפשר לצרף ספרים למאגר אבל קודם כל אני יחכה שזה יהיה מוכן בלי נדר שיהיה התרשמות ראשונית כדי לגבש אנשים שיעלו ספרים אבל אני צפציפית התרשמתי ביותר מAI הזה תודה על הרעיון
@י.-פל. כתב בסקר | חיפוש AI תורני בספרי יסוד:
אתה יודע מה זה rag?
בגדול למדתי את הרעיון של זה אבל הצלחתי לבנות קוד שמחפש ונותן תוצאות מהספר למשל נתתי לזה לחפש בלבוש שאלתי שאלה כזאת האם שמברכים על משהוא ומזכרים בברכה הידור שלא קיים במצווה האם זה נחשב כשקר? וזה מצא לי את מה שכתב על זה הלבוש אאל"ט שלגבי ציצית שמברך בפתח זה נחשב שקר כי אין לו תכלת בציצית בגדול זה מצא מקור מדויק למה ששלאתי נסתי את זה בשולחן ערוך וגם עבד התפלאתי מהצורה המדויקת יחסית שזה מוצא אבל צריך לכוון למה שאתה מחפש כדי שזה ימצא
-
ברוך ה הייתה לי התקדמות חשובה לגבי הסינון ביחד עם @es0583292679 יש לי פרוייקט יחסית קצר בשבילי שלא ידרש לי תקופה ארוכה לעשות השאלה כמה זה שימושי בשביל לעשות דבר כזה
לאחרונה מצאתי את המודל: Cohere Embed v3 שזה מודל AI שיודע לקשר שאלה לפי משמעות של הדברים ולא חיפש שהוא רק מתבסס על מילות מפתח וזה יכול לחפש בתוך למאגר חיפוש ענק יצא לי לבחון את זה בערך ויש לזה תוצאות מאד מדויקות מכל סדרת מודלי Embeddings לפחות ככה בדקתי חשבתי פשוט לעשות לספרי יסוד שזה תנ"ך גמרא רש"י תוס' שו"ע \רמ"א לפחות זה בנתים לא בא לי לעבוד סתם שאין לזה כלל שימוש אני עושה סקר לראות למי זה שימושי או לא.
@yehokarpel כתב בסקר | חיפוש AI תורני בספרי יסוד:
לאחרונה מצאתי את המודל: Cohere Embed v3 שזה מודל AI שיודע לקשר שאלה לפי משמעות של הדברים ולא חיפש שהוא רק מתבסס על מילות מפתח וזה יכול לחפש בתוך למאגר חיפוש ענק יצא לי לבחון את זה בערך ויש לזה תוצאות מאד מדויקות מכל סדרת מודלי Embeddings לפחות ככה בדקתי
יותר טוב מ-Gemini Embedding (עם מגבלות שימוש נדיבות בחינמי)?
-
@yehokarpel כתב בסקר | חיפוש AI תורני בספרי יסוד:
לאחרונה מצאתי את המודל: Cohere Embed v3 שזה מודל AI שיודע לקשר שאלה לפי משמעות של הדברים ולא חיפש שהוא רק מתבסס על מילות מפתח וזה יכול לחפש בתוך למאגר חיפוש ענק יצא לי לבחון את זה בערך ויש לזה תוצאות מאד מדויקות מכל סדרת מודלי Embeddings לפחות ככה בדקתי
יותר טוב מ-Gemini Embedding (עם מגבלות שימוש נדיבות בחינמי)?
פוסט זה נמחק! -
@yehokarpel כתב בסקר | חיפוש AI תורני בספרי יסוד:
לאחרונה מצאתי את המודל: Cohere Embed v3 שזה מודל AI שיודע לקשר שאלה לפי משמעות של הדברים ולא חיפש שהוא רק מתבסס על מילות מפתח וזה יכול לחפש בתוך למאגר חיפוש ענק יצא לי לבחון את זה בערך ויש לזה תוצאות מאד מדויקות מכל סדרת מודלי Embeddings לפחות ככה בדקתי
יותר טוב מ-Gemini Embedding (עם מגבלות שימוש נדיבות בחינמי)?
@א.מ.ד. כן זה יותר טוב
-
@yehokarpel
אני מאוד אשמח, אם תשקיע יותר בRAG יעיל ואיכותי, כך שהמנוע לא יצטרך לפלוט תשובות, אלא רק לעבד את המקורות, ולהצביע על המקורות הנכונים.
מה נרוויח?- הסרת התנגדות מAI.
- הפחתת הזיות ושגיאות כתיב.
- [ופה העיקר], הפחתה משמעותית מאוד של זמן העיבוד, כך שאולי יש סיכוי שנוכל להריץ זאתעם מודלים קטנים על מחשבים חלשים.
-
@yehokarpel
אני מאוד אשמח, אם תשקיע יותר בRAG יעיל ואיכותי, כך שהמנוע לא יצטרך לפלוט תשובות, אלא רק לעבד את המקורות, ולהצביע על המקורות הנכונים.
מה נרוויח?- הסרת התנגדות מAI.
- הפחתת הזיות ושגיאות כתיב.
- [ופה העיקר], הפחתה משמעותית מאוד של זמן העיבוד, כך שאולי יש סיכוי שנוכל להריץ זאתעם מודלים קטנים על מחשבים חלשים.
-
@yehokarpel
החזון שלי, הוא להריץ זאת עם GEMMA [בטח כעת יצא חדש, אחרי ג'מיני 3], על מחשב של אברך עם סלרון.
לדעתי, אם 98% מהחישובים יהיה רק בקלט, יש לזה סיכוי טוב.@י.-פל. כתב בסקר | חיפוש AI תורני בספרי יסוד:
@yehokarpel
החזון שלי, הוא להריץ זאת עם GEMMA [בטח כעת יצא חדש, אחרי ג'מיני 3], על מחשב של אברך עם סלרון.
לדעתי, אם 98% מהחישובים יהיה רק בקלט, יש לזה סיכוי טוב.יש GEMMA3 Embedding עם 300M פרמטרים. זה יכול לרוץ אפילו על נגנים במהירות יחסית. אבל מודלי הטמעות מתאימים רק לחיפוש ואחזור מידע, כך שאם אתה רוצה שהתוכנה תוכל לחפש תשובות על שאלות בשפה טבעית תהיה חייב לשלב מודל שפה רגיל שישתמש ב-RAG. לזה אפשר אולי להשתמש בדיקטה 3.0 החדש.
-
טוב אני משחרר את מה שעשיתי בנתים את הקוד הנסיוני כל אחד שיגיד איך שזה עובד יש רשימה של קבצים שבתוכם התוכן של הספרים עצמם:
rashi.txt
tosafot.txt
gemara.txt
shulchan_aruch.txt
rambam.txt
לא מילאתי בהם כלום ממש חוץ מדברים בסיסים כדי לראות שזה עובד צריך לחלץ את הzip אל תקייה במחשב ולא להוציא שום קובץ מהתקייה ולהפעיל את הקובץ torhak.exe מקווה שזה היה קצת תועלת עבדתי על זה ממש איזה קצת זמן היום יצא לי בס"ד חיפוש תורני.zip -
אפשר לערוך ולשנות את התוכן בקבצים: rashi.txt
tosafot.txt
gemara.txt
shulchan_aruch.txt
rambam.txt
לאיזה ספר שאתם רוצים למשל אני לקחתי בויקיטקסט אולי אחרי זה אני יוסיף תמיכה לזה שזה יעבוד גם לpdf או json כו' -
Y yehokarpel התייחס לנושא זה
-
טוב אני משחרר את מה שעשיתי בנתים את הקוד הנסיוני כל אחד שיגיד איך שזה עובד יש רשימה של קבצים שבתוכם התוכן של הספרים עצמם:
rashi.txt
tosafot.txt
gemara.txt
shulchan_aruch.txt
rambam.txt
לא מילאתי בהם כלום ממש חוץ מדברים בסיסים כדי לראות שזה עובד צריך לחלץ את הzip אל תקייה במחשב ולא להוציא שום קובץ מהתקייה ולהפעיל את הקובץ torhak.exe מקווה שזה היה קצת תועלת עבדתי על זה ממש איזה קצת זמן היום יצא לי בס"ד חיפוש תורני.zip@yehokarpel
תודה רבה, אבל לא עובד לי כלום, אני לוחץ על ''שאל'' ולא עושה שום דבר
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}