בקשה | בקשה לעזרה בהקלטות מתומללות של שיעורים והרצאות-לצורך מודל ויספר לא מקוון מותאם לשיעורים!
-
שלום וברכה לכולם, לאחרונה קיבלתי בקשות רבות להכנת מודל תמלול לא מקוון מותאם לדיבור תורני ושיעורים.
ואפרט מעט את הנושא:
כיום במודלים לא מקוונים קיימים סוגים רבים של מודלים, לצורך תמלול שמע קיימים בגדול שני סוגי מודלים, מודל שפה מולטימודלי שהוא בדרך כלל תומך גם בתמלול הקלטות והוא גם מדוייק יותר אך בדרך כלל איטי מאד על מחשב ביתי, ומודלי תמלול ייעודיים שהמפורסם שבהם כיום הוא ויספר של חברת OPEN AI עם מספר גירסאות ורמות.
המודלים הללו מוצלחים מאד לתמלול קול ישראלי רגיל וברור בסביבה נטולת רעשים, אך מי שניסה פעם לתמלל בהם שיעור או הקלטה לא מספיק ברורה גילה שזה לא מתקרב אפילו למקור.
אומנם זה לא קריטי אבל אני רוצה להוסיף הסבר קצר לעניין:
מודל שפה כשהוא מתמלל הוא מסוגל להבין לא רק את המילים עצמם אלא גם את ההקשר בין מילה למילה ולהבין את התוכן הכולל ולתקן לפי זה ולעיתים כבר שלב ההבנה שלו הוא הרבה יותר טוב אך בדיוק מסיבה זו צריכת המשאבים שלו מהמחשב היא גדולה מאד.
בעוד מודל תמלול הוא ייועד מראש לתמלול קולי בלבד ולכן צריכת המשאבים שלו היא קטנה אבל הוא וגבל מאד מראש לתחום שבו אימנו אותו שזה תמלול קול ישראלי רגיל והוא מתבלבל לגמרי כשהוא מגיע לתחום כזה שלא מוכר לו.
אני רוצה לפתור את הבעיה הזו בשני דרכים:- להכניס למול ספרייה תורנית אדירה שקיימת אצלי שכבר הוכחה כיעילה בתוכנת זיהוי כתב היד כך שהמודל יידע להכיר יותר טוב מילים תורניות.
- לאמן את המודל על הקלטות רבות של שיעורים והרצאות רבות בהגייה ישיבתית ועם קולות רקע כך שהמודל יידע חהבין ולקשר הרבה יותר טוב גם הקלטות כאלו.
ובסיום העבודה אקווה שיהיה מודל קטן ממש שכל אחד יוכל להריץ על המחשב בביתו ולתמלל את ההקלטות של שיעורים או כל דבר אחר שמעוניין בו הן בהגייה ישיבתית והן בכל סוג הגייה תורנית שהיא.
מה שאני צריך עזרה ממכם זה בשני נושאים:
1. כל מי שיש לו הקלטות מתומללות של שיעורים או הרצאות מילה במילה בלבד(!!!) אם יוכל להעביר אותם אלי במייל MENI42525@GMAIL.COM.
2. אני זקוק לתרומות בעניין כך שאוכל לשכור את משאבי המיחשוב והבינה המלאכותית הנצרכים לאימון המודל החדש.
אם יהיה כמות גדולה של שיעורים והרצאות וגם כמות מספקת של תרומות המודל יוכל להבנות מחדש לחלוטין בהתאמה מושלמת ומדוייקת לתוכן תורני מה שייתן דיוק עצום וגודל מודל קטן ממש שיוכל לרוץ במהירות אדירה על כל מחשב פשוט.
מי שמעוניין לעזור גם בעניין הכספי מוזמן לפנות במייל הנ"ל או בצאט בפורום כאן.יודגש:
- לא בדקתי מספיק וייתכן שכבר קיימים פיתוחים כאלו.
- איני מתחייב כמה זמן ומאמץ אוכל להשקיע בזה וייתכן שייקח זמן וכל התורם כספים או קבצים לא יוכל לבוא אלי בתביעה בשום שלב.
- הערכת התוצאה הכתובה כאן מבוססות על השערה והערכה בלבד ואין לי כל דרך לדעת מה רמת התוצאה שאני יצליח להגיע אליה ואם היא אכן תשביע את רצון התורמים והמסייעים.
-
-
לצערי הציבור לא נרתם לעזרה... אז נאלצתי לנסות לבד מעט...
מצורף כאן קישור להורדה של מודל מכוון שהכנתי על סמך כמות מסויימת של שיעורים ש רבנים מסויימים, הוא אמור להיות יותר יעיל על שיעורים וקטעי אודיו תורניים.
יש גירסה דחוסה וגירסה מלאה, ייתכן שיש הבדל בינהם אך לא בטוח כלל.
דחוס Q5
מודל מלא
ניתן להשתמש במודלים בתוכנת VIBE ניתנת להורדה מכאן https://thewh1teagle.github.io/vibe/
אשמח לכל מי שינסה להשתמש במודלים וידכן אותי בתוצאות.
אני רק מציין מראש שזה מותאם בפרט לרבנים ספציפיים וכעת בכלל הרבנים השיפור הוא לא גדול אך קיים בהחלט. -
לצערי הציבור לא נרתם לעזרה... אז נאלצתי לנסות לבד מעט...
מצורף כאן קישור להורדה של מודל מכוון שהכנתי על סמך כמות מסויימת של שיעורים ש רבנים מסויימים, הוא אמור להיות יותר יעיל על שיעורים וקטעי אודיו תורניים.
יש גירסה דחוסה וגירסה מלאה, ייתכן שיש הבדל בינהם אך לא בטוח כלל.
דחוס Q5
מודל מלא
ניתן להשתמש במודלים בתוכנת VIBE ניתנת להורדה מכאן https://thewh1teagle.github.io/vibe/
אשמח לכל מי שינסה להשתמש במודלים וידכן אותי בתוצאות.
אני רק מציין מראש שזה מותאם בפרט לרבנים ספציפיים וכעת בכלל הרבנים השיפור הוא לא גדול אך קיים בהחלט. -
@ARISH כל הכבוד.
מניסיון שלי תמלול בעזרת ג'ימיני 3.8, הוא קרוב מאוד למושלם, גם אם הרבה רעשי רקע. והעלות היא לערך שקל לשעת תמלול.
זה דרך נפלאה להשיג הרבה דאטה.
כל טוב! -
@ARISH כל הכבוד.
מניסיון שלי תמלול בעזרת ג'ימיני 3.8, הוא קרוב מאוד למושלם, גם אם הרבה רעשי רקע. והעלות היא לערך שקל לשעת תמלול.
זה דרך נפלאה להשיג הרבה דאטה.
כל טוב! -
וגם יהיה נחמד אם תפרסם את אופן האימון והאם התבססת על וויספר המקורי או על ivrit.ai שעשו לו פיין טיוניג
-
@ARISH לידיעה, הדרך הטובה ביותר היא: לבנות מערכת יחסית פשוטה, שמחלקת את ההקלטה כל חלק לכמה שניות, בנוסף - שולחת (ב-API) את ההקלטה לג'ימיני עם פרומט תואם (זה משנה הרבה את איכות התמלול, וגם מזהה נגיד בין ראש לרא"ש), ואז התוצאה טובה.
ואז לקחת את התמלול (או כמה חטיבות, אם זה שיעור למעלה משעתיים), ולעשות עוד תיקונים קטנים של בעיות תמלול, וכו').*פרומט תואם - הקלט את השיעור הזה, השיעור הוא בנושא תורני וכו', יש בו הבהרה אשכנזית וכו', וכו',
-
-
שלום וברכה לכולם, לאחרונה קיבלתי בקשות רבות להכנת מודל תמלול לא מקוון מותאם לדיבור תורני ושיעורים.
ואפרט מעט את הנושא:
כיום במודלים לא מקוונים קיימים סוגים רבים של מודלים, לצורך תמלול שמע קיימים בגדול שני סוגי מודלים, מודל שפה מולטימודלי שהוא בדרך כלל תומך גם בתמלול הקלטות והוא גם מדוייק יותר אך בדרך כלל איטי מאד על מחשב ביתי, ומודלי תמלול ייעודיים שהמפורסם שבהם כיום הוא ויספר של חברת OPEN AI עם מספר גירסאות ורמות.
המודלים הללו מוצלחים מאד לתמלול קול ישראלי רגיל וברור בסביבה נטולת רעשים, אך מי שניסה פעם לתמלל בהם שיעור או הקלטה לא מספיק ברורה גילה שזה לא מתקרב אפילו למקור.
אומנם זה לא קריטי אבל אני רוצה להוסיף הסבר קצר לעניין:
מודל שפה כשהוא מתמלל הוא מסוגל להבין לא רק את המילים עצמם אלא גם את ההקשר בין מילה למילה ולהבין את התוכן הכולל ולתקן לפי זה ולעיתים כבר שלב ההבנה שלו הוא הרבה יותר טוב אך בדיוק מסיבה זו צריכת המשאבים שלו מהמחשב היא גדולה מאד.
בעוד מודל תמלול הוא ייועד מראש לתמלול קולי בלבד ולכן צריכת המשאבים שלו היא קטנה אבל הוא וגבל מאד מראש לתחום שבו אימנו אותו שזה תמלול קול ישראלי רגיל והוא מתבלבל לגמרי כשהוא מגיע לתחום כזה שלא מוכר לו.
אני רוצה לפתור את הבעיה הזו בשני דרכים:- להכניס למול ספרייה תורנית אדירה שקיימת אצלי שכבר הוכחה כיעילה בתוכנת זיהוי כתב היד כך שהמודל יידע להכיר יותר טוב מילים תורניות.
- לאמן את המודל על הקלטות רבות של שיעורים והרצאות רבות בהגייה ישיבתית ועם קולות רקע כך שהמודל יידע חהבין ולקשר הרבה יותר טוב גם הקלטות כאלו.
ובסיום העבודה אקווה שיהיה מודל קטן ממש שכל אחד יוכל להריץ על המחשב בביתו ולתמלל את ההקלטות של שיעורים או כל דבר אחר שמעוניין בו הן בהגייה ישיבתית והן בכל סוג הגייה תורנית שהיא.
מה שאני צריך עזרה ממכם זה בשני נושאים:
1. כל מי שיש לו הקלטות מתומללות של שיעורים או הרצאות מילה במילה בלבד(!!!) אם יוכל להעביר אותם אלי במייל MENI42525@GMAIL.COM.
2. אני זקוק לתרומות בעניין כך שאוכל לשכור את משאבי המיחשוב והבינה המלאכותית הנצרכים לאימון המודל החדש.
אם יהיה כמות גדולה של שיעורים והרצאות וגם כמות מספקת של תרומות המודל יוכל להבנות מחדש לחלוטין בהתאמה מושלמת ומדוייקת לתוכן תורני מה שייתן דיוק עצום וגודל מודל קטן ממש שיוכל לרוץ במהירות אדירה על כל מחשב פשוט.
מי שמעוניין לעזור גם בעניין הכספי מוזמן לפנות במייל הנ"ל או בצאט בפורום כאן.יודגש:
- לא בדקתי מספיק וייתכן שכבר קיימים פיתוחים כאלו.
- איני מתחייב כמה זמן ומאמץ אוכל להשקיע בזה וייתכן שייקח זמן וכל התורם כספים או קבצים לא יוכל לבוא אלי בתביעה בשום שלב.
- הערכת התוצאה הכתובה כאן מבוססות על השערה והערכה בלבד ואין לי כל דרך לדעת מה רמת התוצאה שאני יצליח להגיע אליה ואם היא אכן תשביע את רצון התורמים והמסייעים.
@ARISH בנוגע לתמלול יש תוכנה שפירסמתי פה שעובדת מעולה רק היא שוקלת 8 גיגה (גרסה ניידת) היא מתמללת בחינם כמה קבצים ביחד ועובדת יחסית ממש טוב גם בעברית...
https://mitmachim.top/topic/100777/מדריך-תוכנה-לתרגום-סרטוני-וידיאו-ארוכים-ללא-תשלום יש לך שם גם תרגום של התוכנה בעברית
-
@ARISH לידיעה, הדרך הטובה ביותר היא: לבנות מערכת יחסית פשוטה, שמחלקת את ההקלטה כל חלק לכמה שניות, בנוסף - שולחת (ב-API) את ההקלטה לג'ימיני עם פרומט תואם (זה משנה הרבה את איכות התמלול, וגם מזהה נגיד בין ראש לרא"ש), ואז התוצאה טובה.
ואז לקחת את התמלול (או כמה חטיבות, אם זה שיעור למעלה משעתיים), ולעשות עוד תיקונים קטנים של בעיות תמלול, וכו').*פרומט תואם - הקלט את השיעור הזה, השיעור הוא בנושא תורני וכו', יש בו הבהרה אשכנזית וכו', וכו',
-
@ARISH בנוגע לתמלול יש תוכנה שפירסמתי פה שעובדת מעולה רק היא שוקלת 8 גיגה (גרסה ניידת) היא מתמללת בחינם כמה קבצים ביחד ועובדת יחסית ממש טוב גם בעברית...
https://mitmachim.top/topic/100777/מדריך-תוכנה-לתרגום-סרטוני-וידיאו-ארוכים-ללא-תשלום יש לך שם גם תרגום של התוכנה בעברית
-
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}