בירור | OCR לזית, המשך

[איש שלו']

כבוד הגאון ר' אליה שליט"א, דמתקרי @לא-מתייאש

העלתי במקום אחר. אבל חשבתי אולי הרעיון הזה יכול למצוא חן בעיניך, ודוקא אתה תדע איך ליישם אותו בצורה טובה וחלקה:

Spoiler

לענ"ד הוא רעיון שיכול לפתוח אופק חדש בכל השימוש בתוכנות תורניות כמו זית ו'אוצריא' קדישא.
אינני האם הוא יתכן מבחינה מעשית - יגידו היודעים, במיוחד לאחר הפצעת אורו של ה־OCR של הרב שלא מתייאש נ"י
והרי אצל הרב @לא-מתייאש - אין דבר כזה @'לא ייתכן' ...

הקבלת כל הספרים שבטקסט - עם מהדורות המקור של הספרים הנדפסים.
מעט הסבר: לצורך הקבלת עמודים לא צריך זיהוי OCR מלא ומדוייק על כל הספר (מה שדרוש כמובן משאבים עצומים), אלא בדיקה מדגמית, זיהוי משפטים ברורים, וקטלוג של כל העמודים.
אולי גם למצוא את המבנה הפנימי של הספר (היינו התוכן - חלקים, פרקים, סימנים, וכו') לפי עיצובים, מילות מפתח, לפי עמודי תוכן העניינים או המפתחות של הספר עצמו. ועוד ועוד.
אולי כדאי גם זיהוי של המבנה החיצוני של הספר (כדי להגדיר מספרי עמודים, אם רוצים להוסיף במהדורת טקסט נקודות ציון לפי עמודי הספר).

התועלת בכך היא עצומה מכמה פנים:

א. תיקונים והגהות:
הלומד במהדורת טקסט, ונתקל במה שנראה לו כמו טעות - יוכל מיד לפתוח במקור ולהשוות, ובמדת הצורך לתקן.

ב. העתקות:
הלומד בספר במהדורה המודפסת [בגלל צורת הדף החזותית או מכל סיבה שהיא] ומעוניין להעתיק קטע בטקסט, או לפתוח מפרשים על פיסקה מסויימת - יוכל לעבור מיד לספר המוקלד במקביל.

ג. עריכה:
תהיה אפשרות להוסיף מערכת שלמה של כותרות לפי הדפים בספר הנדפס

Spoiler

זה נפק"מ לספרים רבים שההתמצאות בהם קשה, כגון שיש בהם עניינים ארוכים שאינם מחולקים בפרקים או כותרות. פעמים רבות מציינים להם לפי מיקום מדוייק בדף ועמוד (לפעמים בע"א ע"ב, ולפעמים כשישנם שני טורים - ע"א ע"ב ע"ג ע"ד)

יישר כחך וחילך לאורייתא. הלוואי על כולם כאלה זכויות...

[לא-מתייאש]

@איש-שלו כתב:

Spoiler

כבוד הגאון ר' אליה שליט"א, דמתקרי @לא-מתייאש

אני לא אוהב לספר על עצמי, אבל זה כבר נהיה מאוד מפריע, אני לא גאון, אני עבדתי יותר מכולם, בצורה קבעוה כל יום במשך שנים, אבל זה קל מידי לקרוא לי גאון. ההורים שלי לא היה להם כסף לשלם לי לימודים, אף שרציתי, למדתי הכל לבד, ואני עד היום ממשיך ללמוד, הOCR הזה עשיתי אותו מהר כי אני חודשים לומד את הנושא של הAI, ולכן זה נהיה קל.
חזרתי על דברים פשוטים כמו הנדסת תוכנה עשרות פעמים עד שזה יכנס לראש שלי עמוק, אני יכול לא לכתוב שורה למשך שבועה כי אני רק חושב איך אני אעשה.
אני מנסה לא לפספס את ההזדמנויות בחיים, אני חושב שהכל לטובה, ז"א שיש תמיד עכישו משהו טוב לעשות, יום ראשון עקרו לי שן (נשאר לי עוד 3 שאני צריך לעקור) אז במקום לשבת ולהתבטל כל יום שני, עבדתי על הOCR הזה, ואת ההזדמנויות האלו שנראים רעים, יש מלא בחיים, ואני מנסה לא לפספס אותם אף פעם.

[u88]

@לא-מתייאש מרגש!!!

[איש שלו']

@לא-מתייאש

א.
מקבל.

ותודה רבה. (על הכל כבר אמרנו. עכשיו גם על זה.)
לימדת אותי פרק חשוב, פותח לב ומחייב מאוד מאוד ! היה שווה ...

Spoiler

אבל עכשיו הסתבכנו.
מסתמא אני אפסיק לקרוא לך גאון [כרצונך]
אבל אולי אצטרך לומר 'מורי ורבי'...

ב.
רפואה שלמה ומהירה בע"ה.

ג.
ואחרי הכל בוא לא נסיח דעת מהעיקר.
אשמח אם הרעיון שלי ימצא חן בעיניך.
אני יכול להבין גם אם לא, ובכל אופן אשמח אם תחכים אותי מה החסרונות בו, או מה כדאי לדייק ולשפר

[לא-מתייאש]

@איש-שלו
זה קשה למצוא את האיזון הנכון בין הבעיה שתיארת, שבה לקורא יש תחושה שיש טעות, לבין העובדה שהתוכנה אמורה לעבוד לגמרי אופליין. אני לא רוצה לאחסן אלפי תמונות — בשביל זה נצטרך לאחסן הכל על שרת, אבל לעשות את זה יהפוך את הפיצ'ר למיותר עבור משהו כמו 70-80% מהמשתמשים.

[איש שלו']

@לא-מתייאש
אולי רק לעשות אופציה למי שרוצה, בספרים שהוא רוצה, להוריד מהברו בוקס וכד', וליצור השוואה והקבלה ביניהם?
[זה ממש לא בקונספט של זית, אני משער, כיוון שזה מכניס הרבה מורכבות והתערבות של המשתמש].

תודה בכל אופן.

[לא-מתייאש]

@איש-שלו כתב:

אולי רק לעשות אופציה למי שרוצה, בספרים שהוא רוצה, להוריד מהברו בוקס וכד', וליצור השוואה והקבלה ביניהם?
[זה ממש לא בקונספט של זית, אני משער, כיוון שזה מכניס הרבה מורכבות והתערבות של המשתמש].

תודה בכל אופן.

אוליי שיהיה 2 מאגרים להרודה, אחד עם התמונות של השורות

[צדיק וטוב לו 0]

@לא-מתייאש כתב:

אני לא גאון

בלשון הקודש יש כמה הסברים למילה גאון.
חלקם זה מלשון גבורה או רוממות.

[drin100]

עידן חדש מגיע!

במקום כמו עד היום, אוצריא נותנת טקסטים לזית, זית נותנת את הספרים לאוצריא!

(את הטכנלוגיה החדישה זית כבר נותנת עד היום..)

@לא-מתייאש, האם אוצריא יוכלו אף הם להשתתף בעריכה בפלטורמה שלהם?
אולי זה יוריד ממך הרבה הרבה עול..

[לא-מתייאש]

@drin100
הייתי רוצה להבהיר את הדברים קודם כל כדי שלא יהיו אי-הבנות. קודם כל, מעולם לא היה שיתוף פעולה בין אוצרייא לזית. זה היה יותר בקטע שאני לוקח את הספרים כי הרישיון מאפשר זאת, והם לוקחים את הקוד שלי כי הרישיון מאפשר זאת, אבל זה לא היה שיתוף, יכלתי לקחת את הספרים בלי שיקחו ממני קוד או טכנולוגיות וזה מה שהיה באמת בהתחלה, והם יכלו לקחת ממני טכנולוגיות בלי לתת לי ספרים. מעולם לא היה הסכם בינינו, ומעולם לא הייתי חלק מהקבוצה של אוצרייא.

בנוגע ל-OCR, כרגע אין לישום זכות חוקית להשתמש בספרים של HebrewBooks או באלו של אוצרות התורה. עכשיו, למרות שאני מנסה לעשות מהלכים כדי להשיג אותם, רוב הארגונים האלה – גם אם יסכימו – יעשו זאת ככל הנראה בתנאי שיוטמעו הגנות מפני העתקה, וכאן הבעיה הופכת לברורה מאליה: אני יכול לקחת אחריות רק על עצמי. כי כן, אני מאמין שהארגונים האלה כנראה יסמכו עליי מבחינת אבטחה; אם אחת מעשר האוניברסיטאות הפוליטכניות הגדולות בעולם ידעה לסמוך עליי ועד היום משתמשת במוצרים שלי באפליקציות שלה, ואם JetBrains ידעו לתת בי אמון ולתמוך בפרויקטים שלי, אז גם הארגונים האלה כנראה יעשו זאת. אבל במקרה של אוצרייא, ובכן, זה הופך להיות הרבה יותר מסובך מבחינה טכנית. אני כמובן לא יכול להתחייב בשמם, אין לזה שום היגיון בהתחשב בכך שלא כתבתי אפילו שורת קוד אחת שם, ואפילו הם עצמם לא יכולים להתחייב, מכיוון שאוצרייא מורכבת כולה מאנשים שמקודדים באמצעות בינה מלאכותית. אני לא חושב שהארגונים האלה יתנו את האמון שלהם בקלוד. ייתכן מאוד שהארגונים האלה אפילו ידרשו לסגור את קוד המקור שלי, ואני כנראה אסכים לכך. לכן אני מצטער, אבל על פניו זה לא נראה אפשרי.

אני רוצה לציין גם שלא פרסמתי את הטכנולוגיות האחרונות שלי, במיוחד את ה-OCR ואת מודל החיפוש הווקטורי, מכיוון שהם אמצעי הלחץ שלי. אני מוכן להעביר אותם אליהם כדי לקבל את הרישיון שלהם, אבל ברור שאם אפיץ אותם, אז אאבד את אמצעי הלחץ שלי. בעולם שבו בינה מלאכותית היא הדבר המבוקש ביותר, אני חושב שאלו אמצעי לחץ אידיאליים ושהם יאפשרו לי להשיג את המטרות שלי. אני באמת מצטער בשביל אוצרייא.

[ע"ה דכו"ע]

@לא-מתייאש כתב:

ייתכן מאוד שהארגונים האלה אפילו ידרשו לסגור את קוד המקור שלי

Spoiler

מה הצורך? וכי אי אפשר ליישם הצפנה בלי להסתיר את הקוד? בכל מקרה הקוד הוא החוליה החלשה ביותר בהצפנה, לא?

עריכה: אני רואה שכבר ענית לי כאן

[יום חדש מתחיל]

@לא-מתייאש כתב:

בנוגע ל-OCR, כרגע אין לישום זכות חוקית להשתמש בספרים של HebrewBooks או באלו של אוצרות התורה. עכשיו, למרות שאני מנסה לעשות מהלכים כדי להשיג אותם, רוב הארגונים האלה – גם אם יסכימו – יעשו זאת ככל הנראה בתנאי שיוטמעו הגנות מפני העתקה, וכאן הבעיה הופכת לברורה מאליה: אני יכול לקחת אחריות רק על עצמי.

ואם הם לא ידרשו זאת?

[בנימין מחשבים]

@לא-מתייאש אני ממליץ לך לפתוח נושא רביעי "קוד פתוח לזית"
אני אישית כבר מאבד את רצף הקריאה, הדיון מחולק ב-3 נושאים שונים...

ולכל המתחננים לקוד פתוח - אתם יודעים שזה ישאר חינמי, כן?
(לצערי, אני בעד דמי רצינות)

Spoiler

בינינו, כמה אנשים כשקוד המקור של קלוד דלף רצו להוריד אותו? וכמה מתוכם עשו עם זה משהו?...

[drin100]

@לא-מתייאש
אל נא יחר אפך ואדברה אך הפעם.

אז אדרבא, אולי ברוב כשרונך תבנה איזה מערכת הגנה על הOCR היפהפה שלך,
ומתנדבי אוצריא/וכד' ישבו על פטלרומה לערוך ספרים?
(בסופו של דבר, האתר של אוצריא יכול להיות הרבה פחות חשוף לקלוד מאשר תוכנת אוצריא עצמה)

כי כמו שכתבת, חבל על הטירדה הזו שתשב עליך, עם ישראל רק יפסיד מכך.

תזכה למצוות, ויישר כוחך על האורך רוח הנדיר שלך.

[לא-מתייאש]

@drin100 כתב:

@לא-מתייאש
אל נא יחר אפך ואדברה אך הפעם.

אז אדרבא, אולי ברוב כשרונך תבנה איזה מערכת הגנה על הOCR היפהפה שלך,
ומתנדבי אוצריא/וכד' ישבו על פטלרומה לערוך ספרים?
(בסופו של דבר, האתר של אוצריא יכול להיות הרבה פחות חשוף לקלוד מאשר תוכנת אוצריא עצמה)

כי כמו שכתבת, חבל על הטירדה הזו שתשב עליך, עם ישראל רק יפסיד מכך.

תזכה למצוות, ויישר כוחך על האורך רוח הנדיר שלך.

אני אאבד את אמצעי הלחץ שלי, כשאתה מוכר משהו, אתה לא יכול לתת את אותו מוצר בחינם למישהו אחר, בפרט שכבר המירו ספרים מhebrew books בלי רשות, אם אני אומר רק לך יהיה את הOCR או רק לך ולאוצרות התורה שבין כה כבר משתפים פעולה, זה עולם אחר

[aass]

היברו בוקס לא נתנו רשות ללא קבלת תמורה לפרויקטים אחרים?

[יום חדש מתחיל]

@aass הם כן נתנו.

[aass]

אז למה @לא-מתייאש צריך להפעיל עליהם אמצעי לחץ?

[יום חדש מתחיל]

פוסט זה נמחק!

[לא-מתייאש]

@aass
אני רוצה את אוצרות התורה, זה הרבה יותר קשה, דבר שני, זה לא אותו דבר לתת PDF בקושי קריא, ולתת רישיון לOCR קסם שהופך כל PDF מיושן לספר כאילו בן אדם היגה אותו ידנית, תדמיין כמה כסף יכלו לעשות עם זה