היו שותפים בפרוייקט זיהוי תווים גדול וחשוב מאד!
-
שלום רב,
כהמשך לרעיון שהעלו בשרשור שם
אני פותח פה את הפרוייקט המיוחד בצורה מסודרת וברורה.[פרוייקט שיתופי של OCR ל60,000 קבצים המכילים 11.7 מיליון עמודים!]
תחילה יש להתקין תוכנה של OCR
כל אחד יוכל לבחור באחד מבין 3 אפשרויות איך לבצע את הזיהוי אצלו,1] בתוכנת ABBYY מכאן או באחד מהכלים האחרים שלהם [SDK /סרבר/עוד]
2] בתוכנת PDF-XChange מכאן {בכלי בשם טולס} [יש להגדיר שיהיה OCR משופר].
3] בתוכנה של רחמים זה מיועד רק למי שקנה את התוכנה מרחמים [ורק אם הרישיון שהוא נותן הוא ללא הגבלה].
בשלושתם יהיה תוצאה טובה שמספיקה לעניינינו.בכל האפשרויות יש צורך גדול להגדיר ששפת הזיהוי היא עברית בלבד!
וזה כדי שלא יהיה פיענוחים שגויים בעשרות שפות אחרות, וגם זה יקצר את העבודה מאד!לאחר מכן כל אחד בוחר את כמות הקבצים שהוא מעונין להמיר,
ומעדכן כאן, או במייל 0556781863A@GMAIL.COM או באישי ואנו נשלח לו למייל קישור לדרייב המכיל תיקייה עם כמות הקבצים שהוא ציין,
בנוסף נשלח לו קישור לתיקייה נוספת בדרייב לשם הוא יעלה את הקבצים לאחר העיבוד,יצוין כי אם מתקינים דרייב לשולחן עבודה,
אפשר לבצע את כל ההמרה כולל ההעלאה לדרייב בלחיצת כפתור אחת!
פשוט כל לילה 'לפני השינה' לוחצים על כפתור אחד וכל הלילה המחשב מעבד עוד ועוד קבצים ומעלה אותם בעצמו לתיקייה הרצויה בדרייב!
מי שרוצה נוכל להדריכו כאן.אם מישהו מוכן לעבוד על כמות גדולה אבל לא מתאים לו להוריד מהדרייב,
ישלח לנו את מיקום מגוריו, ונראה אם שייך להעביר לו את הקבצים ידנית.בהצלחה לכולנו!!
ושיהיה בעז"ה ס"ד גדולה לטובת כולם!!
@אלישי @aiib @האדם-החושב @י-פל @יעקב-מ-פינס @יהודה-12 @אמיר @דאנציג @משה-מזרחי @A0533057932 @NH-LOCAL
לכל תגובה/רעיון לשדרוג נא להגיב רק כאן,
זה נושא מסודר וחדש!כל אחד יכול לעזור ולהוסיף!!
בלי שום התחייבות!
בסוף הכל מצטרף לחשבון גדול!! -
-
-
@אלף-שין כתב בהיו שותפים בפרוייקט זיהוי תווים גדול וחשוב מאד!:
יצוין כי אם מתקינים דרייב לשולחן עבודה,
אפשר לבצע את כל ההמרה כולל ההעלאה לדרייב בלחיצת כפתור אחת!
פשוט כל לילה 'לפני השינה' לוחצים על כפתור אחד וכל הלילה המחשב מעבד עוד ועוד קבצים ומעלה אותם בעצמו לתיקייה הרצויה בדרייב!
מי שרוצה נוכל להדריכו כאן.אני אשמח להדרכה.
זה חוסך להגדיר כל פעם מחדש את ההגדרות בתוכנה?
מה יהיה עם הסימון באקסל בכזה מקרה? -
ק קינג קומפיוטר התייחס לנושא זה
-
@aiib כתב בהיו שותפים בפרוייקט זיהוי תווים גדול וחשוב מאד!:
אני אשמח להדרכה.
זה חוסך להגדיר כל פעם מחדש את ההגדרות בתוכנה?
מה יהיה עם הסימון באקסל בכזה מקרה?זה חוסך להוריד ולהעלות ידנית,
כי כשיש דרייב לשולחן עבודה אז נחשב שההמרה מתבצעת במיקום מוגדר במחשב,
וכך ABBYY יכולה להוריד ולהעלות מהדרייב ללא התעסקות שלך בענין זה.אין שום אקסל,
פשוט אני מכין תיקייה לכל אחד בה יש את כמות הקבצים שהוא בחר.
נ"ב: אני מקווה שאלישי ימצא פתרון להגדיר לABBYY לנצל את המעבד הגרפי, לבינתיים נתחיל עם מה שיש.
@קינג-קומפיוטר כתב בהיו שותפים בפרוייקט זיהוי תווים גדול וחשוב מאד!:
@אלף-שין אתה צריך לעשות הוראות איך להפעיל את ABBYY ואת שאר התוכנות
בלי"נ בקרוב, אני צריך לשבת על זה, זה ממש פשוט.
-
@אמיר כתב בהיו שותפים בפרוייקט זיהוי תווים גדול וחשוב מאד!:
אין איזה מנגנון שמשתמש בכלי של google lens?
הכלי הזה לא נראה לי שיעזור לנו,
שהרי לא שמענו עליו בתור פתרון ל OCR בעברית ברמה גבוהה.נ"ב: ברוכים כל המגיבים הרבים בצ'אט ובמייל
אני מקווה שמחר בבוקר אוכל להתחיל לשלוח לכם שיתופים,
אך שימו לב שצריך לציין לי כמה קבצים לשלוח לכם בשלב זה. -
היום בקשו ממני לסרוק פרק מספר של מישהו שנפטר
כדי להוציא אותו מחדש.כדי לא לחתוך את דפי הספר ולחסוך סריקה
צילמתי אותו בסלולרי ונתתי לגוגל lens להעתיק את הטקסט, והרי הוא לפניך
צילום ממצלמת טלפון ולא סריקה + בעיות אור וצל + עיוות האותיות מחמת קימור הדף
ובכל זאת כמדומני 0 טעויותפרק ביסורין לאור חז"ל
איתא במסכת ערכין דף טז: עד היכן תכלית יסורין פרש"י סוף מדת יסורין כלומר יסורין שאין פחותין מהן אמר רבי אלעזר כל שארגו לו בגד ללבוש ואין מתקבל עליו וכו' גדולה מזו אמרו וכו' אפילו נהפך לו חלוקו וכו' אפילו הושיט ידו לכיס ליטול אפילו נתכוונו למזוג בחמין ומזגו לו בצונן, בצונן ומזגו לו בחמין שלש ועלו בידו שתים וכו' וכל כך למה דתניא דבי רבי ישמעאל כל שעברו עליו ארבעים יום בלא יסורין קיבל עולמו וכו' תניא רבי אליעזר הגדול אומר אלמלא בא הקב"ה עם אברהם יצחק ויעקב בדין אין יכולים לעמוד מפני תוכחה, ע"כ. בעוה"ר אנו מלאים יסורין כרמון וכל אחד ואחד לפי מדרגתו וידוע מה דהוה מרגליה בפומיה דרבינו הגה"צ רבי א"א דסלר זצ"ל ומובא במכתב מאליהו על הא דאיתא בגמרא פסחים שבעוה"ז צריכים לברך על הרעה ברוך דיין האמת ולעתיד לבא הטוב והמטיב היות ושיא השגתנו בעוה"ז כשעדיין מרגיש האדם שהכאבים והיסורין רעים עבורו להצדיק את הדין אבל לעתיד לבא נשיג בהשגתנו את פנימיות כוונת הנהגת הי"ת ובראותינו כיצד היה הכל אך לטובה נוכל לברך הטוב והמטיב עכ"ל, אי אפשר להתעלם שהמכאובים למינהם והיסורין למינהם הן יסורי הגוף והן יסורי הנפש הן ברוחניות והן בגשמיות, הם כואבים חזק חזק וכל אדם במצבו כמעט נחשך עליו עולמו אף שאדם אחר שכבר נמצא בהשגה יותר גבוהה לא מבין האם לזאת ייקרא יסורין והאמת הגמרא מורה לנו מה נקרא יסורין וכנ"ל דכמובן כשאדם מתייסר כשמכניס ידו לכיסו להוציא שלש מטבעות ויוצא שתים בשבילו במצב הזה זה יסורין שצריך שוב להכניס ידו לכיסו ומאידך אדם
-
-
@אמיר
באמת זה עקף בהרבה את ABBYYפרק ביסורין לאוו וזול 11 איתא במסכת ערכין וןי מו: עד מינן תנלית ימח נוזלי 1 סוף נוות יסורין כלומר יסורין שאין מויותין מוזן אמו וני אלוווו 1 גל שארגו לו בגד ללבוש ואין מתקבל עליו ונר נוזליו מיו אמת 1 אפילו נתכוונו למזוג בחמין ומזגו לו בצונן, בצונן ומונו לו גוזמין 1 ונו׳ אפילו נחמן לו חלוקו ונו׳ אפילו הושיט יוו לניס ליפול 1 שלש ועלו בידו שתים ונו׳ ונל נן למה ותניא וני וגי ישמעאל 1 נל שעברו עליו ארבעים יום בלא יסווין קיבל עולמו ונו תניא 1 וני אליעזר הגדול אומר אלמלא בא הקלה עם אנוהס שתן ן ויעקב בדין אין ינולים לעמוד מפני תונחה, <ונ. בעולו אט 1 מלאים יסודן נרמון ונל אחד ואחד לפי מווגתו ויווע מה זהות 1 מוגליה במומיה דרבינו הגה׳׳צ וני איא וטלו זלל ומובא י במנתב מאליהו על הא דאיתא בגמוא פטווים שבעולז צויניט לברך על הרעה ברוך דין האמת ולעתיד לבא הטוב והמטיב היות ושיא השגתנו בעוה״ז נשעדיין מרגיש האדם שהנאביס והיסווין רעים עבורו להצדק את הדן אבל לעתיד לבא נשיג בהשגתנו את פנימיות נוונת הנהגת היית ובראותינו נשו היה הבל אן לטובה נונל לברך הטוב והמטיב ערל, אי אפשו להתעלם שהמנאובים למינהם והיסורין למינהם הן יסוד הגוף והן יטווי הנפש הן ברוחניות והן בגשמיות, הם נואבים חוק חזק ונל אום במצבו נמעט נחשך עליו עולמו אף שאום אחו שנבו נמצא בהשגה יותר גבוהה לא מבין האם לזאת ייקוא יסודן והאמת הגמרא מורה לנו מה נקרא יסודן ונגיל ובמובן נשאום מתייסו נשמנניס ידו לניסו להוציא שלש מטבעות ויוצא שתים בשבילו במצב הזה זה יסודן שצדן שוב להנניס ידו לניסו ומאיון אתו
אך על פניו נראה שזה עובד עם AI
ואין לנו המשאבים המתאימים לזה,
[אגב גם בABBYY יש כלים שעובדים עם AI]. -
-
@aiib כתב בהיו שותפים בפרוייקט זיהוי תווים גדול וחשוב מאד!:
אפשר לחפש בתוצאה שהבאת למעלה?
אענה בקצרה,
כשמטרת הזיהוי היא למצוא ביטוי
אפשר להסתפק ברמת OCR של ABBYY
כי בכל הצילומים הנורמליים קרוב לוודאי שהביטוי ימצא לפחות פעם אחת בעמוד הרלוונטי,
בעיקר מחמת שבד"כ ביטוי חוזר על עצמו בקטע שעוסק בו יותר מפעם אחת,
מה שמספק תוצאת חיפוש לעמוד הרלוונטי באחוזים גבוהים מאד,
וזה בדוק ומנוסה. -
@אלף-שין כתב בהיו שותפים בפרוייקט זיהוי תווים גדול וחשוב מאד!:
ואין לנו המשאבים המתאימים לזה,
המנוע של גוגל לא מותקן על המחשב.
הוא רק בענן.
משלמים פר שימוש.
צריך לבדוק את התמחור ולהחליט אם זה שווה.
או לעשות דף דף בקישור ש @אמיר כתב בהיו שותפים בפרוייקט זיהוי תווים גדול וחשוב מאד!:עריכה:
@אמיר כתב בהיו שותפים בפרוייקט זיהוי תווים גדול וחשוב מאד!:
זה נראה אפי' עוד יותר טוב.
גם זה לא דורש עיבוד על המחשב (מלבד אלפי קריאות לכרום, רק מעבד סביר וראם גדול)
וזה ככה"נ בחינם (עד לחסימה מגוגל...)מישהו כאן יכול לנסות לתרגם את זה לתוכנה, וכל אחד במחשב שלו יסרוק כמה קבצים עם התוכנה הזאת.
העניין הוא רק השילוב לPDF.
לא הבנתי את מטרת הפרוייקט בדיוק. צריך לקבל את הספרים בצורתם המקורית עם אפשרות חיפוש?
או רק קובץ טקסט עם הטקסט שלהם?
אם רק קובץ טקסט, זו לדעתי תהיה האפשרות היעילה ביותר.