בקשת עזרה תוכנה למיון ספרים!

[מישהו12]

@sivan22 יכול להיות יעיל לשלב את הסקריפט באוצריא ביחד עם מנגנון הורדות מהיברובוקס

[אלף שין]

@מישהו12
מה אתה מתכוון?
לאיזה צורך לדוגמא זה יכול לעזור?

[sivan22]

@אלף-שין למה לא להשתמש פשוט בשם הקובץ? קבצים שיורדים מהיברובוקס מתחילים במילה hebrewbooks.

[mefateach]

@אלף-שין אולי אפשר עם ocr

[אלף שין]

@sivan22
יש לי כוננים מלאים בכמה עשרות אלפי ספרים רובם מהיברו בוקס,
והשמות שלהם שונו לשמות האמיתיים,
כעת אני צריך למיין הכל.....
ולכן אין לי פתרון מלבד זה.

@mefateach כתב בשיתוף | שיתוף ובקשת עזרה, תוכנה למיון ספרים!:

אולי אפשר עם ocr

זה לא יהיה מדאי איטי?

[mefateach]

@אלף-שין אין לי מושג רק הצעתי רעיון, אמור להיות ספריות של בינה מלאכותית, ואם זה רק לזהות טקסט קבוע מסתבר שזה הרבה יותר פשוט (בעצם אם הבנתי נכון אתה אפילו לא צריך לזהות את הטקסט אלא רק לבדוק אם מפיע ה״תמונה״ הזאת במסמך)

[אלף שין]

@mefateach
תודה אכן אני רואה שצריך ללכת לכיוון של זיהוי אופטי,
האם מישהו יוכל להדריך אותי,
איזה ספריה צריך להוריד בשביל זיהוי כזה, [שיבדוק אם יש אות W בעמוד הראשון בכל קובץ]
וכן מה לשנות בסקריפט?

[mefateach]

@אלף-שין תגגל על tensorflow
אבל:
@sivan22 כתב בשיתוף | שיתוף ובקשת עזרה, תוכנה למיון ספרים!:

למה לא להשתמש פשוט בשם הקובץ? קבצים שיורדים מהיברובוקס מתחילים במילה hebrewbooks.

@אלף-שין

[אלף שין]

@mefateach
כבר כתבתי ששינו כבר את השמות לשמות האמיתיים,
מדובר על 600 גיגה שאני צריך למיין.

[sivan22]

@אלף-שין בשביל OCR תוכל להשתמש בtesseract. יש להם גם API לפייתון.
אבל אני מאמין שתוכל עם ספריה כמו PDFPY2 למצוא אם יש תיבת טקסט, כמו שהצעת, וזה יותר פשוט.

[אלף שין]

@sivan22 כתב בשיתוף | שיתוף ובקשת עזרה, תוכנה למיון ספרים!:

אבל אני מאמין שתוכל עם ספריה כמו PDFPY2 למצוא אם יש תיבת טקסט, כמו שהצעת, וזה יותר פשוט.

ניסיתי קרוב ל40 פעם [עם כל מיני שינויים ותיקונים כל פעם] ולא הצלחתי.

@sivan22 כתב בשיתוף | שיתוף ובקשת עזרה, תוכנה למיון ספרים!:

בשביל OCR תוכל להשתמש בtesseract

אפשר להוריד באמצעות PIP?

[יום חדש מתחיל]

@אלף-שין כתב בשיתוף | שיתוף ובקשת עזרה, תוכנה למיון ספרים!:

בשביל OCR תוכל להשתמש בtesseract

אפשר להוריד באמצעות PIP?

וודאי, רק תכתוב באותיות קטנות, ותשים לב כשאתה מעתיק לא להעתיק את ה-ב' שבתחילת המילה.

Spoiler

מחכים כבר מאוד להודעה הדרמטית שלך.........

[mefateach]

לא ממומלץ ocr זה הרבה יותר מורכב מאשר רק לזהות אם תמונה מסוימת קיימת בטוח יש מודולים שמזהים את זה תגגל

[אלף שין]

@mefateach
הלוואי.

[יום חדש מתחיל]

@אלף-שין כתב בשיתוף | שיתוף ובקשת עזרה, תוכנה למיון ספרים!:

ניסיתי קרוב ל40 פעם [עם כל מיני שינויים ותיקונים כל פעם] ולא הצלחתי.

אני מאמין שהוא התכוין לזה:

pip install PyPDF2

[אלף שין]

@יום-חדש-מתחיל
הספריה הזאת PyPDF2 לא מזהה,
בדקתי בעשרות הגדרות שניסיתי.

[אלף שין]

@mefateach כתב בשיתוף | שיתוף ובקשת עזרה, תוכנה למיון ספרים!:

@אלף-שין תגגל על tensorflow

לא, זה מדאי כבד לי,
אני צריך בסך הכל שיהיה חע סקריפט שעובד על קבצי הPDF
שהשקריפט לא זיהה בהם בעמוד הראשון את התו W,
במקרה כזה הסקריפט יעשה OCR לעמוד הראשון בלבד,
ואז יחפש אם יש את התו W.

[יום חדש מתחיל]

פוסט זה נמחק!

[יום חדש מתחיל]

@אלף-שין כתב בשיתוף | שיתוף ובקשת עזרה, תוכנה למיון ספרים!:

הספריה הזאת PyPDF2 לא מזהה

https://pypi.org/project/PyPDF2/

pip install PyPDF2

עריכה: עכשיו אני רואה שהסקריפט שכתבת למעלה גם משתמש בספרי' הזו...

[yzahn]

@אלף-שין

from pypdf import PdfReader
 
def is_hebrew_books(file):
    reader = PdfReader(file)
    annotations = reader.pages[0].annotations
    for annotation in annotations:
        if annotation.get("/Subtype") == "/Link" and annotation.get("/A").get("/URI") == "http://www.hebrewbooks.org":
            return True
    return False

נ.ב. בדקתי רק על שני קבצים