שאלה | איזה שרת צריך בשביל פרויקט גדול?
-
@קינג-קומפיוטר @aiib @יעקב-מ-פינס
קודם כל תודה לכולכם!
אני אתמצת שוב כפי שביקשו ואחדד נקודות:
יש ברשותינו מאגר ענק וחשוב של 60,000 קבצים שהם 11,769,728 עמודים! [629 GB]
כלל הקבצים עברו זיהוי תווים מיושן ולא מוצלח,
המטרה כרגע להעביר את כלל הקבצים זיהוי OCR מחדש באמצעות המנוע של תוכנת ABBYY
זהו מנוע הזיהוי המדויק ביותר לעברית,ואכמ"ל.לצורך כך יש צורך במחשב/מחשבים חזקים במיוחד שיעשו את ההמרה במשך זמן הגיוני
המבחן העיקרי שאנחנו עושים פה הוא כמה זמן לוקח לבצע זיהוי ל100 עמודים,ולכן:
עלינו לפעול בשני שלבים:
1] ניסוי ראשוני על המחשב כמה זמן זה לוקח לו,
2] הכפלה בכמות הקבצים הקיימים,יצוין כי מאחר שהתברר לי היום שלא כל העמודים שווים,
ויש עמודים שזמן הזיהוי שלהם עלול להיות פי 10 ויותר מעמודים אחרים שיקחו הרבה פחות זמן!!
לכן נראה לי שהניסוי הראשוני עדיף שיתבצע על כ20 קבצים שונים שבכל אחד יש 100 עמודים או יותר,
זה יתן לכולנו אינדקציה מספיק טובה כדי להעריך את הזמן שיקח לכל הפרוייקט,
ולבדוק את ההיתכנות.אני יביא כאן קישור לדרייב שמכיל 20 קבצים כאלה
ואחכה מכל אחד מהאנשים הנפלאים כאן שיאמר כמה זמן הקבצים האלו ספצפית לקחו למחשב שלו. -
@אלף-שין כתב בשאלה | איזה שרת צריך בשביל פרויקט גדול?:
אני יביא כאן קישור לדרייב שמכיל 20 קבצים כאלה
ואחכה מכל אחד מהאנשים הנפלאים כאן שיאמר כמה זמן זה לקח לו.יהיה לי מסובך גם לעשות ניסיון וגם לבצע.
אני אשמח בלנ"ד אחרי שהניסיון ייצא בהצלחה לקחת חלק מסויים.
אני מאמין שאם במחשבים חלשים יותר (עד עכשיו נראה לי שהמחשב שלי 'מנצח'...) ייתנו תוצאות טובות אז אצלי יהיה עוד יותר טוב.
כמובן שאצטרך הדרכה איך לתעדף את התוכנה שתעבוד דרך הGPU -
@אלף-שין כתב בשאלה | איזה שרת צריך בשביל פרויקט גדול?:
@aiib
למקרה שלך יש לי עוד רעיון:
כלל המאגר נמצא גם בדרייב,
אז אולי נשתף אותך בדרייב הזה
ואז תפעיל סקריפט אוטומטי שכל לילה יפעיל באופן אוטונומי זיהוי על עוד חלק בדרייב?
הרעיון אפשרי?אם אני אבין שהמחשב שלי מאד מאד משמעותי אולי.
כרגע הוא נמצא בחדר שישנים בו והמארז עושה הרבה אור עם משחי נורות לד שזה קצת בעייתי... (לא מצאתי דרך לנטרל...) -
@aiib
אני לא מספיק יודע לענות לך עד כמה המחשב שלך משמעותי במטלה הזאת יחסית למחשבים האחרים שהציעו,
אני מסופק אם יש מישהוא מחברי הפורום שיודע לענות על שאלה כזאת חוץ מהמנהל @אלישי היקר, מקווה שהוא יוכל לבדוק מה שכתבת פה.
ולהחכימנו האם המחשב שלך אכן שווה את ההשקעה?@aiib כתב בשאלה | איזה שרת צריך בשביל פרויקט גדול?:
אפשר להגדיר כשאין עבודה על המחשב אז זה יעבוד?
כי אם כן זה יכול לעשות בכל יום כמה שעות טובות גם בלי הלילהאני מאמין שבגיסרת SDK אפשר,
אבל שוב אני מחכה גם בזה להנ"ל. -
-
@קינג-קומפיוטר
נכון, אבל אלישי לא תמיד זמין,
אני עדיין מחכה שהוא יתפנה לבדוק את הענין
ואז נוכל ללמוד את זה ממנו בעז"ה. -
@אלף-שין
המחשבים שלי- נייד לנובו לגיון
מעבד I7 14700HX
כרטיס מסך RTX 4060
זכרון ראם - 32GB
מחשב מס' 2
לנובו לוק
מעבד I7 13650HX
כרטיס מסך RTX 4060
זכרון ראם 32GBאני מתנצל אבל אין לי זמן לבדוק את זה
אני יכול לתת למישהו את המחשב ללילה לבדוק את זה
בירושלים - נייד לנובו לגיון
![חיפוש גוגל בפורום](javascript:{bootbox.prompt({title:'<div style="text-align: center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400"></div>',placeholder:'כתוב מילים לחיפוש ב Google',buttons:{confirm:{label:'חיפוש'},cancel:{label:'ביטול'}},backdrop:true,callback:function(result){if(result!=null&&result!=''){var a=document.createElement('a');a.href='https://www.google.co.il/search?q=site:mitmachim.top '+encodeURIComponent(result.trim());a.target='_blank';a.click();}}})();};){kind=link}