שאלה | איזה שרת צריך בשביל פרויקט גדול?

[אלף שין]

שלום רב,
אני מבקש לדעת בהקדם האפשרי
איזה שרת לשכור בשביל פרויקט חשוב וגדול מאד,

מדובר ב 70,000 קבצי PDF סרוקים, שאני רוצה לעשות להם OCR לעברית באמצעות ABBYY באופן חד פעמי ובתוך שבוע-שבועיים מקסימום [עדיף פחות...]

הקבצים רובם בעלי 100-300 עמודים, נפח הקבצים הכולל הוא 750GB

אשמח למידע:
1] איזה שרת מתאים לזה, מהם הדרישות מהשרת?
2] היכן ניתן לשכור שרת בסדר גודל כזה בזול?

אני מתייג פה כמה מומחים גדולים שנראה לי רלונטיים במיוחד לענין.

@A0533057932 @אבי_770 @לא-מתייאש @משחזר-מידע @צדיק-תמים @כולם....

תודה ענקית מראש!!
זה יעזור בעתיד להרבה אנשים בעז"ה!!

[אלף שין]

@אלישי
האם נראה לך אוכל להשיג משהו זול יותר ממה שמציעה הAI?
[מאמין שאתה מבין בשרתים חזקים בגלל הפורום הנפלא!]

להלן מה שכתב הAI
דרישות מהשרת:

1. עיבוד: ABBYY OCR הוא תוכנה כבדה שדורשת עיבוד מהיר. רקומנדציה: שרת עם לפחות 16 גרעיני CPU, עדיף 32 גרעיני CPU או יותר.
2. זיכרון: עם נפח קבצים כה גדול, תצטרך זיכרון RAM נדיב. רקומנדציה: לפחות 64GB RAM, עדיף 128GB RAM או יותר.
3. אחסון: 750GB הוא נפח גדול, אז תצטרך שרת עם אחסון מספיק. רקומנדציה: שרת עם לפחות 1TB של אחסון, עדיף 2TB או יותר.
4. מהירות: כדי לסיים את הפרויקט בתוך שבוע-שבועיים, תצטרך שרת עם מהירות קריאה/כתיבה מהירה. רקומנדציה: שרת עם SSD (Solid State Drive) או NVMe.

איזה שרת מתאים:

1. שרת ענן: שרתי ענן כמו Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform (GCP) או IBM Cloud הם פתרון טוב. הם מאפשרים לך לשכור שרתים חזקים לתקופה קצרה.
2. שרת השכרה: חברות כמו OVH, Hetzner, LeaseWeb או Liquid Web הציעו שרתי השכרה חזקים.

היכן לשכור שרת בסדר גודל כזה בזול:

1. AWS: AWS מציעה שרתים חזקים במחירים תחרותיים. תוכל לשכור שרת c5.24xlarge עם 48 גרעיני CPU, 192GB RAM, 1TB SSD ו-10GbE תשדור/קליטה בכ-1,500$ לחודש.
2. Google Cloud: GCP מציעה שרתים חזקים במחירים תחרותיים. תוכל לשכור שרת n1-standard-96 עם 96 גרעיני CPU, 360GB RAM, 1TB SSD ו-10GbE תשדור/קליטה בכ-1,800$ לחודש.
3. OVH: OVH מציעה שרתי השכרה חזקים במחירים תחרותיים. תוכל לשכור

[אלף שין]

@אלף-שין

רעיון חדש: מישהוא יכול לבדוק לי האם אפשר לשכור כזה שירות מחברת ABBYY בעצמם? וכמה זה עולה?

@י-פל

עריכה- שלחתי להם שאלה כזאת, ממתין לתשובתם,
בינתיים ממתין למידע ממכם על שרת וירטואלי כזה.

[אלישי]

@אלף-שין אני ממליץ על AWS, זה יעלה לך מחיר יקר, אבל אני מאמין שיש לך סכום שהקצית עבור הפרויקט השאפתני הזה.
אבל אשמח לדעת למה שלא תעשה את זה על המחשב הביתי שלך (או שתקנה מחשב חדש במחיר שתשלם לAWS)? למה אתה צריך שרת?
לדעתי הסכום שהוא כתב לך על השרת של AWS עם המפרט הזה, מידי חורג ממה שאתה צריך, אבל אם אבין טוב יותר מה הרעיון שעומד מאחורי השרת, אוכל לעזור ואוכל להיות יותר ספציפי.

[יום חדש מתחיל]

@אלישי אתה חושב שאפשר להריץ את זה על מחשב ביתי??
מוזר, כנראה אתה לא מכיר את ABBYY, זה תוכנה שדורשת משאבים גדולים מאוד מאוד.
על כל ספר בפני עצמו, ייקח לו לפחות שעתיים במקרה הטוב ביותר.

[אלישי]

@יום-חדש-מתחיל תלוי מה המשאבים של המחשב הביתי שלו. לא חסרים היום מחשבים שיביאו ביצועים שיספיקו לפרויקט הזה.

[יום חדש מתחיל]

@אלישי מחשב של I5 דור 8 16 ג"ב, על זה הבאתי את הנתונים שכתבתי.
וכשרק ABBYY פועל

[משחזר מידע]

@אלישי כתב בשאלה | איזה שרת צריך בשביל פרויקט גדול?:

תלוי מה המשאבים של המחשב הביתי שלו.

כשמדובר ב14,000,000~ עמודים בתוך מקסימום שבועיים?
(פחות מעשירית השניה לעמוד)

[קינג קומפיוטר]

@אלף-שין נראה שיש להם פיתרון ייעודי עבור זה אז למה שלא תשאל אותם בדיוק מה צריך בשביל פרוייקט כזה
https://abbyy.co.il/finereader-server/
@יום-חדש-מתחיל מעבד אפרוח...
אני משער שכרטיס גרפי חזק גם יוכל לעזור

[אלישי]

@משחזר-מידע צודק, האמת שבדקתי ולפי החישוב אצלי של 2-3 שניות לעמוד זה עדיין יוצא 23-47 ימים לפי מספר עמודים של 200 בממוצע.

[אלישי]

@קינג-קומפיוטר כתב בשאלה | איזה שרת צריך בשביל פרויקט גדול?:

ראה שיש להם פיתרון ייעודי עבור זה

הוא ציין בפוסט קודם שהוא פנה אליהם, זה מה שנראה לי באמת הרעיון הכי טוב, במידה וכמובן זה יהיה במחיר סביר.

[יהודה 12]

@אלף-שין אם זה יעזור יש לי מחשב נייד להשכרה
מיועד לגרפיקה
מעבדI7 14700HX
כרטיס גרפי RTX 4060
32 ג"ב ראם
אם זה יעזור אני יכול לתת אותו במחיר מוזל (300 ש"ח לשבועיים)

[משחזר מידע]

@יהודה-12 כתב בשאלה | איזה שרת צריך בשביל פרויקט גדול?:

אם זה יעזור יש לי מחשב נייד להשכרה
מיועד לגרפיקה

השתא דאתית להכי
@אלף-שין אולי יש מצב לחלק את העבודה לשתיים 3/4/5 מחשבים כאלה ויצא יותר זול

[אלף שין]

תודה רבה לכולם על המענה היעיל,
אני רואה שצריך קצת יותר לצלול לפרטים כדלהלן:

תחילה אקדים שהספקתי לדבר עם ABBYY ומתברר שהם לא מספקים שרת להמרה,
אפשר לרכוש אצלם אך ורק את הרישיון,
והמחיר במקרה כזה הוא אסטרונומי
[הם רוצים 10,000 יורו לכל מיליון עמודים!, שזה יוצא כמה מאות אלפי ש"ח למאגר שהוא כולו יהיה חינמי בעז"ה ובלי מקורות מימון כמעט!]
חוצמזה צריך לשכור שרת בנפרד ממישהוא אחר..... אין להם....

למדנו מזה שאין מה לקבל מהחברה [כיון שאין להם שרת]
לא מבחינת רישיון ולא מבחינת עצם השרת [אין להם בכלל],

מה שנשאר זה לברר על שכירת שרת -ואו מחשב חזק, והמרה עצמאית, וכפי שהציעו כאן,

@אלישי כתב בשאלה | איזה שרת צריך בשביל פרויקט גדול?:

אני ממליץ על AWS, זה יעלה לך מחיר יקר, אבל אני מאמין שיש לך סכום שהקצית עבור הפרויקט השאפתני הזה.

יתכן, רק תוכל להכווין אותי איזה שרת אני צריך לפרויקט הזה?

@אלישי כתב בשאלה | איזה שרת צריך בשביל פרויקט גדול?:

אבל אם אבין טוב יותר מה הרעיון שעומד מאחורי השרת, אוכל לעזור ואוכל להיות יותר ספציפי.

כלומר? זה לצורך זיהוי תווים בתוכנת ABBYY.

@יום-חדש-מתחיל כתב בשאלה | איזה שרת צריך בשביל פרויקט גדול?:

על כל ספר בפני עצמו, ייקח לו לפחות שעתיים במקרה הטוב ביותר.

יש ספרים שאני מצליח תוך כ10 דקות, עכ"פ לי זה לא עוזר.

@משחזר-מידע כתב בשאלה | איזה שרת צריך בשביל פרויקט גדול?:

כשמדובר ב14,000,000~ עמודים בתוך מקסימום שבועיים?

נראה לי יותר בכיוון של 6 מיליון עמודים, ואם זה יהיה חודש גם טוב [בתנאי שלא יתנתק לי באמצע...]

@אלישי כתב בשאלה | איזה שרת צריך בשביל פרויקט גדול?:

@משחזר-מידע צודק, האמת שבדקתי ולפי החישוב אצלי של 2-3 שניות לעמוד זה עדיין יוצא 23-47 ימים לפי מספר עמודים של 200 בממוצע.

יש מחשב שיכול לעבוד כך ברצף בלי להישרף?
ומה אני יעשה אם יש הפסקת חשמל?
זה ריאלי בלי שרת?

@יהודה-12 כתב בשאלה | איזה שרת צריך בשביל פרויקט גדול?:

@אלף-שין אם זה יעזור יש לי מחשב נייד להשכרה
מיועד לגרפיקה
מעבדI7 14700HX
כרטיס גרפי RTX 4060
32 ג"ב ראם
אם זה יעזור אני יכול לתת אותו במחיר מוזל (300 ש"ח לשבועיים)

אולי תבדוק שניה כמה זמן לוקח להמיר 100 עמודים סרוקים?
אדרבה, אם זה בזמן סביר זה וודאי יהיה שווה בגדול!!

[משחזר מידע]

@אלף-שין כתב בשאלה | איזה שרת צריך בשביל פרויקט גדול?:

יש מחשב שיכול לעבוד כך ברצף בלי להישרף?

אם מתחמם מידי תוכל להפעיל מזגן

@אלף-שין כתב בשאלה | איזה שרת צריך בשביל פרויקט גדול?:

ומה אני יעשה אם יש הפסקת חשמל?

שים אל פסק/גנרטור

[אלף שין]

@משחזר-מידע
תודה,
אני מבין שיש פתרון [שלא רלוונטי למשתמש ביתי קלאסי]
השאלה היא איך אני מיישם אותו?
כלומר האם יש חברה שיכולה בתשלום להפעיל לי מחשב ברצף לכמה שבועות?
[כי לא נראה לי שמישהו בפורום יכול]

זה יותר זול משרת וירטואלי?

[משחזר מידע]

@אלף-שין כתב בשאלה | איזה שרת צריך בשביל פרויקט גדול?:

אני מבין שיש פתרון

ברור שקיימים פתרונות
הענין הוא שבמסגרת החוקים שלך (כמות וזמנים) זה לא יצא זול

[אלף שין]

@משחזר-מידע
יודע מה?
שיקח חצי שנה!
העיקר שיהיה במחיר זול יחסית [נניח עד 3000 ש"ח]
יש סיכוי למצוא?

[משחזר מידע]

@אלף-שין כתב בשאלה | איזה שרת צריך בשביל פרויקט גדול?:

יודע מה?
שיקח חצי שנה!

יודע מה
תבצע בזמנך הפנוי לאט לאט
ויקח כמה שיקח
ויעלה גרושים

[אלף שין]

@משחזר-מידע @כולם
בינתיים אני השתכנעתי שיש פתרון הגיוני וזול,
וכמו שלימד אותי כבר אלישי וגם עוד אחרים פה,
לשכור מחשב נייד עם כרטיס גרפי חזק לכמה שבועות,
ולהריץ עליו את הזיהוי [גם בהפסקת חשמל הוא ימשיך לעבוד על הבטריה]
בנוסף צריך שזה יהיה במקום עם מזגן 24/7 [ביחד עם האתרוגים?.....]

נשמע ממש קל באופן מפתיע!!
תודה לכולכם!

נשאר לי לברר איזה מחשב צריך,
אה, וגם איפה יש מזגן 24/7,
אז אני מחכה לך @יהודה-12 וגם לאחרים
יש לכם מחשב נייד חזק?
תבדקו כמה זמן לוקח OCR ל100 עמודים בABBYY ותעדכנו
ואז נראה כמה זמן צריך להכל ומה המחיר!

תודה רבה!!

[נ"ב: הענין של המזגן קצת מטריד אותי.....]