בקשה | מי יכול לבקש מגמיני סקריפט שיבצע מהפכה.... פרטים בפנים

[אלף שין]

@צדיק-תמים
לדעתך התוכנה בקישור הנ"ל זה בAPI? חשבתי כבר שאפשר לעשות איזה סקריפט קליל כזה,
על בסיס ספריית OCR כלשהיא....
האם זה יהיה טוב גם ככה?
זה נראה שהביצועים שם טובים יחסית
[בעיקר חשבתי שגמיני יפתח ויכתוב עבורי את הסקריפט, זה כיוון חדש מה שאתה מציע, להשתמש בגמיני עצמו לבצע את האימון, אלא שלכאו' הוא יהיה יקר מאד לאימון מקיף וארוך]

[צדיק תמים]

@אלף-שין לא ברור לי מה בכלל אתה מנסה לעשות
וראיתי את הפוסט בפרוג

[אלף שין]

@צדיק-תמים
תוכנה שכל אחד יכול באמצעותה לאמן בקלות מודל שיזהה את כתב היד שלו
לפי איך שנראה בתמונות שם עושה רושם שאפשר להשתמש בספריית פייתון לביצוע התהליך
האם זה אכן אפשרי?

[975]

@אלף-שין כתב בבקשה | מי יכול לבקש מגמיני סקריפט שיבצע מהפכה.... פרטים בפנים:

בקישור הבא

נמצא גם כאן
https://mitmachim.top/post/938742

[NH.LOCAL]

@צדיק-תמים כתב בבקשה | מי יכול לבקש מגמיני סקריפט שיבצע מהפכה.... פרטים בפנים:

זה הAPI הרלוונטי
https://ai.google.dev/gemini-api/docs/image-understanding#segmentation

מדובר על זיהוי וסגמנטציה של תמונות, שלא זמינה כרגע בג'מיני 3.0

@אלף-שין מדבר על זיהוי OCR של כתב יד עברי - משימה קצת שונה.

[צדיק תמים]

@NH.LOCAL כתב בבקשה | מי יכול לבקש מגמיני סקריפט שיבצע מהפכה.... פרטים בפנים:

מדובר על זיהוי וסגמנטציה של תמונות, שלא זמינה כרגע בג'מיני 3.0

נו, ומי אמר שחייבים להשתמש ב3

[5+5]

פוסט זה נמחק!

[NH.LOCAL]

@צדיק-תמים כתב בבקשה | מי יכול לבקש מגמיני סקריפט שיבצע מהפכה.... פרטים בפנים:

@NH.LOCAL כתב בבקשה | מי יכול לבקש מגמיני סקריפט שיבצע מהפכה.... פרטים בפנים:

מדובר על זיהוי וסגמנטציה של תמונות, שלא זמינה כרגע בג'מיני 3.0

נו, ומי אמר שחייבים להשתמש ב3

ג'מיני 3 זה המודל הראשון עד כה שמצליח לזהות טקסט כתב יד בעברית באופן טבעי.
אמנם הוא רחוק מלהיות מאה אחוז, במיוחד בכתב צפוף ועמוס, אבל יכול לעזור באימון מודל

למעשה, אתה צודק שבהקשר לקישור שהובא מפרוג, אז הקישור למודל סגמנטציה הוא באמת הפתרון המתאים.
אבל עבור סגמנטציה עדיף כבר למשתמש ב-SAM3, עם רמת דיוק גבוהה בהרבה וזול משמעותית

@אלף-שין כתב בבקשה | מי יכול לבקש מגמיני סקריפט שיבצע מהפכה.... פרטים בפנים:

לאור ההתקדמויות הגדולות בתחום הAI
אבקש ממי שיכול לבקש מגמיני 3 סקריפט שיעשה מה שרואים בקישור הבא
https://www.prog.co.il/threads/הדרך-לתוכנת-ocr-לכתב-יד-עברי-עוברת-דרך-כאן.1051354/post-14939550
[תסתכלו בכל המצגות שם מתחילתם עד סופם]
זה יכול להיות פתח למהפך גדול והיסטורי שייזכר לדורות!

בהקשר לקישור שהובא מפרוג. יש לציין שהיעילות של הדרך שלו נמוכה מאוד, וכנראה לא תהיה שווה הרבה כל עוד הוא לא יאמן אותה על כמות דאטה עצומה ועל כמות נרחבת של כתבי יד שונים

[shalomke]

אתמול ניסיתי להמשיך את התוכנה שבניתי עם הסיגמנטציה
לפני יומיים גוגל הוציאה תוסף כרום שמזהה כתב יד אבל רק על ידי שרבוט בזמן אמת
הורדתי את התוסף וחקרתי אותו ולא הצלחתי לבנות משהו דומה על סריקות
מה שכן אני עובדד עכשיו על תוכנה שתבצע סיגמנטציה לאלפי כתבי יד
להלן התוכנית מלמעלה:
התוכנית:

1. תמונות גולמיות
   ↓
2. שיפור איכות (denoise, deskew, contrast)
   ↓
3. חיתוך כל אות בנפרד (contour detection)
   ↓
4. קיבוץ אותיות דומות (K-Means clustering)
   ↓
5. תיוג 27 קבוצות בלבד! (אות לכל קבוצה)
   ↓
6. אימון CNN classifier
   ↓
7. זיהוי: חיתוך → זיהוי כל אות → הרכבת טקסט

[shalomke]

זה יעבוד בצורה הזו:

חילוץ וקיבוץ אותיות

python main.py segment --input data/raw --output data/segmented

תיוג (GUI פשוט - רק 27 קבוצות!)

python main.py label-clusters --dir data/segmented/clusters

אימון

python main.py train

זיהוי

python main.py predict --model models/best_model.pt --input image.png

[י. פל.]

@shalomke
אבל איפה הקוד עצמו?

[NH.LOCAL]

@shalomke כתב בבקשה | מי יכול לבקש מגמיני סקריפט שיבצע מהפכה.... פרטים בפנים:

זה יעבוד בצורה הזו:

חילוץ וקיבוץ אותיות

python main.py segment --input data/raw --output data/segmented

תיוג (GUI פשוט - רק 27 קבוצות!)

python main.py label-clusters --dir data/segmented/clusters

אימון

python main.py train

זיהוי

python main.py predict --model models/best_model.pt --input image.png

מה עם ראשי תיבות? פיסוק? מחיקות של אותיות?

לפני שאתה מנסה לחקות את התהליך שראית בפרוג, כדאי שתחקור לעומק את הדרך אם זו בכלל באמת הדרך הנכונה לבצע את העבודה.
ושיהיה ברור: הדרך בפרוג מעניינת למדי, אבל לוקה בחסר במובנים רבים.

חבל לעבוד קשה בכיוון הלא נכון. תבחר בדרך הארוכה שהיא קצרה - תכנון מסודר ומעמיק של הדרך הטובה ביותר בשלב הראשון ואז יישום שלה, במקום בחירה בדרך בעייתית שאחר כך תדרוש לחזור שוב את כל הדרך מחדש!

[shalomke]

הדרך בפרוג היא אני בעצמי

[NH.LOCAL]

@shalomke כתב בבקשה | מי יכול לבקש מגמיני סקריפט שיבצע מהפכה.... פרטים בפנים:

הדרך בפרוג היא אני בעצמי

אדרבה. לא יכלתי להגיב לך בפרוג, כי אין לי הרשאות בקבוצת המעמדים.

הדרך שלך מעניינת מאוד ומקורית, הפתרון שלך כדי לפתור את בעיית איסוף הדאטה באמת גאוני
(חשבתי על העניין בעבר ולא מצאתי פתרון יעיל שלא יצריך המון כותבים אנושיים שיעזרו...)
למרות זאת, נראה שכדאי לבצע כמה שיפורים בה כדי לעשות אותה טובה עוד יותר

[צדיק וטוב לו 0]

@shalomke יש לי שאלה.
אתה מחפש דרך לאמן דווקא כתב של מישהו ספציפי, או זיהוי מרובה כתבים?
כי אני לא רואה איך זה יצליח על הרבה כתבים, במידה ואתה מאמן אות אות - בלי זיהוי של 'התמונה המלאה'.
(הרי ה'ב' שלך היא ה'ד' שלי)

[shalomke]

@צדיק-וטוב-לו-0 אני עדיין לומד את התחום
אני מתלבט בין אימון על כתבי יד מרובים או אימון אינדבדואלי

[אלף שין]

@shalomke
אני כל כך שמח שאתה מגיב פה

האם יש סיכוי שתסכים להעלות פה את מה שעשית עד כה?
אולי נוכל לעזור לך לפתח את זה עוד!
יש כאן המון מתנדבים שישמחו לעזור בכזה דבר חשוב!

נ"ב: בשלב ראשון אני רוצה לנסות אימון אישי ולראות כמה דאטה זה דורש

[shalomke]

@אלף-שין אני מת שמישהו שישתף איתי פעולה
רק אני לא רוצה להעלות קבל עם ועדה את כל הקוד
בכיף אפשר לפנות אלי בפרטי shalomkf@gmail.com
0548481658

[אלף שין]

@shalomke
שלחתי לך
תודה

[אלף שין]

@NH.LOCAL כתב בבקשה | מי יכול לבקש מגמיני סקריפט שיבצע מהפכה.... פרטים בפנים:

ג'מיני 3 זה המודל הראשון עד כה שמצליח לזהות טקסט כתב יד בעברית באופן טבעי.

באמת?

אפשר דוגמאות?

באיזה כלי ומה הפרומפט?

@NH.LOCAL כתב בבקשה | מי יכול לבקש מגמיני סקריפט שיבצע מהפכה.... פרטים בפנים:

אבל עבור סגמנטציה עדיף כבר למשתמש ב-SAM3, עם רמת דיוק גבוהה בהרבה וזול משמעותית

מה זה? אפשר קישור? האם יש אופציה לסגמנטציה אופליין? [נניח ספריית פייתון מוכנה...]

@NH.LOCAL כתב בבקשה | מי יכול לבקש מגמיני סקריפט שיבצע מהפכה.... פרטים בפנים:

למרות זאת, נראה שכדאי לבצע כמה שיפורים בה כדי לעשות אותה טובה עוד יותר

נשמח מאד שתפרט יותר...

מי יודע אולי עוד כמה חודשים נחזה בהשלמת המהפך שהתחיל כאן
תחשבו על היום שבו כל הדברים הבאים יושלמו:

1] OCR כתבי יד עברית [זהו הפרוייקט הנוכחי, לאחר ניסויים בעבר שלא צלחו לדוגמא זה כעת נראה שאנו במסלול הנכון...],

2] AI תורני רציני ומשמעותי [לא בשביל לסמוך, אלא כביקורת ומראי מקומות וכדו'] [יש כמה שעובדים על זה במקביל]

3] תמלול תורני [כבר קיים ומושלם בס"ד "אלף בוט"!, לאט לאט הציבור יקלוט את עוצמת הבשורה!]

מכאן הדרך קצרה לעוד המון דברים טובים!