בקשת מידע | אימון AI לזיהוי כתבי יד

[ישיבישער]

@אלף-שין כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:

תעבור לשרשור המרכזי בפורום שעוסק בענין פיתוח של מודל OCR לכתב יד עברית

תפנה אותי לשם

[ישיבישער]

נסיתי לעשות בAI סטודיו, הורדתי לו את הטמפרטורה כמו שהציעו כאן, והוא כבר המון זמן חושב ומנסה לנתח, ובסוף הביא תוצאה מדהימה..
מוזמנים לראות בספוילר

Spoiler

שלשים יום: וכתב רש"י ז"ל דלא קנה אלא את הנייר וכתב בעל המאור ז"ל ד- וכתב ז"ל שאין זה נכון: וכתב הרמב"ן ז"ל דהנייר של המוכר והלוקח קונה את הנייר ע"י חתימת העדים, וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתימת העדים וכתב הרמב"ן ז"ל דאע"פ שהמוכר נתן להלוקח את הנייר לא קנהו אלא ע"י חתי

במילים אחרות: מבלבל את המח, אפילו לא בכיון

[yz522257]

@ישיבישער
רק שים לב רוב מודלי הבינה המלאכותית מבוססים על אימון מבוסס השלמה כלומר נותנים לו משפט והוא מנסה להשלים אותו בצורה כמה שיותר קוהרנטית והגיונית , ואז הוא "מקבל ציון" ומעדכן את המודל שלו בהתבסס על הציון שהתקבל ומנסה שוב ושוב ושוב ...
התהליך הזה חוזר על עצמו בריצה על מלא חומר , משפטים , זיהוי תמונה , כתיבה וכו'
מה שאומר שמודל בינה מלאכותית לא מאומן (באופן טבעי) לקרוא את המציאות, אלא לנחש את ההמשך הסביר ביותר .
מה שיכול לגרום למה שאתה מתאר .
פענוח כתב-יד הוא משימה קשה ולכן הוא מקבל איזה שהוא הקשר רעיוני חזק
המודל מזהה מילות מפתח
במקום להגיד “אני לא בטוח מה כתוב כאן”, הוא עושה את מה מאומן לעשות,
משלים את ההמשך הסביר ביותר

מבחינתו זה לא שקר — זו ההסתברותית הכי אופטימלית.
יש אצלו במשימה כזאת שתי מטרות סותרות.
נאמנות למקור.
וקוהרנטיות נסיבתית , כלומר מה הגיוני שיהיה כתוב .
בדרך כלל מה שינצח זה ה"היגיון" שלו למה אמור להיות כתוב , זה מה שמאמנים אותו לעשות
בקיצור הוא מעדיף להיות מועיל מאשר נאמן למה שהוא רואה .

Spoiler

אפשר להגדיר לו הוראות כמו תתמלל רק מה שאתה מזהה בודאות , אין להשלים על פי הקשר , תתמלל אות אות לפי הסדר בלי תיקון שגיאות בלי לחפש משמעות, ככל שהטסט שהוא אמור לתמלל קטן יותר יש לו פחות הקשרים לעבוד איתם והוא יהיה יותר מדוייק אז עדיף לחלק לו את זה לשורה או שנים בכל משימה

[ישיבישער]

@yz522257 הסברת בצורה מדהימה רהוטה ויפה את מה שקרה כאן, אבל מה שכתבת אח"כ לנסות לבקש ממנו וכו'... זה לא עובד, נסיתי מאות פעמים... אין! הוא מתעקש!

[yz522257]

@ישיבישער זה היה רק הצעה שלי לא מידע מבוסס לכן שמתי אותה בספויילר כנראה צריך הוראות קשיחות יותר , אולי מחר אני ינסה לנסח כללים כאלו בעזרת GPT , אתה יכול להעלות בעצמך את הבעיה למודל ולשאול אותו איך לגרום לו להגביל את עצמו אולי זה יעזור

[ישיבישער]

@yz522257 ניסיתי ניסתי ניסתי , אין, הלוואי שתצליח, אבל שתדע שניסיתי המון, אני ממליץ לך לסרוק איזה עמוד של כתיבה לניסיון ולהתאמן על זה

[א.מ.ד.]

@yz522257 כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:

מה שאומר שמודל בינה מלאכותית לא מאומן (באופן טבעי) לקרוא את המציאות, אלא לנחש את ההמשך הסביר ביותר .
מה שיכול לגרום למה שאתה מתאר .

מה הקשר? כל מודל עובר אחרי האימון המקדים כוונון מותאם לצ'אט, שבו מאמנים אותו לומר בדיוק את מה שצריך לפי השאלה. במקרה הזה המודל מאומן להשיב על תמונה של כתב יד את הטקסט המופיע בה. לא להשלים סתם טקסט.

[ישיבישער]

@א.מ.ד. כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:

במקרה הזה המודל מאומן להשיב על תמונה של כתב יד את הטקסט המופיע בה. לא להשלים סתם טקסט.

ולפי דבריך הם לא היה אמור להתחיל לחרטט משפטים לא קשורים, אלא או לפענח או לומר שלא הבין את המילה

[א.מ.ד.]

@ישיבישער אולי תשתף את השיחה שלך עם ה-AI? כי אני עכשיו ניסיתי וזה תמלל לי מצויין... אין צורך "לאמן" אותו על הכתב שלך. ייתכן שזה רק בלבל אותו.

[ע"ה דכו"ע]

@א.מ.ד. כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:

במקרה הזה המודל מאומן להשיב על תמונה של כתב יד את הטקסט המופיע בה. לא להשלים סתם טקסט.

לא הבנתי
@ישיבישער אתה עושה את זה במודל צ'אט רגיל, לא?

[א.מ.ד.]

@ע-ה-דכו-ע כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:

לא הבנתי

אסביר שוב: כל מודל, מתחיל כשלד ריק שפולט תווים אקראיים בשלל שפות. לאחר מכן המודל עובר אימון מקדים שמלמד אותו תחביר ושפה תקינים, במקביל לרכישת ידע והיגיון. אחר כך המודל עובר אימון לפורמט צ'אט, שבו מלמדים את המודל לענות על השאלה באמצעות הידע וההיגיון שרכש, במקום להמשיך את הטקסט.
לכן, המודל של GEMINI המדובר, אמור להשיב את הטקסט המדוייק המופיע בכתב יד, ולא לחזות טקסט המשך, מכיון שהוא אומן שכשהוא מקבל טקסט כתב יד כתמונה עליו להשיב אותו כטקסט מוקלד.

[ישיבישער]

@ע-ה-דכו-ע כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:

אתה עושה את זה במודל צ'אט רגיל, לא?

כן

[ע"ה דכו"ע]

@א.מ.ד. התכוונתי שלא הבנתי מאיפה החלטת שהוא משתמש במודל של OCR, עיין פוסט אחד לפניי

[ישיבישער]

@א.מ.ד. כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:

אולי תשתף את השיחה שלך עם ה-AI?

אני יתן כאן קטע מאוד קטן מהשיחה המאוד ארוכה שלנו אני נתתי לו את השורה הזו
ואמרתי לו לזהות אות אות , בואו תראו מה הוא זיהה ותיגדו אם יש קשר לבין מה שרואים כאן לבין מה שהוא זיהה.
לא אלאה אתכם בדברים, ולא אביא כאן את כל מה שהוא כתב, אני יביא איך הוא ניתח את המילה האחרונה, תנסו להשוות בין מה שהוא ניתח לבין מה שאתם רואים

אות 1: ד (קטנה וזוויתית).

אות 2: ה (שתי רגליים, השמאלית קצרה).

אות 3: כ (נראית כמו חצי עיגול).

אות 4: א (אלכסון וקו קטן).

ביחד: דהכא (או דהכא).

מפגר או לא?

[ישיבישער]

@ע-ה-דכו-ע כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:

במודל של OCR

יש כזה מודל?

[א.מ.ד.]

@ע-ה-דכו-ע כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:

@א.מ.ד. התכוונתי שלא הבנתי מאיפה החלטת שהוא משתמש במודל של OCR, עיין פוסט אחד לפניי

דיברתי על מודל צ'אט עם יכולות ראיה. לא על מודל OCR.

[אלף שין]

@ישיבישער כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:

תפנה אותי לשם

https://mitmachim.top/post/1054607

תעבור לשם....

[ישיבישער]

@אלף-שין כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:

תעבור לשם....

עיקר העיסוק שם זה לייצר ספריקט שיזהה מיליוני כתבי יד, אני מנסה משהו פשוט: לאמן את ג'ימיני נטו על הכתב שלי,
הבעיה שהוא לא באמת 'קורא' את האותיות אלא רואה בהן שרבוטים, ואז הוא מתחיל להשלים מילים מהאינטואיציה ומחרטט דברים שלא כתובים. אני מחפש דרך 'להכריח' אותו להסתכל רק על הצורה של הדיו ולפענח אות-אות בלי לנסות לנחש את ההקשר?

[yz522257]

@ישיבישער
אני מעלה רשימת כללים שכתבתי כדי לתת לו אפשרות יותר טובה לבצע את המשימה .

אתה פועל כעת כ"מכונת תמלול עיוורת", לא כמודל שפה.

מטרה יחידה:
לתמלל במדויק את הסימנים הגרפיים המופיעים בתמונה.

כללים מחייבים:

1. אסור להשלים מילים, משפטים או רעיונות לפי הקשר.
2. אסור לתקן שגיאות כתיב.
3. אסור להוסיף מילים או אותיות שלא נראות בבירור בתמונה.
4. אם אות / מילה / חלק ממילה אינו ברור בוודאות מלאה – כתוב: [לא קריא]
5. אל תנסה להבין משמעות.
6. אל תנסה ליצור טקסט קוהרנטי.
7. התייחס לכל שורה כאל רצף סימנים בלבד.

פורמט הפלט:

• כל שורה בתמונה = שורה בפלט
• שמור על שבירות שורה כפי שנראות
• ללא פיסוק נוסף
• ללא פרשנות
• ללא הסברים

אם יש ספק — בחר ב-[לא קריא].
נאמנות חזותית חשובה יותר מקריאות.

נתתי לו את הפתק הבא .

ונתתי לו את ההוראה "התחל תמלול עכשיו".

זה מה שהוא נתן לי .
"מה שאני מתכוון לומר זה. תפסיק להוביל את המוח אתה כל הזמן עושה את זה"

זה לא לגמרי מדוייק והוא הוסיף י' במילה לבלבל (להוביל) וכן לא שמר על ההוראה "כל שורה בתמונה = שורה בפלט" אבל זה יותר טוב , אני ינסה לשפר את ההוראות בהמשך.

[ישיבישער]

@yz522257 זה בג'ימני או גיפיטי?