בקשת מידע | אימון AI לזיהוי כתבי יד
-
@yz522257 הסברת בצורה מדהימה רהוטה ויפה את מה שקרה כאן, אבל מה שכתבת אח"כ לנסות לבקש ממנו וכו'... זה לא עובד, נסיתי מאות פעמים... אין! הוא מתעקש!
-
@ישיבישער זה היה רק הצעה שלי לא מידע מבוסס לכן שמתי אותה בספויילר כנראה צריך הוראות קשיחות יותר , אולי מחר אני ינסה לנסח כללים כאלו בעזרת GPT , אתה יכול להעלות בעצמך את הבעיה למודל ולשאול אותו איך לגרום לו להגביל את עצמו אולי זה יעזור
-
@ישיבישער
רק שים לב רוב מודלי הבינה המלאכותית מבוססים על אימון מבוסס השלמה כלומר נותנים לו משפט והוא מנסה להשלים אותו בצורה כמה שיותר קוהרנטית והגיונית , ואז הוא "מקבל ציון" ומעדכן את המודל שלו בהתבסס על הציון שהתקבל ומנסה שוב ושוב ושוב ...
התהליך הזה חוזר על עצמו בריצה על מלא חומר , משפטים , זיהוי תמונה , כתיבה וכו'
מה שאומר שמודל בינה מלאכותית לא מאומן (באופן טבעי) לקרוא את המציאות, אלא לנחש את ההמשך הסביר ביותר .
מה שיכול לגרום למה שאתה מתאר .
פענוח כתב-יד הוא משימה קשה ולכן הוא מקבל איזה שהוא הקשר רעיוני חזק
המודל מזהה מילות מפתח
במקום להגיד “אני לא בטוח מה כתוב כאן”, הוא עושה את מה מאומן לעשות,
משלים את ההמשך הסביר ביותרמבחינתו זה לא שקר — זו ההסתברותית הכי אופטימלית.
יש אצלו במשימה כזאת שתי מטרות סותרות.
נאמנות למקור.
וקוהרנטיות נסיבתית , כלומר מה הגיוני שיהיה כתוב .
בדרך כלל מה שינצח זה ה"היגיון" שלו למה אמור להיות כתוב , זה מה שמאמנים אותו לעשות
בקיצור הוא מעדיף להיות מועיל מאשר נאמן למה שהוא רואה .אפשר להגדיר לו הוראות כמו תתמלל רק מה שאתה מזהה בודאות , אין להשלים על פי הקשר , תתמלל אות אות לפי הסדר בלי תיקון שגיאות בלי לחפש משמעות, ככל שהטסט שהוא אמור לתמלל קטן יותר יש לו פחות הקשרים לעבוד איתם והוא יהיה יותר מדוייק אז עדיף לחלק לו את זה לשורה או שנים בכל משימה
@yz522257 כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:
מה שאומר שמודל בינה מלאכותית לא מאומן (באופן טבעי) לקרוא את המציאות, אלא לנחש את ההמשך הסביר ביותר .
מה שיכול לגרום למה שאתה מתאר .מה הקשר? כל מודל עובר אחרי האימון המקדים כוונון מותאם לצ'אט, שבו מאמנים אותו לומר בדיוק את מה שצריך לפי השאלה. במקרה הזה המודל מאומן להשיב על תמונה של כתב יד את הטקסט המופיע בה. לא להשלים סתם טקסט.
-
@yz522257 כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:
מה שאומר שמודל בינה מלאכותית לא מאומן (באופן טבעי) לקרוא את המציאות, אלא לנחש את ההמשך הסביר ביותר .
מה שיכול לגרום למה שאתה מתאר .מה הקשר? כל מודל עובר אחרי האימון המקדים כוונון מותאם לצ'אט, שבו מאמנים אותו לומר בדיוק את מה שצריך לפי השאלה. במקרה הזה המודל מאומן להשיב על תמונה של כתב יד את הטקסט המופיע בה. לא להשלים סתם טקסט.
-
@א.מ.ד. כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:
במקרה הזה המודל מאומן להשיב על תמונה של כתב יד את הטקסט המופיע בה. לא להשלים סתם טקסט.
ולפי דבריך הם לא היה אמור להתחיל לחרטט משפטים לא קשורים, אלא או לפענח או לומר שלא הבין את המילה
-
@yz522257 הסברת בצורה מדהימה רהוטה ויפה את מה שקרה כאן, אבל מה שכתבת אח"כ לנסות לבקש ממנו וכו'... זה לא עובד, נסיתי מאות פעמים... אין! הוא מתעקש!
-
@א.מ.ד. כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:
במקרה הזה המודל מאומן להשיב על תמונה של כתב יד את הטקסט המופיע בה. לא להשלים סתם טקסט.
לא הבנתי
@ישיבישער אתה עושה את זה במודל צ'אט רגיל, לא?@ע-ה-דכו-ע כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:
לא הבנתי
אסביר שוב: כל מודל, מתחיל כשלד ריק שפולט תווים אקראיים בשלל שפות. לאחר מכן המודל עובר אימון מקדים שמלמד אותו תחביר ושפה תקינים, במקביל לרכישת ידע והיגיון. אחר כך המודל עובר אימון לפורמט צ'אט, שבו מלמדים את המודל לענות על השאלה באמצעות הידע וההיגיון שרכש, במקום להמשיך את הטקסט.
לכן, המודל של GEMINI המדובר, אמור להשיב את הטקסט המדוייק המופיע בכתב יד, ולא לחזות טקסט המשך, מכיון שהוא אומן שכשהוא מקבל טקסט כתב יד כתמונה עליו להשיב אותו כטקסט מוקלד. -
@א.מ.ד. כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:
במקרה הזה המודל מאומן להשיב על תמונה של כתב יד את הטקסט המופיע בה. לא להשלים סתם טקסט.
לא הבנתי
@ישיבישער אתה עושה את זה במודל צ'אט רגיל, לא? -
@ע-ה-דכו-ע כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:
לא הבנתי
אסביר שוב: כל מודל, מתחיל כשלד ריק שפולט תווים אקראיים בשלל שפות. לאחר מכן המודל עובר אימון מקדים שמלמד אותו תחביר ושפה תקינים, במקביל לרכישת ידע והיגיון. אחר כך המודל עובר אימון לפורמט צ'אט, שבו מלמדים את המודל לענות על השאלה באמצעות הידע וההיגיון שרכש, במקום להמשיך את הטקסט.
לכן, המודל של GEMINI המדובר, אמור להשיב את הטקסט המדוייק המופיע בכתב יד, ולא לחזות טקסט המשך, מכיון שהוא אומן שכשהוא מקבל טקסט כתב יד כתמונה עליו להשיב אותו כטקסט מוקלד. -
@ישיבישער אולי תשתף את השיחה שלך עם ה-AI? כי אני עכשיו ניסיתי וזה תמלל לי מצויין... אין צורך "לאמן" אותו על הכתב שלך. ייתכן שזה רק בלבל אותו.
@א.מ.ד. כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:
אולי תשתף את השיחה שלך עם ה-AI?
אני יתן כאן קטע מאוד קטן מהשיחה המאוד ארוכה שלנו אני נתתי לו את השורה הזו

ואמרתי לו לזהות אות אות , בואו תראו מה הוא זיהה ותיגדו אם יש קשר לבין מה שרואים כאן לבין מה שהוא זיהה.
לא אלאה אתכם בדברים, ולא אביא כאן את כל מה שהוא כתב, אני יביא איך הוא ניתח את המילה האחרונה, תנסו להשוות בין מה שהוא ניתח לבין מה שאתם רואיםאות 1: ד (קטנה וזוויתית).
אות 2: ה (שתי רגליים, השמאלית קצרה).
אות 3: כ (נראית כמו חצי עיגול).
אות 4: א (אלכסון וקו קטן).
ביחד: דהכא (או דהכא).
מפגר או לא?
-
-
@ע-ה-דכו-ע כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:
@א.מ.ד. התכוונתי שלא הבנתי מאיפה החלטת שהוא משתמש במודל של OCR, עיין פוסט אחד לפניי
דיברתי על מודל צ'אט עם יכולות ראיה. לא על מודל OCR.
-
@אלף-שין כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:
תעבור לשרשור המרכזי בפורום שעוסק בענין פיתוח של מודל OCR לכתב יד עברית
תפנה אותי לשם
@ישיבישער כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:
תפנה אותי לשם
https://mitmachim.top/post/1054607
תעבור לשם....
-
@ישיבישער כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:
תפנה אותי לשם
https://mitmachim.top/post/1054607
תעבור לשם....
@אלף-שין כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:
תעבור לשם....
עיקר העיסוק שם זה לייצר ספריקט שיזהה מיליוני כתבי יד, אני מנסה משהו פשוט: לאמן את ג'ימיני נטו על הכתב שלי,
הבעיה שהוא לא באמת 'קורא' את האותיות אלא רואה בהן שרבוטים, ואז הוא מתחיל להשלים מילים מהאינטואיציה ומחרטט דברים שלא כתובים. אני מחפש דרך 'להכריח' אותו להסתכל רק על הצורה של הדיו ולפענח אות-אות בלי לנסות לנחש את ההקשר? -
@yz522257 ניסיתי ניסתי ניסתי , אין, הלוואי שתצליח, אבל שתדע שניסיתי המון, אני ממליץ לך לסרוק איזה עמוד של כתיבה לניסיון ולהתאמן על זה
@ישיבישער
אני מעלה רשימת כללים שכתבתי כדי לתת לו אפשרות יותר טובה לבצע את המשימה .אתה פועל כעת כ"מכונת תמלול עיוורת", לא כמודל שפה.
מטרה יחידה:
לתמלל במדויק את הסימנים הגרפיים המופיעים בתמונה.כללים מחייבים:
- אסור להשלים מילים, משפטים או רעיונות לפי הקשר.
- אסור לתקן שגיאות כתיב.
- אסור להוסיף מילים או אותיות שלא נראות בבירור בתמונה.
- אם אות / מילה / חלק ממילה אינו ברור בוודאות מלאה – כתוב: [לא קריא]
- אל תנסה להבין משמעות.
- אל תנסה ליצור טקסט קוהרנטי.
- התייחס לכל שורה כאל רצף סימנים בלבד.
פורמט הפלט:
- כל שורה בתמונה = שורה בפלט
- שמור על שבירות שורה כפי שנראות
- ללא פיסוק נוסף
- ללא פרשנות
- ללא הסברים
אם יש ספק — בחר ב-[לא קריא].
נאמנות חזותית חשובה יותר מקריאות.נתתי לו את הפתק הבא .

ונתתי לו את ההוראה "התחל תמלול עכשיו".
זה מה שהוא נתן לי .
"מה שאני מתכוון לומר זה. תפסיק להוביל את המוח אתה כל הזמן עושה את זה"זה לא לגמרי מדוייק והוא הוסיף י' במילה לבלבל (להוביל) וכן לא שמר על ההוראה "כל שורה בתמונה = שורה בפלט" אבל זה יותר טוב , אני ינסה לשפר את ההוראות בהמשך.
-
@ישיבישער
אני מעלה רשימת כללים שכתבתי כדי לתת לו אפשרות יותר טובה לבצע את המשימה .אתה פועל כעת כ"מכונת תמלול עיוורת", לא כמודל שפה.
מטרה יחידה:
לתמלל במדויק את הסימנים הגרפיים המופיעים בתמונה.כללים מחייבים:
- אסור להשלים מילים, משפטים או רעיונות לפי הקשר.
- אסור לתקן שגיאות כתיב.
- אסור להוסיף מילים או אותיות שלא נראות בבירור בתמונה.
- אם אות / מילה / חלק ממילה אינו ברור בוודאות מלאה – כתוב: [לא קריא]
- אל תנסה להבין משמעות.
- אל תנסה ליצור טקסט קוהרנטי.
- התייחס לכל שורה כאל רצף סימנים בלבד.
פורמט הפלט:
- כל שורה בתמונה = שורה בפלט
- שמור על שבירות שורה כפי שנראות
- ללא פיסוק נוסף
- ללא פרשנות
- ללא הסברים
אם יש ספק — בחר ב-[לא קריא].
נאמנות חזותית חשובה יותר מקריאות.נתתי לו את הפתק הבא .

ונתתי לו את ההוראה "התחל תמלול עכשיו".
זה מה שהוא נתן לי .
"מה שאני מתכוון לומר זה. תפסיק להוביל את המוח אתה כל הזמן עושה את זה"זה לא לגמרי מדוייק והוא הוסיף י' במילה לבלבל (להוביל) וכן לא שמר על ההוראה "כל שורה בתמונה = שורה בפלט" אבל זה יותר טוב , אני ינסה לשפר את ההוראות בהמשך.
-
@ישיבישער
אני מעלה רשימת כללים שכתבתי כדי לתת לו אפשרות יותר טובה לבצע את המשימה .אתה פועל כעת כ"מכונת תמלול עיוורת", לא כמודל שפה.
מטרה יחידה:
לתמלל במדויק את הסימנים הגרפיים המופיעים בתמונה.כללים מחייבים:
- אסור להשלים מילים, משפטים או רעיונות לפי הקשר.
- אסור לתקן שגיאות כתיב.
- אסור להוסיף מילים או אותיות שלא נראות בבירור בתמונה.
- אם אות / מילה / חלק ממילה אינו ברור בוודאות מלאה – כתוב: [לא קריא]
- אל תנסה להבין משמעות.
- אל תנסה ליצור טקסט קוהרנטי.
- התייחס לכל שורה כאל רצף סימנים בלבד.
פורמט הפלט:
- כל שורה בתמונה = שורה בפלט
- שמור על שבירות שורה כפי שנראות
- ללא פיסוק נוסף
- ללא פרשנות
- ללא הסברים
אם יש ספק — בחר ב-[לא קריא].
נאמנות חזותית חשובה יותר מקריאות.נתתי לו את הפתק הבא .

ונתתי לו את ההוראה "התחל תמלול עכשיו".
זה מה שהוא נתן לי .
"מה שאני מתכוון לומר זה. תפסיק להוביל את המוח אתה כל הזמן עושה את זה"זה לא לגמרי מדוייק והוא הוסיף י' במילה לבלבל (להוביל) וכן לא שמר על ההוראה "כל שורה בתמונה = שורה בפלט" אבל זה יותר טוב , אני ינסה לשפר את ההוראות בהמשך.
@yz522257 כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:
נתתי לו את הפתק הבא .
האותיות הם נפרדות אחת מהשניה, האותיות מאוד רהוטות וכל אות בפני עצמה, ויש להם גם קו אחיד לכל האותיות, זה גורם לג'ימיני להבין את זה יותר טוב, הכתב שהעלתי לו - צירפתי אותו לעיל - הוא מחובר ואין קו אחיד לכל האותיות, הבעיה שכאשר רוצים לתמלל סיכומים בדרך כלל זה הסחורה. מה אתה אומר על זה, תנסה לצרף לו את התמונה שהעלתי ותגיד לי מה התוצאות.
-
@yz522257 כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:
נתתי לו את הפתק הבא .
האותיות הם נפרדות אחת מהשניה, האותיות מאוד רהוטות וכל אות בפני עצמה, ויש להם גם קו אחיד לכל האותיות, זה גורם לג'ימיני להבין את זה יותר טוב, הכתב שהעלתי לו - צירפתי אותו לעיל - הוא מחובר ואין קו אחיד לכל האותיות, הבעיה שכאשר רוצים לתמלל סיכומים בדרך כלל זה הסחורה. מה אתה אומר על זה, תנסה לצרף לו את התמונה שהעלתי ותגיד לי מה התוצאות.
-
@ישיבישער
הרבה פחות טוב .
(הדיף שנוסך את הניחוח לפני לפחות את די וגמרה שכן גם וסתימה בנלים מטעם)
כמצופה...@yz522257 כתב בבקשת מידע | אימון AI לזיהוי כתבי יד:
הרבה פחות טוב .
(הדיף שנוסך את הניחוח לפני לפחות את די וגמרה שכן גם וסתימה בנלים מטעם)
כמצופה...אז לסיכום , לג'ימיני אין אינטואציה 'להבין' את כתב היד, אלא הוא רק יכול לנתח את הקווים ולנתח איזה אות זה אומר