שיתוף | סננקל - מערכת סינון APK מטורפת ביותר אופליין.

[צצצצצ]

בדקת את זה?

@יאיר-דניאל כתב בשיתוף | סננקל - מערכת סינון APK מטורפת ביותר אופליין.:

@CSS-0 אז אלו תוצאות הבדיקה...
התמונה החמורה שנחסמה (כל התמונות הם אותה התמונה)
היא זו - (מקווה שלא תחסם בנטפרי...):

[CSS 0]

@צצצצצ כל נבדק המערכת עובדת בצורה מטורפת! המערכות הקודמותהיו AIS דפוקים.. עם ציונים של אזורה 70% עכשיו זה מערכות הרבה יותר מתקדמות..

[CSS 0]

נתקלתי בבעיה קשה בתכנות, כדי לפשט את זה ה AI בנה לי על זה חידה..
שהיא:

---

אתם מנהלים שער אבטחה חכם שסורק תמונות. המטרה שלכם: לחסום כל תמונה שיש בה אישה (אפילו ברקע), ולאשר תמונות שיש בהן אך ורק גברים.

לשער יש "שומר וירטואלי" שמנתח את התמונות. השומר עובד לפי חוק ברזל אחד: בכל פעם שהוא רואה תמונה, יש לו בדיוק 100 אחוזים לחלק בין "גבר" ל"אישה". הוא חייב לחלק את כולם, והוא אף פעם לא בטוח ב-100%.

הנה מה שקורה בפועל:

תמונת גבר בלבד: השומר נותן לגבר 97%, ולאישה 3%.

תמונת אישה בלבד: השומר נותן לאישה 95%, ולגבר 5%.

תמונה מעורבת (גבר גדול מקדימה ואישה מאחוריו): השומר מתמקד ברוב התמונה ונותן לגבר 80%, אבל בגלל שהוא מזהה את האישה ברקע הוא נותן לה את השארית – 20%.

מתכנת מתחיל שניסה לעזור לכם כתב למערכת את החוק הבא:
"תחסום את התמונה רק אם האחוז של האישה גבוה מהאחוז של הגבר (כלומר, מעל 50%)".

הבעיה: החוק הזה נכשל כישלון חרוץ! בתמונה המעורבת (מספר 3), האישה קיבלה רק 20%, ולכן המערכת אישרה את התמונה בטעות.

השאלה:
אתם יכולים לכתוב למערכת חוקים חדשים שמבוססים על האחוזים. איזה תנאי לוגי פשוט תגדירו לשער כדי שהוא יחסום בהצלחה את תמונות 2 ו-3, אבל יאשר את תמונה 1?

---

דחוף יש למישהו תשובה?

[רציונל]

@CSS-0 פתרון חלקי. אם אחוז האשה קטן מ 50% ואחוז הגבר גדול מ 50 % זה אומר שהיא בצד תוכל לעשות שבמקרה כזה הוא יחתוך ויסרוק את הצד ויבדוק אם האחוז עלה או ירד (תוכל גם לעשות שיסרוק את המרכז ויבדוק אם האחוז ירד)

[CSS 0]

@רציונל זה לא יעזור חיתוך כבר ניסיתי, חיתוך לא עזר כי אין דרך לדעת את מיקום האישה זה משתנה בין התמונות, וגם שהוספתי מודל זיהוי פרצופים שיחתוך סביב הפרצופים זה לא עוזר כי התמונות גם איבדו איכות בצורה נוראה, וגם אין אפשרות לחתוך בצורה שיראו את כל הגוף (בכתפיים ומעלה) בלי שיראו את הגבר במקרה שהוא צמוד, הוא שהיא מאחורה.

[cfopuser]

@CSS-0 כתב בשיתוף | סננקל - מערכת סינון APK מטורפת ביותר אופליין.:

תמונת גבר בלבד: השומר נותן לגבר 97%, ולאישה 3%.

תמונת אישה בלבד: השומר נותן לאישה 95%, ולגבר 5%.

אם המטרה להעיף כול תמונה שמכילה אישה בכללי ולאו דווקא רמה מסוימת של אישה,
והמערכת תמיד נותנת כמה אחזוים שיש אישה אפשר פשוט לשים אחוז חסימה נמוך לדוג' 15%~,
ואם המערכת מגיעה אליו יש סיכוי גבוה שיש אישה בתמונה,
( זה צריך כמובן יותר בדיקה וכיול להגיע למספר המדויק,
ואני גם מניח פה שהמערכת יציבה ולא סתם זורקת מספים בלי סיבה, אבל זה בערך הרעיון)

Spoiler

בנוסף אני לא בטוח שמודל לנשים בלבד יספיק אבל לרוב האפליקציות כנראה שכן.

Spoiler

אגב יש הרבה בעיות גם בשיטה שכתבתי פה אבל במודל שמזהה איש אישה אני חושב שזה הפתרון היעיל יותר למודל כזה..

[רציונל]

@CSS-0 זה יעזור אם הגבר יותר מ50% כי אז חייב להיות שהאשה בצד כלשהוא ואם האחוזים עולים סימן שאכן יש אישה

[CSS 0]

@cfopuser אבל לעולם הוא לא נותן 100% ככה שהסיכוי שהוא יתן לגבר ציון נשי מעל 15% זה 50% אחוז שהוא יתן לו מעל 15% נשיות...

[צדיק 0]

@CSS-0 צריך לתקן את כל הגישה לניתוח התמונה
במקום שהחלוקה לאחוזים תהיה כך היא צריכה להתמקד אחרת
או בעצם לחלק את זה לשתי תרגילים כמה אחוזים זה אישה ואחרי זה האחוזים הללו כמה זה וודאי שזה אישה
אני בטוח שהAI יוכל לתקן את הלוגיקה עבורך

[פלמנמוני]

@CSS-0 האם לא שייך שפשוט המודל יבדוק 'כמה אחוז שיש בתמונה אישה' ולא 'כמה אחוזי אשה יש בתמונה'?

[CSS 0]

@פלמנמוני כתב בשיתוף | סננקל - מערכת סינון APK מטורפת ביותר אופליין.:

@CSS-0 האם לא שייך שפשוט המודל יבדוק 'כמה אחוז שיש בתמונה אישה' ולא 'כמה אחוזי אשה יש בתמונה'?

לא זה לא שייך אבל בסוף הסתדרתי, כי שהמודל קיבל אישה בלבד או גבר בלבד הוא מוציא תוצאות של 97% בערך, אבל כשיש גם אישה וגם גבר הוא לא יכול להוציא אחוז כזה גבוה כי הוא לא קיים, לכן הוצאתי סף וכ"ו ואחרי 67 תמונות שונות של נשים גברים וביחד שהוצאנו צייון ממצא לכל דבר הוצאתי את המספרים המדוייקים שצריכים להיות, עכשיו בבדיקות.

[CSS 0]

כרגע אני מנסה להגיע לתוצאה של 100% זיהוי מושלם!! כרגע התוצאות הם:
זיהוי צניעות: 100%!!!!!!
זיהוי נשים: 98%!!!!!
אבל לא מספיק.. אני רוצה להגיע ל 100%

---

(בילדים אין זיהוי ילדות, המודל מתקשה בזה, וגם אני לא חושב שיש טעם לחסום תמונה של ילדה אלא עם זה לא צנוע אבל אז זה המודל של הצניעות שהוציא גם בילדים 100%)

[CSS 0]

עדכון... המערכת הגיעה ל 100% מושלם בהכל!! גרסה v2.0 בעז"ה מחר על הבוקר מקסימום בצהריים...

Spoiler

לוגים מהמערכת:

C:\Users\USER\Documents\proikts\סינון APK\גרסה 2>python 1.py

=============================================
      מערכת סינון ה-AI הופעלה בהצלחה!
=============================================


[*] מתחיל אתחול מנוע AI...
[*] מחפש מודל תוכן (Falconsai) בנתיב: C:\Users\USER\Documents\proikts\סינון APK\גרסה 2\models\1
[*] מחפש מודל מגדר (SigLIP) בנתיב: C:\Users\USER\Documents\proikts\סינון APK\גרסה 2\models\2
[*] טוען מודל תוכן...
 * Serving Flask app '1'
 * Debug mode: off
Loading weights: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 200/200 [00:00<00:00, 2426.44it/s]
[+] מודל תוכן נטען בהצלחה!
[*] טוען מודל מגדר...
Loading weights: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 210/210 [00:00<00:00, 2756.47it/s]
[+] מודל מגדר נטען בהצלחה!
[+] כל המודלים (תוכן -> מגדר) מוכנים לעבודה!


[*] התחלת משימת סריקה חדשה. נתיב: C:/Users/USER/Documents/סט בדיקה | מצב: folder | רגישות: 5
[*] נמצאו 12 תמונות לסריקה בתיקייה.
  -> סורק קובץ: אישה 2.png ... נחסם (בעיית צניעות) [X]
  -> סורק קובץ: אישה.webp ...   [DEBUG] אישה = 0.580, גבר = 0.420 (סף לחסימה: 0.285)
  [DEBUG] -> נחסם (זוהתה אישה על פי מודל SigLIP)
נחסם (זוהתה אישה) [X]
  -> סורק קובץ: גבר ..png ...   [DEBUG] אישה = 0.272, גבר = 0.728 (סף לחסימה: 0.285)
תקין [V]
  -> סורק קובץ: גם גבר וגם אישה.png ...   [DEBUG] אישה = 0.299, גבר = 0.701 (סף לחסימה: 0.285)
  [DEBUG] -> נחסם (זוהתה אישה על פי מודל SigLIP)
נחסם (זוהתה אישה) [X]
  -> סורק קובץ: לא צנוע 2.webp ... נחסם (בעיית צניעות) [X]
  -> סורק קובץ: לא צנוע 3.webp ... נחסם (בעיית צניעות) [X]
  -> סורק קובץ: לא צנוע 5.webp ... נחסם (בעיית צניעות) [X]
  -> סורק קובץ: חוסר צניעות 2.webp ... נחסם (בעיית צניעות) [X]
  -> סורק קובץ: חוסר צניעות 3.webp ... נחסם (בעיית צניעות) [X]
  -> סורק קובץ: חוסר צניעות 4.webp ... נחסם (בעיית צניעות) [X]
  -> סורק קובץ: חוסר צניעות..webp ... נחסם (בעיית צניעות) [X]
  -> סורק קובץ: לא צנוע.webp ... נחסם (בעיית צניעות) [X]
[*] הסריקה הסתיימה בהצלחה!

[elhanan]

@CSS-0
אני לא יודע אם כבר הסתדרת על הבעיית זיהוי (התמונה השלישית, המעורבת)
אבל אני עשיתי (בלי קשר לסינון, סתם לזיהוי ונתינת שם לפנים בגלריית תמונות) חיתוך של פנים לכל תמונה (ml kit) ואז בדיקה, אתה יכול להגדיר איזה איכות יהיה לתמונה החתוכה, וזה לא התמונה שצריכה לחזור בכלל לאפליקציה (אם היא טובה) החיתוך הוא רק בשביל הבדיקה והוא מקושר לקובץ המקורי, למשל
זוהה פרצוף אחד, יעבור בדיקה רגילה, זוהו 2 פרצופים ומעלה, יעבור בדיקה רגילה + פירוק של התמונה ובדיקה פרטנית לכל פרצוף ואז אם נמצא לא טוב מוחלף אם הכל סבבה ממשיך

[CSS 0]

@elhanan חשבתי על זה ואפילו ניסיתי את זה כבר, רק שהמודלים קיבלו ציון של 50% בגלל שחלק מהתמונות נהיו לא ברורות ועקפו את הסינון, וחלק לא חותכו במקומות הנכונים (כי צריך שיראו גם חצי בטן) אבל מתי שהגדרתי את המקומות הנכונים מתי שיש אישה מאחרוה ואז רואים אותה מאחורי הכתף או שהיה אישה צמוד על יד זה העביר את התמונה

---

בכמ"ק אני כבר הסתדרתי כפי שרואים בלוגים ככה שאין מה לחשוש זה עובד מצויין..

Spoiler

חוץ מבעיה שהמודל שאני משתמש בו הוא נחשב אחד מהטובים שקיימים בתחום רק יש בעיה מסויימת, המודל בכלל לא אומן לזהות נשים, אלא רק גברים, ואז אם זה לא גבר הוא מגדיר כאישה אבל עם אין בכלל דמות זה גם חוסם בגלל שכביכול זה אישה... כנראה שאני יצתרך מודל לזיהוי פרצופים שאם אין פרצופים שלא יעביר את זה בדיקה של המגדר, ככה שהכל יעבוד טוב.

[CSS 0]

כתב בשיתוף | סננקל - מערכת סינון APK מטורפת ביותר אופליין.:

חוץ מבעיה שהמודל שאני משתמש בו הוא נחשב אחד מהטובים שקיימים בתחום רק יש בעיה מסויימת, המודל בכלל לא אומן לזהות נשים, אלא רק גברים, ואז אם זה לא גבר הוא מגדיר כאישה אבל עם אין בכלל דמות זה גם חוסם בגלל שכביכול זה אישה... כנראה שאני יצתרך מודל לזיהוי פרצופים שאם אין פרצופים שלא יעביר את זה בדיקה של המגדר, ככה שהכל יעבוד טוב.

שדרך אגב @צצצצצ זה גם היה הבעיה עם התוכנה שלך, שלא היה בה בכלל דמויות והמערכת לא ידעה להתמודד עם זה.

[צצצצצ]

@CSS-0 מוזר. אז למה חלק מהתמונות כן יצאו נקיות?