שיתוף | הזוי (לא האמנתי שזה אמיתי) זיהוי הקלדה לפי רעש המקשים - AI
-
עכשיו ה-AI כבר יודע מה אתם מקלידים לפי רעש המקשים
הם הגיעו לאחוז דיוק מדהים בהקלטה ישירה של המקלדת, וגם דרך הקלטת שיחת זום
חוקרים בריטים פיתחו מודל למידה עמוקה שיכול להאזין להקשות מקלדת של משתמשים ולייצר פלט של כל מה שכתבו בדיוק גבוה במיוחד – 95% הצלחה. החוקרים מציינים כי אחוז ההצלחה אמנם ירד מעט בהקלטה של ההקלדה דרך זום, אבל עדיין שמר על שיעור מרשים של 93% אחוזי הצלחה.
כדי לייצר את הכלי שלהם, החוקרים היו צריכים לאמן אותו תחילה. הם עשו זאת על ידי הקלדה על 36 מקשים במקלדת של מקבוק פר: 25 פעמים על כל מקש, והקלטה של הצליל שנוצר. לאחר מכן ייצרו החוקרים את צורת גלי הקול (Waveform) של כל הקשה כזו ו-ויזואליזציה שמראה כיצד כל מקש נבדל האחד מהשני. את המידע הזה עיבדו כדי להבין באילו סיגנלים מהצלילים הללו ניתן להשתמש כדי לזהות את הקשות המקלדת.
על סמך הוויזואליזציות שיצרו לכל הקשת מקלדת אימנו החוקרים את המודל שלהם, שלו הם קראו CoAtNet. המודל בנוי על סיווג תמונות, וכל תמונה של ויזואליזציה של הקשת מקש הוא הופך בסופו של דבר לפלט טקסטואלי. במהלך המחקר שלהם החוקרים השתמשו באותו המקבוק שעליו הקלידו את ההקשות לאימון המודל, והם מציינים כי מדובר במחשב שהמקלדת שלו נמצאת בכל דגמי המקבוק של אפל בשנתיים האחרונות. לצד המחשב הם הניחו גם אייפון 13 מיני במרחק של 17 סנטימטר ששימש להקלטת ההקלדה לצורך הבדיקה וברקע רצה Zoom המשמשת גם היא להקלטת הצלילים של ההקלדה בזמן אמת.
Follow The Geek
וקטור התקיפה שהציגו החוקרים עם פיתוח המודל שלהם פורסם במאמר ב-arXiv, והוא יכול תיאורטית לשמש לגניבת מידע כמו סיסמאות או מידע רגיש שהקלדתם בזמן שיחה – על ידי גורמים זדוניים. אחד החלקים המעניינים במודל שיצרו החוקרים הוא העובדה שאימנו אותו, לראשונה, על מקלדת שקטה יחסית – כמו זו של המקבוק – ולא על מקלדות מכניות רועשות, ששימשו בדרך כלל לביצוע ה-POC עבור מתקפות האזנה להקלדה.החוקרים מציינים כי התוצאות שאליהן הגיעו עם CoAtNet הן השניות בטיבן אי פעם (בהקלטה ישירה, ולא דרך זום) במתקפות מהסוג הזה שפורסמו במאמרים רשמיים, וכי דרך אפשרית לשדרג את אחוזי ההצלחה שלהם היא הוספה של מדל שפה גדול (LLM) שיסייע בפענוח, אך הם לא מציינים איך בדיוק יעשו זאת.
החוקרים מציינים כי אחת הדרכים להילחם בוקטור הזה היא החלפת סגנון הכתיבה, שימוש במנהלי ומחוללי סיסמאות, ושימוש בזיהוי ביומטרי כמו חיישן טביעת אצבע במחשבים.