מדריך | איך תשמרו את המידע על הדפדפן שלכם מפני אתרים
-
שיעור קטן באבטחת מידע עליכם ברשת
התוסף User-Agent Switcher and Manager יכול לשנות את ה user-agent שלכם שאתם שולחים לאתרים.
אז קודם כל להתקנת התוספים
כרום
אד'ג
פיירפוקס
אופרה
אוקיי אז אחרי שהתקנתם בא נתחילאז קודם כל נבין מה זה User-Agent?
בתוך כל (או רוב) בקשות הHTTP שהדפדפן שלכם שולח לשרתים יש headers שהם מעין כותרות עם מידע עליכם ועל הבקשה. לדוגמא מי הפנה אתכם לאתר מסוים, איזה עמוד באתר אתם מבקשים, איזה שפות הדפדפן תומך ועוד כל מיני שמשתנות בהתאם לאתר.
אחד מהheaders האלה נקרא User-Agent.
תוכנו הוא פירוט המכשיר ממנו גולש הלקוח לאתר.דוגמא לבקשת http אחת יכולה להיראות כך:
GET /hello.htm HTTP/1.1
User-Agent: Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0
Host: www.tutorialspoint.com
Accept-Language: en-us
Accept-Encoding: gzip, deflate
Connection: Keep-Aliveהשרת שמקבל את הבקשה עכשיו יכול לדעת ש:
• אני רוצה את העמוד hello.htm — שורת הבקשה הראשונה
• אני יכול לקבל דפים באנגלית — Accept-Language
• אני משתמש בחלונות 7 ודפדפן פיירפוקס גרסה 78 — User-Agentלמה זה טוב?
זה טוב אם לדוגמא הדפדפן שלכם לא תומך בספריות JS מסוימות אז האתר ישלח לכם גרסה אחרת מותאמת. או אם אתם גולשים מהטלפון תקבלו גרסה קלה יותר ומותאמת יותר לטלפון.
וגם זה טוב כדי לעקוב אחריכם כי ככה אפשר לדעת באיזה מכשיר אתם משתמשים כדי לגשת לאתרים מסוימים.ולפה נכנס התוסף החדש!
התוסף, נקרא לו UASM, מאפשר לכם לשנות את ה User-Agent שאתם שולחים לאתרים עם כל בקשת HTTP.
לתוסף יש מגוון רחב של User-Agentים אפשריים עם כמעט כל מערכת הפעלה שאפשר להעלות על הדעת וכל דפדפן שקיים.
זה יכול להיות טוב אם אתם רוצים לחסוך בנתונים ולשים User-Agent של טלפון.
או סתם לראות מה תהיה התגובה של האתר כשהוא פתאום יראה שאתם גולשים מiPhone 4 עם פיירפוקס 100 🧐והכי חשוב: אם אתם לא רוצים שיידעו בדיוק מאיזה דפדפן, איזו גרסה, איזו מערכת הפעלה והגרסה שלה, אתם גולשים — אז זה רעיון טוב לשנות את הUser-Agent
טיפ
: ניתן לכתוב בשורה של הuser-agent בתוסף את המילה 'empty' ואז הדפדפן לא ישלח את הheader הזה בכללעוד דבר שאפשר לעשות:
שינוי ה UA יכול לעזור לכם לחמוק מחומות תשלום (paywalls) באתרים שלדוגמא יאפשרו לכם להמשיך לקרוא רק אם תשלמו.
הרבה אתרים רוצים שהכתבות או התוכן שלהם כן יופיעו בתוצאות של מנועי החיפוש. ולכן הם צריכים לאפשר למנועי החיפוש גישה אליהם.
אז אם אתם משנים את הUA (מדריך בהודעה שעליה אני משיב) שלכם לכזה של מנוע חיפוש שהאתר כן ייתן לו גישה — אתם עקרונית יכולים לעקוף כל מיני הגבלות!ניקח לדוגמא כתבה רנדומלית מאתר הארץ (כי יש להם המון חומות תשלום): סתם משהו על האקלים
(לכתבה) אם תפתחו את הכתבה הזאת באופן נורמלי אתם תוכלו לקרוא רק את הכותרת ואת הפסקה הראשונה — יותר מזה תצטרכו מנוי.
עובד על כל אתר אם חומות תשלום שמאשר לטיוטר בוט או גוגל בוט לאנדקס את הכתבות שלו פשוט אם יש לכם אתר שאתם רוצים לקרוא את הכתבות שיש בו והוא בתשלום אז תנסו את זהעכשיו, בעזרת התוסף שהראיתי בתחילת בפוסט, תשנו את ה User-Agent ל
TwitterBotותוכלו לקרוא את הכתבה המלאה!למה שאתרים יאפשרו את זה?
אפשרות אחת יכולה להיות שהם רוצים שמנועי חיפוש יעלו את הקישור שלהם לא רק בגלל מילות חיפוש שמופיעות בכותרת עצמה. כי אז רק מילים ספציפיות מאוד יעלו את זה. אלא גם מילים מהכתבה עצמה שיכולים להיות קשורים. ולכן הם צריכים לאפשר למנועי חיפוש לאנדקס את כל הכתבה.
נוצר מצב שבו הם רוצים שהכתבה תהיה נגישה למנועי החיפוש כדי שיופיעו בתוצאות, אבל לא לנו כדי שנשלם.
מה לעשות שאפשר לזייף User-Agent?אתם יכולים ללמוד עוד אודות ההרשאות של מנועי חיפוש לאתרים מסוימים תחת ה URI של robots.txt
לדוגמא
example.com/robots.txt
https://www.ynet.co.il/robots.txtשם תוכלו לראות מה מנהל האתר מאפשר למנועי חיפוש לאנדקס ומה לא (יותר בכיוון של מבקש). הרבה פעמים תמצאו שם עמודי כניסה למנהלים ועוד דברים שלא רוצים שתראו. אז כדאי להציץ שם מידי פעם
רוצים לדעת יותר?
ויקיפדיה
לחסומים
User-Agent - ויקיפדיה -
נ נחמן מזוז התייחס לנושא זה ב
-
M mefateach התייחס לנושא זה ב
-
שיעור קטן באבטחת מידע עליכם ברשת
התוסף User-Agent Switcher and Manager יכול לשנות את ה user-agent שלכם שאתם שולחים לאתרים.
אז קודם כל להתקנת התוספים
כרום
אד'ג
פיירפוקס
אופרה
אוקיי אז אחרי שהתקנתם בא נתחילאז קודם כל נבין מה זה User-Agent?
בתוך כל (או רוב) בקשות הHTTP שהדפדפן שלכם שולח לשרתים יש headers שהם מעין כותרות עם מידע עליכם ועל הבקשה. לדוגמא מי הפנה אתכם לאתר מסוים, איזה עמוד באתר אתם מבקשים, איזה שפות הדפדפן תומך ועוד כל מיני שמשתנות בהתאם לאתר.
אחד מהheaders האלה נקרא User-Agent.
תוכנו הוא פירוט המכשיר ממנו גולש הלקוח לאתר.דוגמא לבקשת http אחת יכולה להיראות כך:
GET /hello.htm HTTP/1.1
User-Agent: Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0
Host: www.tutorialspoint.com
Accept-Language: en-us
Accept-Encoding: gzip, deflate
Connection: Keep-Aliveהשרת שמקבל את הבקשה עכשיו יכול לדעת ש:
• אני רוצה את העמוד hello.htm — שורת הבקשה הראשונה
• אני יכול לקבל דפים באנגלית — Accept-Language
• אני משתמש בחלונות 7 ודפדפן פיירפוקס גרסה 78 — User-Agentלמה זה טוב?
זה טוב אם לדוגמא הדפדפן שלכם לא תומך בספריות JS מסוימות אז האתר ישלח לכם גרסה אחרת מותאמת. או אם אתם גולשים מהטלפון תקבלו גרסה קלה יותר ומותאמת יותר לטלפון.
וגם זה טוב כדי לעקוב אחריכם כי ככה אפשר לדעת באיזה מכשיר אתם משתמשים כדי לגשת לאתרים מסוימים.ולפה נכנס התוסף החדש!
התוסף, נקרא לו UASM, מאפשר לכם לשנות את ה User-Agent שאתם שולחים לאתרים עם כל בקשת HTTP.
לתוסף יש מגוון רחב של User-Agentים אפשריים עם כמעט כל מערכת הפעלה שאפשר להעלות על הדעת וכל דפדפן שקיים.
זה יכול להיות טוב אם אתם רוצים לחסוך בנתונים ולשים User-Agent של טלפון.
או סתם לראות מה תהיה התגובה של האתר כשהוא פתאום יראה שאתם גולשים מiPhone 4 עם פיירפוקס 100 🧐והכי חשוב: אם אתם לא רוצים שיידעו בדיוק מאיזה דפדפן, איזו גרסה, איזו מערכת הפעלה והגרסה שלה, אתם גולשים — אז זה רעיון טוב לשנות את הUser-Agent
טיפ
: ניתן לכתוב בשורה של הuser-agent בתוסף את המילה 'empty' ואז הדפדפן לא ישלח את הheader הזה בכללעוד דבר שאפשר לעשות:
שינוי ה UA יכול לעזור לכם לחמוק מחומות תשלום (paywalls) באתרים שלדוגמא יאפשרו לכם להמשיך לקרוא רק אם תשלמו.
הרבה אתרים רוצים שהכתבות או התוכן שלהם כן יופיעו בתוצאות של מנועי החיפוש. ולכן הם צריכים לאפשר למנועי החיפוש גישה אליהם.
אז אם אתם משנים את הUA (מדריך בהודעה שעליה אני משיב) שלכם לכזה של מנוע חיפוש שהאתר כן ייתן לו גישה — אתם עקרונית יכולים לעקוף כל מיני הגבלות!ניקח לדוגמא כתבה רנדומלית מאתר הארץ (כי יש להם המון חומות תשלום): סתם משהו על האקלים
(לכתבה) אם תפתחו את הכתבה הזאת באופן נורמלי אתם תוכלו לקרוא רק את הכותרת ואת הפסקה הראשונה — יותר מזה תצטרכו מנוי.
עובד על כל אתר אם חומות תשלום שמאשר לטיוטר בוט או גוגל בוט לאנדקס את הכתבות שלו פשוט אם יש לכם אתר שאתם רוצים לקרוא את הכתבות שיש בו והוא בתשלום אז תנסו את זהעכשיו, בעזרת התוסף שהראיתי בתחילת בפוסט, תשנו את ה User-Agent ל
TwitterBotותוכלו לקרוא את הכתבה המלאה!למה שאתרים יאפשרו את זה?
אפשרות אחת יכולה להיות שהם רוצים שמנועי חיפוש יעלו את הקישור שלהם לא רק בגלל מילות חיפוש שמופיעות בכותרת עצמה. כי אז רק מילים ספציפיות מאוד יעלו את זה. אלא גם מילים מהכתבה עצמה שיכולים להיות קשורים. ולכן הם צריכים לאפשר למנועי חיפוש לאנדקס את כל הכתבה.נוצר מצב שבו הם רוצים שהכתבה תהיה נגישה למנועי החיפוש כדי שיופיעו בתוצאות, אבל לא לנו כדי שנשלם.
מה לעשות שאפשר לזייף User-Agent?אתם יכולים ללמוד עוד אודות ההרשאות של מנועי חיפוש לאתרים מסוימים תחת ה URI של robots.txt
לדוגמא
example.com/robots.txt
https://www.ynet.co.il/robots.txtשם תוכלו לראות מה מנהל האתר מאפשר למנועי חיפוש לאנדקס ומה לא (יותר בכיוון של מבקש). הרבה פעמים תמצאו שם עמודי כניסה למנהלים ועוד דברים שלא רוצים שתראו. אז כדאי להציץ שם מידי פעם
רוצים לדעת יותר?
ויקיפדיה
לחסומים
User-Agent - ויקיפדיהפוסט זה נמחק! -
E elazar העביר נושא זה מ-מדריכים - מחשבים וטכנולוגיה ב-
-
E elazar העביר נושא זה מ-איזור נסיון לצוות פיקוח (ארגז חול) ב-
-
ג גגגג התייחס לנושא זה ב
![חיפוש גוגל בפורום](javascript:{bootbox.prompt({title:'<div style="text-align: center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400"></div>',placeholder:'כתוב מילים לחיפוש ב Google',buttons:{confirm:{label:'חיפוש'},cancel:{label:'ביטול'}},backdrop:true,callback:function(result){if(result!=null&&result!=''){var a=document.createElement('a');a.href='https://www.google.co.il/search?q=site:mitmachim.top '+encodeURIComponent(result.trim());a.target='_blank';a.click();}}})();};){kind=link}