שאלה | איתור כל הקישורים באתר מסוים

[שלומפער]

נניח שיש אתר שמצורפים בו הרבה קישורים לקבצים שונים אשר מאוחסנים בשרתי אחסון
יש אפשרות טכנית להגיע לרשימה של כל הקישורים שיש באתר???

[116nxh9]

@שלומפער יש אתר שקוראים לו FILE2HD ששם אתה יכול לעשות את הפעולה ( עקרונית )
http://file2hd.com/

[אהרן שובקס]

@116nxh9
זה רק לדף מסוים זה לא לכל האתר!!!

[מוטי מן]

@שלומפער יש, בתנאי שיש לך את הידע הנדרש לשם כך... יש לי באיזה חור קוד פייתון שעושה את זה... אבל זה לוקח מלא מלא זמן... זה מליארדי מליארדים של צירופים...

[116nxh9]

@אהרן-שובקס נכון טעות שלי אולי אפשר דרך התפסן של IDM

[מוטי מן]

@שלומפער להמחשה בלבד...
אם התווים המותרים בקישור הם 30 (ויש יותר), והקישור עצמו מורכב מרצף של 20 תווים אז זה מס' הקישורים האפשריים...
348,678,440,100,000,041,335,636,623,360
אני לא יודע איך בדיוק הוגים את השם של המספר הזה...

[שלומפער]

מבין שזה גדול עלי...
אבל נניח אתר בגודל בינוני שמצורפים בו נניח 100 קבצי pdf
אין אפשרות לאתר רשימה של 100 קבצים
מישהו הציע את התוכנה Screaming Frog SEO Spider...

א

[אהרן שובקס]

@שלומפער
אתה רוצה להוריד את הכל בפעם אחת?
את זה אתה יכול לעשות בIDM

[מוטי מן]

@אהרן-שובקס ואז ייחסם לו הip...

[ב.ל]

אתה יכול לעבור דף דף ע"י הסימניה המצורפת.( להוסיף את הקוד לרשימת הסימניות וכל דף שאתה רוצה לבדוק תלחץ על הסימנייה ותבדוק בF12 ותסתכל בקונסול תראה את כל הרשימה)

JavaScript:(()=>{document.querySelectorAll('a').forEach(e => console.log(e.href))})()

[דנבו]

פוסט זה נמחק!

[איש אמת]

פוסט זה נמחק!