בקשת מידע | הורדת אתרים רבים עם מספר עוקב
-
שלום לכולם אני מנסה להוריד אתר שמחולק לעשרות אלפי קישורים נפרדים
ואי אפשר להוריד את כולם ביחד מהדף הראשי של האתר,
אלא צריך להזין ידנית את הקישור של כל אחד בנפרד ולהוריד אותו,
אציין כי כל הקישורים הם ספרות עוקבות בסדר עולה אחד אחרי השני
האם יש דרך/תוכנה/סקריפט/פקודה
שאוכל לתת פקודה אחת - להוריד את כל העשרות אלפי קישורים?
תודה רבה! -
שלום לכולם אני מנסה להוריד אתר שמחולק לעשרות אלפי קישורים נפרדים
ואי אפשר להוריד את כולם ביחד מהדף הראשי של האתר,
אלא צריך להזין ידנית את הקישור של כל אחד בנפרד ולהוריד אותו,
אציין כי כל הקישורים הם ספרות עוקבות בסדר עולה אחד אחרי השני
האם יש דרך/תוכנה/סקריפט/פקודה
שאוכל לתת פקודה אחת - להוריד את כל העשרות אלפי קישורים?
תודה רבה! -
@צדיק-תמים
תודה,
באיזה פונקציה שם אני מגדיר את זה?
[שיוריד את טווח הקישורים המסוים כי להוריד רק את האתר הראשי זה לא עוזר משום מה]. -
@צדיק-תמים
תודה זה באמת מוריד לי כעשר כל פעם,
רק יש לי בעיה שהם לא עשו ממש בסדר עוקב....
ולפעמים החליפו אות ולפעמים ספרה.....
וIND מוגבל ל100 הורדות כל פעם.....
השאלה היא אם יש משהו חלופי שיכול לנסות עבורי את כל הצירופים האפשריים
ולהוריד מתוכם רק מה שקיים?אם לא, אני צריך לנסות לעלות על הנוסחה שלהם....
-
@צדיק-תמים
תודה זה באמת מוריד לי כעשר כל פעם,
רק יש לי בעיה שהם לא עשו ממש בסדר עוקב....
ולפעמים החליפו אות ולפעמים ספרה.....
וIND מוגבל ל100 הורדות כל פעם.....
השאלה היא אם יש משהו חלופי שיכול לנסות עבורי את כל הצירופים האפשריים
ולהוריד מתוכם רק מה שקיים?אם לא, אני צריך לנסות לעלות על הנוסחה שלהם....
-
לאחר ניסויים רבים אני רוצה לפעול בצורה יותר תועלתית,
האם יש דרך להוריד אתר שלם, כולל כל הדפים שהוא מקבל דרך API מאתרים אחרים?כי אם אפשר נראה לי שבס"ד יפתור את הבעיה שלי,
תודה רבה!
-
@אלף-שין אולי תיצור קודם רצף של כל הדפים הקיימים באתר?
תבצע לולאת fetch מתוך האתר בסדר עולה, ותאסוף את כל הדפים שמחזירים 200, תיקח את המערך של הדפים, ותכניס לidm, או לתוכנה אחרת שתוריד את כל הקישורים האלה...@LEVI-H
אם הבנתי אותך נכון
הפיתרון שלך יעזור לי להוריד את כל אותם הדפים כקבצים נפרדים,
הבעיה היא שמדובר בכ5 מיליון דפים!!
ואני רוצה להוריד אותם בצורה שהם יהיו מקושרים לאתר עצמו, כאילו הוא מקבל אותם בAPI בהתאם לפרמטרים שהוא שולח,
אולי נמשיך בפרטי, כי זה קצת רגיש לפרט פה את האתר.
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}