המלצה | פרוייקט כלי קודש לוורד - ארגז כלים לעורך התורני

pcinfogmach

@אביי כתב בהמלצה | פרוייקט כלי קודש לוורד - ארגז כלים לעורך התורני:

@pcinfogmach כתב בהמלצה | פרוייקט כלי קודש לוורד - ארגז כלים לעורך התורני:

הבעיה כמו שהזכירו שהם שינו ההרשאות אם מישהו יודע מה לעשות אז אשישעה הקודים ממש פשוטים

האם הם לא שינו רק את כתובת ההורדה?
https://download.hebrewbooks.org/downloadhandler.ashx?req=46120

זה הקוד שיש לי

string url = $"https://download.hebrewbooks.org/downloadhandler.ashx?req={entry.ID_Book}";
string fileName = $"{entry.ID_Book}.pdf";
string downloadPath = Path.Combine(Path.GetTempPath(), fileName);

if (!File.Exists(downloadPath))
{
    var handler = new HttpClientHandler { UseCookies = true };
    using (HttpClient client = new HttpClient(handler))
    {
        client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 ...");
        client.DefaultRequestHeaders.Add("Referer", "https://www.hebrewbooks.org/");

        byte[] fileBytes = await client.GetByteArrayAsync(url);

        File.WriteAllBytes(downloadPath, fileBytes);
    }
}

האדם החושב

@pcinfogmach היברו בוקס הוסיפו לאחרונה שלב ביניים, שכל קריאה טוענת js שלאחר כמה שניות טוען את הדף.

ע"ה דכו"ע

@האדם-החושב כתב בהמלצה | פרוייקט כלי קודש לוורד - ארגז כלים לעורך התורני:

@pcinfogmach היברו בוקס הוסיפו לאחרונה שלב ביניים, שכל קריאה טוענת js שלאחר כמה שניות טוען את הדף.

זה לא אמור להיות סיבה ל403, לא?

מקסימום הקוד היה מקבל את הJS במקום את הPDF, או שאתה מתכוון בצד שרת?

האדם החושב

@ע-ה-דכו-ע זה תוכן הטקסט של הדף ביניים

<!DOCTYPE html>
<html lang="en-US">

<head>
    <title>Just a moment...</title>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
    <meta http-equiv="X-UA-Compatible" content="IE=Edge">
    <meta name="robots" content="noindex,nofollow">
    <meta name="viewport" content="width=device-width,initial-scale=1">
    <style>
        * {
            box-sizing: border-box;
            margin: 0;
            padding: 0
        }

        html {
            line-height: 1.15;
            -webkit-text-size-adjust: 100%;
            color: #313131;
            font-family: system-ui, -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, "Helvetica Neue", Arial, "Noto Sans", sans-serif, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Noto Color Emoji"
        }

        body {
            display: flex;
            flex-direction: column;
            height: 100vh;
            min-height: 100vh
        }

        .main-content {
            margin: 8rem auto;
            padding-left: 1.5rem;
            max-width: 60rem
        }

        @media (width <=720px) {
            .main-content {
                margin-top: 4rem
            }
        }

        .h2 {
            line-height: 2.25rem;
            font-size: 1.5rem;
            font-weight: 500
        }

        @media (width <=720px) {
            .h2 {
                line-height: 1.5rem;
                font-size: 1.25rem
            }
        }

        #challenge-error-text {
            background-image: url("data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHdpZHRoPSIzMiIgaGVpZ2h0PSIzMiIgZmlsbD0ibm9uZSI+PHBhdGggZmlsbD0iI0IyMEYwMyIgZD0iTTE2IDNhMTMgMTMgMCAxIDAgMTMgMTNBMTMuMDE1IDEzLjAxNSAwIDAgMCAxNiAzbTAgMjRhMTEgMTEgMCAxIDEgMTEtMTEgMTEuMDEgMTEuMDEgMCAwIDEtMTEgMTEiLz48cGF0aCBmaWxsPSIjQjIwRjAzIiBkPSJNMTcuMDM4IDE4LjYxNUgxNC44N0wxNC41NjMgOS41aDIuNzgzem0tMS4wODQgMS40MjdxLjY2IDAgMS4wNTcuMzg4LjQwNy4zODkuNDA3Ljk5NCAwIC41OTYtLjQwNy45ODQtLjM5Ny4zOS0xLjA1Ny4zODktLjY1IDAtMS4wNTYtLjM4OS0uMzk4LS4zODktLjM5OC0uOTg0IDAtLjU5Ny4zOTgtLjk4NS40MDYtLjM5NyAxLjA1Ni0uMzk3Ii8+PC9zdmc+");
            background-repeat: no-repeat;
            background-size: contain;
            padding-left: 34px
        }

        @media (prefers-color-scheme: dark) {
            body {
                background-color: #222;
                color: #d9d9d9
            }
        }
    </style>
    <meta http-equiv="refresh" content="360">
</head>

<body>
    <div class="main-wrapper" role="main">
        <div class="main-content"><noscript>
                <div class="h2"><span id="challenge-error-text">Enable JavaScript and cookies to continue</span></div>
            </noscript></div>
    </div>
    <script>(function () { window._cf_chl_opt = { cvId: '3', cZone: 'download.hebrewbooks.org', cType: 'managed', cRay: '97ce4bedcea95115', cH: 'CQq4MwmG7Pdhcnop7wpfsXhOWIcu65kw6qSkx6JjFx4-1757500715-1.2.1.1-U3bc9kYAfU5fouer8iTJFJzbtWIlmcI8eDMrp8PiPWAMJ4s.7t8fjCs1N5WJglVL', cUPMDTk: "\/downloadhandler.ashx?req=46120.pdf&__cf_chl_tk=9Y2vIzE2veDhZ.D6WPWOxve1yb7YYluH3xFxGVoGZcc-1757500715-1.0.1.1-87wtcnvkZF95btLcy7hiRXZiFCGPtjwjtsHRu_KdqMo", cFPWv: 'g', cITimeS: '1757500715', cTplC: 0, cTplV: 5, cTplB: 'cf', fa: "\/downloadhandler.ashx?req=46120.pdf&__cf_chl_f_tk=9Y2vIzE2veDhZ.D6WPWOxve1yb7YYluH3xFxGVoGZcc-1757500715-1.0.1.1-87wtcnvkZF95btLcy7hiRXZiFCGPtjwjtsHRu_KdqMo", md: 'IDSWWNiJQTY2jSeP__9hx764scC02OSM13pG5M8dKUs-1757500715-1.2.1.1-HLckis284Rs5fkeif449g7uL3Eecm79Aj_PSeMV1DaQN1BayDvaWoPTd6OSv9XxuU3xbEn0UZd3PzoI.oRa7n.CEuxzLt7l7QY02VIiiEev65bASoR.UGHA8iIrMzqMYaaQB2AWJcnvfhVeAGBjgf6y8NqwhVar2TYyRdsIZBczZ_EOJbLgFBh4Two5Z45Sn_VKm9pBuicXRYZiTroIietiQO536xHup3kP3FtSZ4pTS0F.SFfXBb9aUSBamCVlks3VPdNpwyfpRvtR.Knr1V414rEXcTAMpOU5wwzhAmpGM6wdta9ynBlkbzVoAf_ZjxTbSPQUD7ZUa4PdQhkNYlC1gaXwe8FM90fKRXEQtD4ASVYmjtRfCOyDZpKs7tYWYoSBYkoz5tipu.I4k8AM8yfmyiaD28aBogeiBgcAq2yEmq9PVr2UgBrO2bqqyvENqY2bjQ0bd.mkLGHr41eKyyvyW0lUg7O1UiB4Cra3WNQsiRZcN_OMXQBqjgf0e3vvucnLztDu8LnW0YgxG90Ns.V1jkBIsfdxvP0dhi8Q4jgwvv936qpARyzW7K7kA734laTCIL9z2j0GvkPyTP3lb2x5MemK7cbQ9zBPOksbH_GmJrwjfAjfLUjN0NugUDbQNCllGYRG0LgsfnLxy2ZCLtLJ63PQiDlorLzAqZnlbLg.RoCtZTzqzYiP6yi032zcvEcIgY9i8iRbyrThp962o1fZU6AaRonDDFJTrSk3Du.PTwLwv23b8OkGUcTt1oQYmCN9EgTs_JuA3p417NTyetXSCZPWEFRFiyYtEb96faIPNJ1WNCHX2FZWoP7lI27k3n1fiLdt9rkm9ZZ_mJ17nZkGT3mswyENAlT3pGea2ef9KuxzdVoeyIAkNb0E9daSETCgnhbGNeJh3EtI3a7TCC70YemrQ.GRHtMvc6uDElOfJzcBZxpwu2IgRHl3vJg3Q7mSaVZTXQGnwRxlp3ikTOx6kE0qZWvMexj06gSQ13hqMa_rh8pGwpCaBXxbiCTOwGP0cvkkdgg_YKj5wycfAsQP1YKfzNWLyMUg9KvxDe_CSiahZPdOnJGQiSY5qxnakjnYNOYOO27lBCBlmC0efXPo.LB4gmyEVydN0WW2sEmKYU0YyTWTJDrMvOKk4AEGFt2O3NZqv3micAEQN.h.H2w', mdrd: 'rURGYJFXLD72VGC2VHNgBUnq6FpdA75Z4lDG_Ws.h.M-1757500715-1.2.1.1-C4gQd.3IISwlCTsvTxSAda6N53WFNa1W_aeBBHGBQv3RuI5s_0YSDwTc_Hj4gS9Rf4bPnUF4h_3alYtABlQJ6SdkmT8Py1GKfDMPNm2xw.X9ISUFz0tIbZEmySmqqoY9gQYKc0iJblE.XgiXWoPdfuXKnfjw0XSfas.wsFxXrMdkv3IEEhgz0CUNMomn5NA8mIiUwmfl84b.2gpnPvW.4xjTX9ZVMEd.TTeb30Xbd1PLMOC7u0wIJlwdEw31lobNV4QGZ2CegVDFhRAalBDxX10IbtrFadOIeY5FqSg_USYKBUDtaXqzLOFZCGcsTwXSQ5cvWR9zWlEqBqsVYpjvoga1gFhFeGwvHXAvsmh1uyq2DIr59H8rQpxv.tLi0Vsp7ktWLYOu7b.t5MIcySSYqOHAwTJgm_oI9v2RBvFTP4vKh0FKiVvDAGHFtT71PmNIaGBVH1BKTh6_fQUZS6ZPVL3_FkIYVKKhEz07ipUNoUAxoZfGjgrJ9EbdBe6nQ_F70XnWrlw_uO2ioV1_r1YHYFIOXRPZughXA9SWGbzhnGDfVKY6x1ISdZ3J9gCvIY4NZoZVqMdyf.w7ZAI79O_DkatUYReMgJysE4pFLNwTr._NuzxQPkkPfJS6_jfqQTLgEzo_howe8JzbCwEjav8D.X6i9cP6TJhjSSCaaMXz39MdP_eBHpK82Vs7aI7fnF4AF57oIVDNwIpDZQ_AkvxdksuZJXQ6KYOn9TOQTYeD4CG_rXUSWlQC7xBGQgtVqWlYFS_EqLku467Iv5vCOXxPnQ50m4EP.LsB3Dpg37_blCgAcLt4KXkzceZAxIZ.ecEzHICsPDtZg3DbZXjpXiWmCb2SmC0SxsmH5u1w9.P54fzODNFqip0oGBXCju32t_kd2ns8BlXoouGulFFgpViRgaVoYXfLqLmlE5c0x36.jFj.M7ctVhS785n4KHbxYVqYnaY4Yhsr4F2Z5i3QBEifdJo4BPiyy6zZHCZoGgyiwKmSILjcIUK04VxI2mfbT4s1QREh1vtucuJs3.Aq2wYepFLuRVI3NbrOvheRzSXohCPqA8Jfc_DrikEJXSvV4z_Y_NFwY77Yoe1fATMVInno06twe3ZjIUSj.P758nxGMrczPq.DOwQj3vyTvEjggE82S7UZNK_haoLTErVAzWxEFETWyc.kM3tEY2My0Fi2cAH1NoasUfhmdmd_R.PzqaQ.2.YIJI2j0Nx7_2bXT7VexIrOc53Wu2SOACDinjpq88XY61me4HDB5ShYYHUvvhYzOsPpLgvRzxhrL8J2MA.mqZPLGtCVKZ9NOErUqDTFGokT1Zvw_bwofxCrEO4cC.mzJvpudgP1LukUAtQIyaRwdOptMVulGMeAf_Y8PdhdT2QQJ_w3Eu41eTFq8lTZTdLzPsVON6rJIwmhl0j2In4teJidk4b1qYS0f.XbpOaWXPmMaHGa43FGiZOvX3Q8LlCrk1Yh50wZdreZylvCbT4TPEuUP2x_FF.hCPASP7d9d1rnQ_NBUTKzMc7vYGFOeKrHag9UzCgduS.jFYTtw_AKX3RWqN39Rf3F6DYot9kM.WTfUYjxbQ7CXMuj92.582f57GaxhKBcpUavNjm.pwLH01HaAYXK9tTJhkj6sMAR1FkyotDrc4LVHNw7DRk41BAWlBR70FK9yqYgWKVWGRhauh7u1rlUBHB9c9o.UhZKUvXQoB_vFYjwn96W6Qg4L1IlO2K3C5XlSaNnuBanYQYAhZwGduRFcv1ixmG1T_3GxINKTDgJiK2LL5RqhwtplLTpzL8CDuA2AkqzKZrUzEbvlJpHkB_FdNDEzNtSrg9Ept5f1G8ktnZYqWNf1cKpLMGDWHYCuYHBzhuV4gHm0yG7_oNg3WIGC8E2kddY7a8NDjPGNqYtt3Dhp1RHcquwEnBKlvNYC5A4lzbmF2nAVyWPPc3xx65c38s7iaNAnyYQ2Pn63DguMQ83BUryPayLfu6lSBEeY7zR2D0CBHlO7XQfx8xjEjdhHnqvAaskXkXR9JkFfFe4yXyMY.SZLmqGoxyV.CAR2nwsGg6AemUNJq.agU_xdZYHOLttN_qKmlzLIFNse_a7qRX2ZBeWk502NZp_1t_G6EcmnntQvWxKStnQ6LukpeY.tgGa8PGj8Q6fQTIgXWIqCkWzlv_8oNIWvF6n9aCLNuzn31Fvmh0FjbVjVRa3OnsgmZvtEJVMT5ZP188ZS8V.Ql2MEeISLWS7EeJi2yp3PsDWBC1Qe4QVvlRIyeOQRr8Prz15CY6niOaVrBVFKs6DJP5vkfk8edy1dFFM3GBrO0qUoFK6ZqvH9KAZbpkfvjnQnuzsnVtgUhSa_PI3rnjQCtctTzrKNgGY_wqy1UugwQzvTfb1u6mOxjIWwEuac0Gg4txjRGM.dt_8qGjwJI7uPwQOfNPT3vJVNOLw_QaOHIw5Wbpp7eTV2kg_7Q', }; var a = document.createElement('script'); a.src = '/cdn-cgi/challenge-platform/h/g/orchestrate/chl_page/v1?ray=97ce4bedcea95115'; window._cf_chl_opt.cOgUHash = location.hash === '' && location.href.indexOf('#') !== -1 ? '#' : location.hash; window._cf_chl_opt.cOgUQuery = location.search === '' && location.href.slice(0, location.href.length - window._cf_chl_opt.cOgUHash.length).indexOf('?') !== -1 ? '?' : location.search; if (window.history && window.history.replaceState) { var ogU = location.pathname + window._cf_chl_opt.cOgUQuery + window._cf_chl_opt.cOgUHash; history.replaceState(null, null, "\/downloadhandler.ashx?req=46120.pdf&__cf_chl_rt_tk=9Y2vIzE2veDhZ.D6WPWOxve1yb7YYluH3xFxGVoGZcc-1757500715-1.0.1.1-87wtcnvkZF95btLcy7hiRXZiFCGPtjwjtsHRu_KdqMo" + window._cf_chl_opt.cOgUHash); a.onload = function () { history.replaceState(null, null, ogU); } } document.getElementsByTagName('head')[0].appendChild(a); }());</script>
</body>

</html>

זה עבד בעבר ועכשיו בגלל הדף ביניים נכשל:

import requests
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
BASE_URL = "https://download.hebrewbooks.org/downloadhandler.ashx"
book_id = "46120"
response = requests.get(f"{BASE_URL}?req={book_id}.pdf", headers=headers)

עכשיו זה עובד:

import cloudscraper
scraper = cloudscraper.create_scraper()
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
BASE_URL = "https://download.hebrewbooks.org/downloadhandler.ashx"
book_id = "46120"
response = scraper.get(f"{BASE_URL}?req={book_id}.pdf", stream=True, headers=headers)

ע"ה דכו"ע

@האדם-החושב

אז תכתוב שיש אימות נוסף, לא JS נוסף

יש ספריה לעקיפת האימות הזו גם בNET

Install-Package CloudflareSolverRe

ואח"כ צריך להוסיף בתחילת הקובץ

using CloudflareSolverRe;

ובקוד עצמו לשנות ככה:

string url = $"https://download.hebrewbooks.org/downloadhandler.ashx?req={entry.ID_Book}";
string fileName = $"{entry.ID_Book}.pdf";
string downloadPath = Path.Combine(Path.GetTempPath(), fileName);

if (!File.Exists(downloadPath))
                   
    {
          var handler = new ClearanceHandler
                    
                {
                        MaxTries = 3,
                        ClearanceDelay = 3000
                };
                    
                //var handler = new HttpClientHandler { UseCookies = true };
                using (HttpClient client = new HttpClient(handler))
                {
                    client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 ...");
                    client.DefaultRequestHeaders.Add("Referer", "https://www.hebrewbooks.org/");

                     byte[] fileBytes = await client.GetByteArrayAsync(url);

                     File.WriteAllBytes(downloadPath, fileBytes);
                }
            }

@pcinfogmach עשיתי לך PR בגיטהב.

לא הצלחתי לבדוק אם זה עובד בפועל, כי היו לי הרבה ספריות אחרות חסרות שמשום מה לא הותקנו, אז תבדוק את זה.

אגב, @האדם-החושב הקוד שהבאת עובד לך, או אמור לעבוד? כי הוספת שם PDF בסוף הURL, זה אמור להחזיר 404

pcinfogmach

פוסט זה נמחק!

האדם החושב

@ע-ה-דכו-ע כתב בהמלצה | פרוייקט כלי קודש לוורד - ארגז כלים לעורך התורני:

אגב, @האדם-החושב הקוד שהבאת עובד לך, או אמור לעבוד? כי הוספת שם PDF בסוף הURL, זה אמור להחזיר 404

צודק, צריך להוריד את ה.pdf, פשוט העתקתי את זה מקוד אחר שיש לי.

אז תכתוב שיש אימות נוסף, לא JS נוסף

לדעתי זה לא בדיוק אימות, זה js שמחזיר את הpdf ואם אתה עושה בקשה רגילה בלי השהייה אתה יוצא רק עם הjs ביד.

ע"ה דכו"ע

@האדם-החושב כתב בהמלצה | פרוייקט כלי קודש לוורד - ארגז כלים לעורך התורני:

@ע-ה-דכו-ע כתב בהמלצה | פרוייקט כלי קודש לוורד - ארגז כלים לעורך התורני:

אז תכתוב שיש אימות נוסף, לא JS נוסף

לדעתי זה לא בדיוק אימות, זה js שמחזיר את הpdf ואם אתה עושה בקשה רגילה בלי השהייה אתה יוצא רק עם הjs ביד.

זה בדיוק מה שכתבתי לך לפני, שאם כן זה לא היה מחזיר 403 אלא JS, אבל זה באמת JS שצריך להריץ, ורק מי שמריץ אותו מקבל אישור להמשיך הלאה, וכיון שהסיפריה הרגילה של HTTP לא יודעת להריץ JS היא לא מקבלת אישור ומחזיר 403, שזה קוד שמשמעותו "לא מורשה".

pcinfogmach

יאללה חברה באמת שאין לי זמן לזה איתכם הסליחה
כנ"ל אחרי החגים בלי נדר אנסה להתעסק עם זה

ותודה לכל המשיבים מקווה שזה הכיוון לפתור את הבעיה

שמעון פרידנן

@pcinfogmach

אני לא יודע אם כאן המקום אבל אנסה.
אני משתמש בצור זרם מספור שבתוסף עיצוב תורני להמרת סימון כגון * לזרם מספור.
ותודה על כך! מאד עוזר.
השאלה שלי, שאי מנסה למצוא את הדרך לעשות זאת גם בסימונים שבתוך תיבות טקסט.
כלומר, יש לי 2 תיבות טקסט בעמוד שבכ"א מהם כמה * ואני רוצה שהם יתמזגו לזרם אחד.
תיבה אחת אבגד ותיבה שניה הוזח, וכן הלאה בעמוד הבא תיבה ראשונה טי וכו'.
באמצעות התוסף זה רושם לי שגיאה 424. כשאני מנסה רק על תיבה מסוימת זה עובד אבל רק בתיבה השמאלית.
דבר נוסף שלא הבנתי, כשניסיתי להוסיף ידנית 'הוסף במיקום זה' אם כשהוספתי בתיבה הראשונה זה נהיה א ואח"כ שהוספתי בתיבה השניה זה נהיה שוב א
וכשהוספתי שוב בראשונה זה נהיה ג
אשמח לעזרה, אם לא קשה.

ע"ה דכו"ע

@שמעון-פרידנן כמדומני שככה זה בוורד, כלומר לא ניתן לשינוי (כנראה).
זה נחשב כמו שני מקטעים שונים (מה שנכון) והמספור שלהם מתבצע כל אחד בנפרד.

שמעון פרידנן

@ע-ה-דכו-ע כתב בהמלצה | פרוייקט כלי קודש לוורד - ארגז כלים לעורך התורני:

@שמעון-פרידנן כמדומני שככה זה בוורד, כלומר לא ניתן לשינוי (כנראה).
זה נחשב כמו שני מקטעים שונים (מה שנכון) והמספור שלהם מתבצע כל אחד בנפרד.

אם ככה איך קורה מה שכתבתי בסוף, שבמקרה שעשיתי ידנית המספור בתיבה הראשונה 'זכר' את המספור שבתיבה השניה ועשה 'ג' במקום 'ב'? אולי זה מרמז שיש כן איזושהי אופציה.
בנוסף: בדקתי על מסמך רגיל שחילקתי ל2 מקטעים. והוא יצר זרם מספור רציף על 2 המקטעים יחד.

pcinfogmach

@שמעון-פרידמן
אשמח אם תפתח נושא חדש עבור הבעיה שהצגת.
כדי לוודא שאשים לב לשאלתך, תמיד תוכל לתייג אותי.

תודה על ההבנה
לצערי אין לי ידע מעמיק בנושא תיבות טקסט.