הצעת ייעול | קונספט חדש לפרוייקט השו״ת

[sivan22]

@pcinfogmach @לא-מתייאש בהמשך לדיון על מסד הנתונים של ספריא, התחלתי לעבוד על המרה לSQLite, וזה באמת המון עבודה. גיליתי שיש שם כל כך הרבה דאטה, שזה פשוט לא לעניין לא להשתמש בזה, אבל מצד שני זה גם לא פשוט בכלל לחלץ כל כך הרבה מידע.
בינתיים חילצתי להדגמה רק כמה נתונים בסיסיים ממש:

לצורך העבודה השתמשתי בעיקר בספריית pandas (הרי אני כיום מתיימר להיות מדען נתונים),וגם קצת בaggragation של MongoDB.

העליתי את הקוד של ההמרה לגיטהאב.
ואת המסד נתונים עצמו אני אעלה בהמשך להגי פייס.

אבל יש עוד הרבה מאד עבודה עד שזה יהיה ראוי לשימוש אפילו מינימלי.
מה שחסר במיוחד כרגע, זה כל השמות בעברית. יש אותם כמובן במסד נתונים, אבל צריך לחלץ אותם מעומק העץ של MongoDB.

[האדם החושב]

@sivan22 לא מבין כלום בענייני מסדי נתונים, אבל ראיתי שיש לספריא כבר משהו לsql
https://github.com/Sefaria/Sefaria-SQL
יש להם גם משהו למונגו db
https://github.com/Sefaria/Sefaria-Export
יש להם עוד כמה מאגרים
https://github.com/Sefaria

[A0533057932]

פוסט זה נמחק!

[מישהו12]

@sivan22 ראיתי כלים אוטומטיים להמרה.
זה לא עובד?

נ.ב אם יש דרך פשוטה גם לאנשים שלא מבינים במסדי נתונים, להשתמש בסקריפטים שהבאת ולקדם את העסק מבחינה כמותית - אעזור בלנ"ד בשמחה.

[sivan22]

@מישהו12 למעשה חשבתי שהפרוייקט בספריא לא מתוחזק, וייקח לי יותר זמן לגרום לו לעבוד מאשר לעשות את זה לבד. אבל אתמול דווקא ניסיתי אותו ונראה די מבטיח, עדכונים בעזרת ה' בהמשך.

[לא-מתייאש]

@sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

@מישהו12 למעשה חשבתי שהפרוייקט בספריא לא מתוחזק, וייקח לי יותר זמן לגרום לו לעבוד מאשר לעשות את זה לבד. אבל אתמול דווקא ניסיתי אותו ונראה די מבטיח, עדכונים בעזרת ה' בהמשך.

בדקתי, חוץ ממונגו, יש להם את הכל המאגר בJSON, לא אמור להיות כזה קשה לעשות סקריפט שימיר הכל לSQLITE, הרבה פחות ממה שחשבתי וודאי.
אני ממש עמוס כרגע, אבל מקווה שחודש הבא אוכל לבדוק יותר ברצינות. יתכן שבסוף COMPOSE יותר מתאים מFLUTTER.
אני צריך לחשוב על זה, כי כאן זה חשוב שנוכל לפתוח גם כמה חלונות, אני לא יודע עד כמה זה נתמך בFLUTTER.

[sivan22]

@לא-מתייאש הצלחתי בסוף להמיר דרך הקוד שלהם [שבאמת עובד על הJSON]: https://github.com/Sefaria/Sefaria-SQL

עם קצת מניפולציות בקוד.
[כרגע הלינקים עדיין לא עובד, צריך עוד טיפה עבודה, אבל זה בהחלט נראה בכיוון הנכון, והרבה פחות עבודה ממה שהיה נראה]

[לא-מתייאש]

@sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

@לא-מתייאש הצלחתי בסוף להמיר דרך הקוד שלהם: https://github.com/Sefaria/Sefaria-SQL

עם קצת מניפולציות בקוד.
[כרגע הלינקים עדיין לא עובד, צריך עוד טיפה עבודה, אבל זה בהחלט נראה בכיוון הנכון, והרבה פחות עבודה ממה שהיה נראה]

יפה מאוד ! לא חשבתי שהיו הולכים לעשות את זה ביומיים ! בין כה אמרתי שחודש הזה זה לא יהיה, אבל חודש הבא כן אוכל להתחיל ב"ה.
חשבתי קצת ועדיף להתמקד על ממשק למחשבים לחוד ולהתחיל איתו.

[לא-מתייאש]

אני חושב שגם צריך לשלב קורא PDF שכל אחד יוכל להוסיף את הספרים שלו בתוך האפליקצייה. כך נוכל להנות יותר מאתרים כמו hebrewbooks. את האמת שיש לי יותר מוטיבצייה לעשות את זה מקיידרואיד, כי אני גם צריך אפליקצייה כזאת אני בכלל על הלינוקס ואין כלום. בין שעשה את זה עם FLUTTER או COMPOSE, נרוויח גם ווינדוס, דם מאק, וגם לינוקס. אבל זה הרבה יותר קל מקיידרואיד, לא לפחד, זה עניין של הפסקה של שבוע, אוליי 2 אם אני הולך לעשות דברים יותר מורכבים.

[יוסי מחשבים]

@לא-מתייאש חשבתם על לפתוח התרמה כמו שעשה @הפצת-אנקי ?
כל הצדדים ירוויחו

[לא-מתייאש]

@יוסי-מחשבים כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

@לא-מתייאש חשבתם על לפתוח התרמה כמו שעשה @הפצת-אנקי ?
כל הצדדים ירוויחו

אני אף פעם לא כ"כ האמנתי בתרומות אבל אני לא נגד

[מישהו12]

@לא-מתייאש כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

לינוקס ואין כלום

יש אורייתא, אבל זה באמת קטן.

@לא-מתייאש כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

כך נוכל להנות יותר מאתרים כמו hebrewbooks.

אם תמצאו דרך להוריד את כל המאגר של היברובוקס לתוכנה מראש, או למצער לעשות חיפוש מובנה בתוך התוכנה בהיברובוקס עם לחצן הורדה זה בכלל יהיה מטורף...

[לא-מתייאש]

@מישהו12 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

@לא-מתייאש כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

כך נוכל להנות יותר מאתרים כמו hebrewbooks.

אם תמצאו דרך להוריד את כל המאגר של היברובוקס לתוכנה מראש, או למצער לעשות חיפוש מובנה בתוך התוכנה בהיברובוקס עם לחצן הורדה זה בכלל יהיה מטורף...

כבר בדקתי ומצאתי endpoint של הapi שלהם, כך שטכני אין שום בעייה, רק שזה הגד הכללים של האתר, צריך לבקש מהם אישור

[צדיק וטוב לו 0]

@מישהו12 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

@לא-מתייאש כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

כך נוכל להנות יותר מאתרים כמו hebrewbooks.

אם תמצאו דרך להוריד את כל המאגר של היברובוקס לתוכנה מראש, או למצער לעשות חיפוש מובנה בתוך התוכנה בהיברובוקס עם לחצן הורדה זה בכלל יהיה מטורף...

רוב ספרי היברו בוקס במצב קריאה, שגם רובוט AI לא יזהה...
וברצינות: יש הבדל בין ספר יחסית חדיש, שבקלות ניתן לבצע בו חיפוש, לבין חלק גדול ממאגר היברובוקס, שהם ספרים ישנים מאוד.

[מישהו12]

@צדיק-וטוב-לו-0 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

@מישהו12 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

@לא-מתייאש כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

כך נוכל להנות יותר מאתרים כמו hebrewbooks.

אם תמצאו דרך להוריד את כל המאגר של היברובוקס לתוכנה מראש, או למצער לעשות חיפוש מובנה בתוך התוכנה בהיברובוקס עם לחצן הורדה זה בכלל יהיה מטורף...

רוב ספרי היברו בוקס במצב קריאה, שגם רובוט AL לא יזהה...
וברצינות: יש הבדל בין ספר יחסית חדיש, שבקלות ניתן לבצע בו חיפוש, לבין חלק גדול ממאגר היברובוקס, שהם ספרים ישנים מאוד.

גם אם לא יהיה חיפוש בתוך הספרים אלא רק בשמות זה כבר יעיל.

[מישהו12]

פוסט זה נמחק!

[צדיק וטוב לו 0]

@מישהו12 קודם שיהיו עקביים במתן השמות של הספרים והמחברים שם.

[מישהו12]

@לא-מתייאש כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

@מישהו12 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

@לא-מתייאש כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

כך נוכל להנות יותר מאתרים כמו hebrewbooks.

אם תמצאו דרך להוריד את כל המאגר של היברובוקס לתוכנה מראש, או למצער לעשות חיפוש מובנה בתוך התוכנה בהיברובוקס עם לחצן הורדה זה בכלל יהיה מטורף...

כבר בדקתי ומצאתי endpoint של הapi שלהם, כך שטכני אין שום בעייה, רק שזה הגד הכללים של האתר, צריך לבקש מהם אישור

לכאורה זה מותר
Subject to applicable law, you may distribute print or electronic copies of any Publication to any third party free of charge for personal use only and for use in accordance with the terms of this license. If you distribute copies of the Publications to any third party, you must retain any attribution notices that appear in such copies, and you must provide the third party with a complete copy of the limited license set out in this Paragraph 1 of these Terms of Use, including the restrictions on further distribution.

[לא-מתייאש]

@מישהו12 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

@לא-מתייאש כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

@מישהו12 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

@לא-מתייאש כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

כך נוכל להנות יותר מאתרים כמו hebrewbooks.

אם תמצאו דרך להוריד את כל המאגר של היברובוקס לתוכנה מראש, או למצער לעשות חיפוש מובנה בתוך התוכנה בהיברובוקס עם לחצן הורדה זה בכלל יהיה מטורף...

כבר בדקתי ומצאתי endpoint של הapi שלהם, כך שטכני אין שום בעייה, רק שזה הגד הכללים של האתר, צריך לבקש מהם אישור

לכאורה זה מותר
Subject to applicable law, you may distribute print or electronic copies of any Publication to any third party free of charge for personal use only and for use in accordance with the terms of this license. If you distribute copies of the Publications to any third party, you must retain any attribution notices that appear in such copies, and you must provide the third party with a complete copy of the limited license set out in this Paragraph 1 of these Terms of Use, including the restrictions on further distribution.

2. Limitations on Use of the Site: You shall not use or introduce into the Site any device, software

[צדיק וטוב לו 0]

@לא-מתייאש הספונסר של האתר הוא צביקה רייזמן מלוס אנג'לס.
סביר מאוד להניח שלו יפנו אליו, הוא ידאג לאפשר.