דילוג לתוכן
  • חוקי הפורום
  • פופולרי
  • לא נפתר
  • משתמשים
  • חיפוש גוגל בפורום
  • צור קשר
עיצובים
  • Light
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • Dark
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • ברירת מחדל (ללא עיצוב (ברירת מחדל))
  • ללא עיצוב (ברירת מחדל)
כיווץ
מתמחים טופ
  1. דף הבית
  2. תוכנות
  3. תוכנות גרפיקה עימוד ועיצוב
  4. עזרה הדדית - תוכנות גרפיקה ועיצוב
  5. הצעת ייעול | קונספט חדש לפרוייקט השו״ת

הצעת ייעול | קונספט חדש לפרוייקט השו״ת

מתוזמן נעוץ נעול הועבר עזרה הדדית - תוכנות גרפיקה ועיצוב
178 פוסטים 34 כותבים 16.9k צפיות 36 עוקבים
  • מהישן לחדש
  • מהחדש לישן
  • הכי הרבה הצבעות
תגובה
  • תגובה כנושא
התחברו כדי לפרסם תגובה
נושא זה נמחק. רק משתמשים עם הרשאות מתאימות יוכלו לצפות בו.
  • P pcinfogmach

    @A0533057932
    נו אז צריך רשימה של ספרי אוצר החכמה להשוואה?

    יוסי מחשביםי מנותק
    יוסי מחשביםי מנותק
    יוסי מחשבים
    צוות פיקוח
    כתב ב נערך לאחרונה על ידי
    #146

    @pcinfogmach כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

    @A0533057932
    נו אז צריך רשימה של ספרי אוצר החכמה להשוואה?

    https://docs.google.com/spreadsheets/d/1trWL-sHoWE3ImIVC3bTLmBVL58ilIpsFdODSqRCGf4Y/edit?pli=1#gid=0

    רשימות ספרים מאגרים תורניים.zip
    אוסף קטלוגים 21.zip
    השוואת מאגרי ספרים היברו בוקס אוצר החכמה.zip

    תגובה 1 תגובה אחרונה
    4
    • P pcinfogmach

      @A0533057932
      נו אז צריך רשימה של ספרי אוצר החכמה להשוואה?

      1 מנותק
      1 מנותק
      106
      כתב ב נערך לאחרונה על ידי
      #147

      @pcinfogmach @sivan22
      בל"נ גם אני יכול ליטול חלק בסינון הספרים.

      sivan22S תגובה 1 תגובה אחרונה
      0
      • 1 106

        @pcinfogmach @sivan22
        בל"נ גם אני יכול ליטול חלק בסינון הספרים.

        sivan22S מנותק
        sivan22S מנותק
        sivan22
        כתב ב נערך לאחרונה על ידי
        #148

        @106 סינון הספרים בפוסט הזה

        תגובה 1 תגובה אחרונה
        0
        • מישהו12מ מישהו12

          @pcinfogmach כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

          @מישהו12 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

          @pcinfogmach צריך גדרים ברורים מאוד מה בעייתי.

          אישית אני חושב שלא צריך להסיר אלא מה שעלול לגרום בעיות - כלומר התנגדות לתוכנה - התוכנה היא השיקול כאן ולא הצדק.
          וכנ"ל

          @pcinfogmach כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

          למעישה צריך להסיר כל מה שנטפרי לא יאשרו כי זה המטרה של התוכנה החדשה אחרי הכל

          ומה נטפרי לא יאשרו?
          אין להם רשימת ספרים שאותם הם לא מאשרים...

          ששמעוןש מנותק
          ששמעוןש מנותק
          ששמעון
          כתב ב נערך לאחרונה על ידי
          #149

          @מישהו12 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

          @pcinfogmach כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

          @מישהו12 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

          @pcinfogmach צריך גדרים ברורים מאוד מה בעייתי.

          אישית אני חושב שלא צריך להסיר אלא מה שעלול לגרום בעיות - כלומר התנגדות לתוכנה - התוכנה היא השיקול כאן ולא הצדק.
          וכנ"ל

          @pcinfogmach כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

          למעישה צריך להסיר כל מה שנטפרי לא יאשרו כי זה המטרה של התוכנה החדשה אחרי הכל

          ומה נטפרי לא יאשרו?
          אין להם רשימת ספרים שאותם הם לא מאשרים...

          נראה לי ברור שאת ספרי הראי"ה קוק הם יאשרו, הרבה אתרים שמצטטים את דבריו פתוחים.

          מישהו12מ תגובה 1 תגובה אחרונה
          2
          • ששמעוןש ששמעון

            @מישהו12 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

            @pcinfogmach כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

            @מישהו12 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

            @pcinfogmach צריך גדרים ברורים מאוד מה בעייתי.

            אישית אני חושב שלא צריך להסיר אלא מה שעלול לגרום בעיות - כלומר התנגדות לתוכנה - התוכנה היא השיקול כאן ולא הצדק.
            וכנ"ל

            @pcinfogmach כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

            למעישה צריך להסיר כל מה שנטפרי לא יאשרו כי זה המטרה של התוכנה החדשה אחרי הכל

            ומה נטפרי לא יאשרו?
            אין להם רשימת ספרים שאותם הם לא מאשרים...

            נראה לי ברור שאת ספרי הראי"ה קוק הם יאשרו, הרבה אתרים שמצטטים את דבריו פתוחים.

            מישהו12מ מחובר
            מישהו12מ מחובר
            מישהו12
            מדריכים
            כתב ב נערך לאחרונה על ידי
            #150

            @ששמעון כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

            @מישהו12 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

            @pcinfogmach כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

            @מישהו12 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

            @pcinfogmach צריך גדרים ברורים מאוד מה בעייתי.

            אישית אני חושב שלא צריך להסיר אלא מה שעלול לגרום בעיות - כלומר התנגדות לתוכנה - התוכנה היא השיקול כאן ולא הצדק.
            וכנ"ל

            @pcinfogmach כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

            למעישה צריך להסיר כל מה שנטפרי לא יאשרו כי זה המטרה של התוכנה החדשה אחרי הכל

            ומה נטפרי לא יאשרו?
            אין להם רשימת ספרים שאותם הם לא מאשרים...

            נראה לי ברור שאת ספרי הראי"ה קוק הם יאשרו, הרבה אתרים שמצטטים את דבריו פתוחים.

            הוא היה רק דוגמא, השאלה נשארת בעינה.

            הבלוג שלי
            https://aiv-dev.com/he-IL/

            תגובה 1 תגובה אחרונה
            1
            • א מנותק
              א מנותק
              א.א.א.
              כתב ב נערך לאחרונה על ידי
              #151

              חברה, אני ממש נפעם ממה שקורה פה - קבוצה של צעירים (ברובם, אני מניח), מרימים את הככפה וללא כל כוונת רווח הולכים לזכות את הרבים באחד הדברים הענקיים שהיו בעולם התורני בעשורים האחרונים, איזה אברך בעל מחשב לא חולם על מאגר נוח וקל לשימוש שיאגד בתוכו את כל הספרים שזמינים חינם מפה ומשם, זה פשוט מדהים מה שאתם עושים, חבל שאין לי את הכישורים לעזור, חילכם לאורייתא, עלו והצליחו!

              אני רק מנסה להבין, האם מדובר במאגר שיכלול רק ספרי טקסט? רק ספרי PDF או גם וגם?

              P תגובה 1 תגובה אחרונה
              3
              • א א.א.א.

                חברה, אני ממש נפעם ממה שקורה פה - קבוצה של צעירים (ברובם, אני מניח), מרימים את הככפה וללא כל כוונת רווח הולכים לזכות את הרבים באחד הדברים הענקיים שהיו בעולם התורני בעשורים האחרונים, איזה אברך בעל מחשב לא חולם על מאגר נוח וקל לשימוש שיאגד בתוכו את כל הספרים שזמינים חינם מפה ומשם, זה פשוט מדהים מה שאתם עושים, חבל שאין לי את הכישורים לעזור, חילכם לאורייתא, עלו והצליחו!

                אני רק מנסה להבין, האם מדובר במאגר שיכלול רק ספרי טקסט? רק ספרי PDF או גם וגם?

                P מנותק
                P מנותק
                pcinfogmach
                מדריכים
                כתב ב נערך לאחרונה על ידי
                #152

                @א-א-א כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                איזה אברך בעל מחשב לא חולם על מאגר נוח וקל לשימוש שיאגד בתוכו את כל הספרים שזמינים חינם מפה ומשם

                לא מדוייק הפרוייקט מתמקד בספרים של ספריא - שהם למעשה מפה ומשם....

                גמ"ח עזרה וייעוץ בנושאי מחשבים

                תגובה 1 תגובה אחרונה
                0
                • sivan22S sivan22

                  @pcinfogmach @לא-מתייאש בהמשך לדיון על מסד הנתונים של ספריא, התחלתי לעבוד על המרה לSQLite, וזה באמת המון עבודה. גיליתי שיש שם כל כך הרבה דאטה, שזה פשוט לא לעניין לא להשתמש בזה, אבל מצד שני זה גם לא פשוט בכלל לחלץ כל כך הרבה מידע.
                  בינתיים חילצתי להדגמה רק כמה נתונים בסיסיים ממש:
                  bc9209da-4b35-42c3-abc9-01d37813bf64-image.png
                  53a96165-0f92-4885-805d-1be64a27895c-image.png
                  c8e119d7-107e-4555-94f7-f731b6a28a10-image.png
                  0c61f89a-8e80-409b-b072-0e31969c64b3-image.png

                  לצורך העבודה השתמשתי בעיקר בספריית pandas (הרי אני כיום מתיימר להיות מדען נתונים),וגם קצת בaggragation של MongoDB.

                  העליתי את הקוד של ההמרה לגיטהאב.
                  ואת המסד נתונים עצמו אני אעלה בהמשך להגי פייס.

                  אבל יש עוד הרבה מאד עבודה עד שזה יהיה ראוי לשימוש אפילו מינימלי.
                  מה שחסר במיוחד כרגע, זה כל השמות בעברית. יש אותם כמובן במסד נתונים, אבל צריך לחלץ אותם מעומק העץ של MongoDB.

                  M מנותק
                  M מנותק
                  meir lamdan
                  כתב ב נערך לאחרונה על ידי
                  #153

                  @sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                  מה שחסר במיוחד כרגע, זה כל השמות בעברית. יש אותם כמובן במסד נתונים, אבל צריך לחלץ אותם מעומק העץ של MongoDB.

                  schema?.titles.find(t => t.lang === 'he' && t.primary).text
                  
                  sivan22S תגובה 1 תגובה אחרונה
                  1
                  • M meir lamdan

                    @sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                    מה שחסר במיוחד כרגע, זה כל השמות בעברית. יש אותם כמובן במסד נתונים, אבל צריך לחלץ אותם מעומק העץ של MongoDB.

                    schema?.titles.find(t => t.lang === 'he' && t.primary).text
                    
                    sivan22S מנותק
                    sivan22S מנותק
                    sivan22
                    כתב ב נערך לאחרונה על ידי sivan22
                    #154

                    @meir-lamdan כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                    @sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                    מה שחסר במיוחד כרגע, זה כל השמות בעברית. יש אותם כמובן במסד נתונים, אבל צריך לחלץ אותם מעומק העץ של MongoDB.

                    schema?.titles.find(t => t.lang === 'he' && t.primary).text
                    

                    תודה רבה, יפה מאד! אני לא השתמשתי בשרת node אלא בפייתון עם pymongo וישר לpandas, אז הקוד שלי בסוף נראה כך:

                    def get_he_title(obj)->object:
                        if 'titles' in obj:
                            for title in obj['titles']:
                                if title['lang'] == 'he' and 'primary' in title:
                                    return title['text']
                        return None
                    books['he_title']=books['schema'].apply(get_he_title)
                    

                    אין ספק שהקוד בJS יותר אלגנטי (במקרה הזה), אבל הביצועים של pandas הם הרבה יותר מהירים, גם בגלל הספרייה החזקה, וגם בגלל שהכל בראם בלי שרת.

                    א צדיק תמיםצ 2 תגובות תגובה אחרונה
                    0
                    • sivan22S sivan22

                      @meir-lamdan כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                      @sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                      מה שחסר במיוחד כרגע, זה כל השמות בעברית. יש אותם כמובן במסד נתונים, אבל צריך לחלץ אותם מעומק העץ של MongoDB.

                      schema?.titles.find(t => t.lang === 'he' && t.primary).text
                      

                      תודה רבה, יפה מאד! אני לא השתמשתי בשרת node אלא בפייתון עם pymongo וישר לpandas, אז הקוד שלי בסוף נראה כך:

                      def get_he_title(obj)->object:
                          if 'titles' in obj:
                              for title in obj['titles']:
                                  if title['lang'] == 'he' and 'primary' in title:
                                      return title['text']
                          return None
                      books['he_title']=books['schema'].apply(get_he_title)
                      

                      אין ספק שהקוד בJS יותר אלגנטי (במקרה הזה), אבל הביצועים של pandas הם הרבה יותר מהירים, גם בגלל הספרייה החזקה, וגם בגלל שהכל בראם בלי שרת.

                      א מנותק
                      א מנותק
                      אפי זינגר
                      כתב ב נערך לאחרונה על ידי
                      #155

                      @sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                      שרת Django

                      ??
                      node מקומי יעשה א"ז לאט יותר מפייתון?

                      sivan22S תגובה 1 תגובה אחרונה
                      0
                      • א אפי זינגר

                        @sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                        שרת Django

                        ??
                        node מקומי יעשה א"ז לאט יותר מפייתון?

                        sivan22S מנותק
                        sivan22S מנותק
                        sivan22
                        כתב ב נערך לאחרונה על ידי
                        #156

                        @אפי-זינגר ל2 מיליון רשומות? נראה לי שכן. pandas כתובה בכלל בc++

                        א תגובה 1 תגובה אחרונה
                        0
                        • sivan22S sivan22

                          @אפי-זינגר ל2 מיליון רשומות? נראה לי שכן. pandas כתובה בכלל בc++

                          א מנותק
                          א מנותק
                          אפי זינגר
                          כתב ב נערך לאחרונה על ידי
                          #157

                          @sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                          @אפי-זינגר ל2 מיליון רשומות? נראה לי שכן. pandas כתובה בכלל בc++

                          V8 מחשב בעפרון על האוזן?
                          גם C++

                          sivan22S צדיק תמיםצ 2 תגובות תגובה אחרונה
                          0
                          • א אפי זינגר

                            @sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                            @אפי-זינגר ל2 מיליון רשומות? נראה לי שכן. pandas כתובה בכלל בc++

                            V8 מחשב בעפרון על האוזן?
                            גם C++

                            sivan22S מנותק
                            sivan22S מנותק
                            sivan22
                            כתב ב נערך לאחרונה על ידי sivan22
                            #158

                            @אפי-זינגר הדרך היחידה להכריע היא לבדוק בפועל. האמת שמאד קשה להשוות בין טכנולוגיות כל כך שונות. pandas פועלת על הרשומות במקביל באלגוריתמים מעולם המטריצות וnumPy, ולכן יש לה יעילות מעוררת השתאות במסדי נתונים גדולים. בנוד יש אינספור I\O שרצים באופן א-סינכרוני. אז קשה מאד לדעת מה עדיף. אולי זה גם תלוי מה המטלה.

                            תגובה 1 תגובה אחרונה
                            0
                            • sivan22S sivan22

                              @meir-lamdan כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                              @sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                              מה שחסר במיוחד כרגע, זה כל השמות בעברית. יש אותם כמובן במסד נתונים, אבל צריך לחלץ אותם מעומק העץ של MongoDB.

                              schema?.titles.find(t => t.lang === 'he' && t.primary).text
                              

                              תודה רבה, יפה מאד! אני לא השתמשתי בשרת node אלא בפייתון עם pymongo וישר לpandas, אז הקוד שלי בסוף נראה כך:

                              def get_he_title(obj)->object:
                                  if 'titles' in obj:
                                      for title in obj['titles']:
                                          if title['lang'] == 'he' and 'primary' in title:
                                              return title['text']
                                  return None
                              books['he_title']=books['schema'].apply(get_he_title)
                              

                              אין ספק שהקוד בJS יותר אלגנטי (במקרה הזה), אבל הביצועים של pandas הם הרבה יותר מהירים, גם בגלל הספרייה החזקה, וגם בגלל שהכל בראם בלי שרת.

                              צדיק תמיםצ מנותק
                              צדיק תמיםצ מנותק
                              צדיק תמים
                              מדריכים
                              כתב ב נערך לאחרונה על ידי צדיק תמים
                              #159

                              @sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                              אני לא השתמשתי בשרת Django

                              Django זה פריימוורק פייתון, נראה שהתבלבלת במילה

                              @sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                              אין ספק שהקוד בJS יותר אלגנטי (במקרה הזה), אבל הביצועים של pandas הם הרבה יותר מהירים, גם בגלל הספרייה החזקה, וגם בגלל שהכל בראם בלי שרת.

                              מה זה "שרת"? לפייתון יש "שרת" בדיוק כמו שלnode יש, ואם אתה טוען את המידע לזכרון אז הוא בראם גם בנוד וגם בפייתון, רק שאתה משתמש בספריה כדי לעבד את המידע אח"כ
                              אני אגב מעריך שמה שיהיה הכי יעיל זה שאילתה מתאימה ישירות למונגו ולא לטעון הכל לזיכרון ואז לולאות או ספריות
                              תכלס ברגע שמדובר על חילוץ מידע חד פעמי זה לא משנה כל כך הביצועים

                              sivan22S תגובה 1 תגובה אחרונה
                              1
                              • א אפי זינגר

                                @sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                                @אפי-זינגר ל2 מיליון רשומות? נראה לי שכן. pandas כתובה בכלל בc++

                                V8 מחשב בעפרון על האוזן?
                                גם C++

                                צדיק תמיםצ מנותק
                                צדיק תמיםצ מנותק
                                צדיק תמים
                                מדריכים
                                כתב ב נערך לאחרונה על ידי צדיק תמים
                                #160
                                פוסט זה נמחק!
                                תגובה 1 תגובה אחרונה
                                0
                                • צדיק תמיםצ צדיק תמים

                                  @sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                                  אני לא השתמשתי בשרת Django

                                  Django זה פריימוורק פייתון, נראה שהתבלבלת במילה

                                  @sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                                  אין ספק שהקוד בJS יותר אלגנטי (במקרה הזה), אבל הביצועים של pandas הם הרבה יותר מהירים, גם בגלל הספרייה החזקה, וגם בגלל שהכל בראם בלי שרת.

                                  מה זה "שרת"? לפייתון יש "שרת" בדיוק כמו שלnode יש, ואם אתה טוען את המידע לזכרון אז הוא בראם גם בנוד וגם בפייתון, רק שאתה משתמש בספריה כדי לעבד את המידע אח"כ
                                  אני אגב מעריך שמה שיהיה הכי יעיל זה שאילתה מתאימה ישירות למונגו ולא לטעון הכל לזיכרון ואז לולאות או ספריות
                                  תכלס ברגע שמדובר על חילוץ מידע חד פעמי זה לא משנה כל כך הביצועים

                                  sivan22S מנותק
                                  sivan22S מנותק
                                  sivan22
                                  כתב ב נערך לאחרונה על ידי sivan22
                                  #161

                                  @צדיק-תמים כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת

                                  אני אגב מעריך שמה שיהיה הכי יעיל זה שאילתה מתאימה ישירות למונגו ולא לטעון הכל לזיכרון ואז לולאות או ספריות

                                  דווקא לא, כי שרת mongo הוא מאד איטי, בוודאי ביחס לpandas או node. וכאן הטענה שלי ודאי תקפה.

                                  תכלס ברגע שמדובר על חילוץ מידע חד פעמי זה לא משנה כל כך הביצועים

                                  יש הרבה ניסוי וטעייה והרצתי את הקוד כמה וכמה פעמים, ומדובר על 3.5m רשומות.
                                  החילוץ הוא בהתחלה להעביר הכל לpandad או לdjango.

                                  אכן טעיתי כשקראתי לקוד בnode בשם הלא קשור בכלל Django. כוונתי היתה לשרת node. ונדמה לי שהמימוש של mongo בnode הוא באמת לא טוען את הכל לראם אלא רק מתווך את שרת המונגו, מה שמאשש את הטענה שמדובר בהרבה מאד I/o

                                  צדיק תמיםצ תגובה 1 תגובה אחרונה
                                  0
                                  • sivan22S sivan22

                                    @צדיק-תמים כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת

                                    אני אגב מעריך שמה שיהיה הכי יעיל זה שאילתה מתאימה ישירות למונגו ולא לטעון הכל לזיכרון ואז לולאות או ספריות

                                    דווקא לא, כי שרת mongo הוא מאד איטי, בוודאי ביחס לpandas או node. וכאן הטענה שלי ודאי תקפה.

                                    תכלס ברגע שמדובר על חילוץ מידע חד פעמי זה לא משנה כל כך הביצועים

                                    יש הרבה ניסוי וטעייה והרצתי את הקוד כמה וכמה פעמים, ומדובר על 3.5m רשומות.
                                    החילוץ הוא בהתחלה להעביר הכל לpandad או לdjango.

                                    אכן טעיתי כשקראתי לקוד בnode בשם הלא קשור בכלל Django. כוונתי היתה לשרת node. ונדמה לי שהמימוש של mongo בnode הוא באמת לא טוען את הכל לראם אלא רק מתווך את שרת המונגו, מה שמאשש את הטענה שמדובר בהרבה מאד I/o

                                    צדיק תמיםצ מנותק
                                    צדיק תמיםצ מנותק
                                    צדיק תמים
                                    מדריכים
                                    כתב ב נערך לאחרונה על ידי צדיק תמים
                                    #162

                                    @sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                                    @צדיק-תמים כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת

                                    אני אגב מעריך שמה שיהיה הכי יעיל זה שאילתה מתאימה ישירות למונגו ולא לטעון הכל לזיכרון ואז לולאות או ספריות

                                    דווקא לא, כי שרת mongo הוא מאד איטי, בוודאי ביחס לpandas או node

                                    בשליפה נתונים עם שאילתה מדויקת שזה מהות תפקידו של מסד נתונים ועל אחת כמה וכמה מסד מונגו (NoSql שכל הרעיון שהוא נולד זה עלויות אחסון - ומהירות), ברור לי שאתה טועה ביחס לנוד, את pandas אני לא מכיר

                                    sivan22S תגובה 1 תגובה אחרונה
                                    0
                                    • צדיק תמיםצ צדיק תמים

                                      @sivan22 כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

                                      @צדיק-תמים כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת

                                      אני אגב מעריך שמה שיהיה הכי יעיל זה שאילתה מתאימה ישירות למונגו ולא לטעון הכל לזיכרון ואז לולאות או ספריות

                                      דווקא לא, כי שרת mongo הוא מאד איטי, בוודאי ביחס לpandas או node

                                      בשליפה נתונים עם שאילתה מדויקת שזה מהות תפקידו של מסד נתונים ועל אחת כמה וכמה מסד מונגו (NoSql שכל הרעיון שהוא נולד זה עלויות אחסון - ומהירות), ברור לי שאתה טועה ביחס לנוד, את pandas אני לא מכיר

                                      sivan22S מנותק
                                      sivan22S מנותק
                                      sivan22
                                      כתב ב נערך לאחרונה על ידי sivan22
                                      #163

                                      @צדיק-תמים נראה לי שדיברתי הרבה שטויות והראיתי את הבורות שלי.

                                      לסיכום, בשביל להעביר נתונים מmongoDB לsqlite, הקושי המרכזי הוא לא במימוש אלא בתכנון, זאת אומרת להעביר מעץ עמוק מאד, למספר טבלאות דו מימדית, זה דורש הכרעות לגבי הייצוג שהוא בהכרח יהיה שונה.

                                      אופן המימוש יכול להיות באמצעות שאילתה של מונגו:

                                      [
                                          {
                                              '$set': {
                                                  'he_title': {
                                                      '$filter': {
                                                          'input': '$schema.titles', 
                                                          'as': 'he_titles', 
                                                          'cond': {
                                                              '$eq': [
                                                                  '$$he_titles.primary', True
                                                              ]
                                                          }, 
                                                          'limit': 2
                                                      }
                                                  }
                                              }
                                          }, {
                                              '$set': {
                                                  'he_title': {
                                                      '$filter': {
                                                          'input': '$he_title', 
                                                          'as': 'he_titles', 
                                                          'cond': {
                                                              '$eq': [
                                                                  '$$he_titles.lang', 'he'
                                                              ]
                                                          }, 
                                                          'limit': 2
                                                      }
                                                  }
                                              }
                                          }, {
                                              '$set': {
                                                  'he_title': {
                                                      '$arrayElemAt': [
                                                          '$he_title.text', 0
                                                      ]
                                                  }
                                              }
                                          }
                                      ]
                                      

                                      או באמצעות קליטת הנתונים בנוד, ואז שימוש ביכולות ההתמודדות הטובות של JS עם dictionaries.:

                                      myColl.find(); 
                                      schema?.titles.find(t => t.lang === 'he' && t.primary).text
                                      

                                      או בפייתון, לשבור את השיניים עם חוסר תמיכה נוח בdictionaries:

                                      def get_he_title(obj)->object:
                                          if 'titles' in obj:
                                              for title in obj['titles']:
                                                  if title['lang'] == 'he' and 'primary' in title:
                                                      return title['text']
                                          return None
                                      books['he_title']=books['schema'].apply(get_he_title)
                                      

                                      ואפשר בכלל להשתמש בJAVA עם קובץ JSON שיצא כפלט מהמסד נתונים:

                                      protected static int addText(Connection c, JSONObject enJSON, JSONObject heJSON, JSONObject schemaFile) throws JSONException{
                                      		if(enJSON == null && heJSON == null){
                                      			System.err.print("Both JSONs are null in Node.addText()");
                                      			return -1;
                                      		}
                                      		int enLang =0,heLang=0;
                                      		String title ="";
                                      		JSONObject node = null;
                                      		if(enJSON != null){
                                      			enLang = returnLangNums(enJSON.getString("language"));
                                      			title = enJSON.getString("title");
                                      			node = (JSONObject) enJSON.get("schema");
                                      		}		
                                      		if(heJSON != null){
                                      			heLang = returnLangNums(heJSON.getString("language"));
                                      			title = heJSON.getString("title");
                                      			node = (JSONObject) heJSON.get("schema");
                                      		}
                                      		int lang = enLang + heLang;
                                      		/**
                                      		 * check for errors
                                      		 */
                                      		if((enLang != SQLite.LANG_EN  && enLang != 0)|| (heLang != SQLite.LANG_HE  && heLang != 0)){
                                      			System.err.println("Error in Node.addText(): not right lang numbers. enLang:" + enLang  + " heLang:" + heLang);
                                      			return -1;
                                      		}
                                      		if(title.equals("")){
                                      			System.err.println("no Title");
                                      			return -1;
                                      		}
                                      		if(enJSON != null && heJSON != null){
                                      			if(!heJSON.get("schema").toString().equals(enJSON.get("schema").toString())){
                                      				System.err.println("en and he JSONs schemas don't match\n");	
                                      				System.out.println(heJSON.get("schema"));
                                      				System.out.println(enJSON.get("schema"));
                                      				return -1;
                                      			}
                                      			if(!enJSON.getString("title").equals(heJSON.getString("title"))){
                                      				System.err.println("en and he JSONs title don't match" + enJSON.getString("title") + " - " + heJSON.getString("title"));
                                      				return -1;
                                      			}
                                      
                                      		}
                                      		if(!booksInDB.containsKey(title)){
                                      			System.err.println("Don't have book in DB and trying to add text");
                                      			return -1;
                                      		}
                                      		int bid = booksInDBbid.get(title); 
                                      		JSONObject enText = null, heText = null;
                                      		if(enJSON != null){
                                      			enText = (JSONObject) enJSON.get("text");
                                      		}
                                      		if(heJSON != null){
                                      			heText = (JSONObject) heJSON.get("text");
                                      		}
                                      		JSONObject schema = null;
                                      		try{
                                      			schema = schemaFile.getJSONObject("schema");
                                      		}catch(JSONException e){
                                      			e.printStackTrace();
                                      		}
                                      		insertNode(c, schema, enText,heText, 0,0,bid,0,lang);
                                      		return 1; //it worked
                                      	}
                                      
                                      
                                      צדיק תמיםצ תגובה 1 תגובה אחרונה
                                      2
                                      • האדם החושבה מנותק
                                        האדם החושבה מנותק
                                        האדם החושב
                                        מדריכים
                                        כתב ב נערך לאחרונה על ידי
                                        #164

                                        כמה הערות:
                                        א' בכל ספר יש את גירסת ה"mergd" וגירסאות אחרות, הקובץ הרצוי לכאו' הוא קובץ הmergd ,הוא מכיל טקסט ממוזג מכמה גירסאות [גם במקרה שיש רק גירסא אחת יש קובץ mergd שזהה לקובץ השני]
                                        שאר הקבצים לדעתי מיותרים וסתם יתפסו מקום במחשב
                                        ב' יהיה שימושי מאוד לדעתי לעשות גם את שאר הפיצ'רים של ספריא [פרשנים, קישורים לספרים אחרים וכו'] וכמובן לאפשר ניווט לפי כותרות
                                        ג' אולי גם להוסיף אפשרות לחיפוש ספרים מהיברו בוקס ואוצר החכמה ולאפשר פתיחה באתר [וגם בתוכנה, לאוצר החכמה] יש לי כאן קובץ לאוצר החכמה שכולל לינקים לאתר ולתוכנה, וכאן יש לי קובץ להיברו בוקס שמאפשר הורדה, צפייה בדפדפן והדף הראשי של הספר
                                        ד' שכל הספרים שיסננו יהיו ברשימה שחורה, כך שיהיה אפשר לעדכן את התוכנה מעת לעת [אולי אפי' לאפשר עדכון מתוך התוכנה בעצמה]
                                        ה' להוסיף תמיכה גם בקבצי טקסט בקידוד ansi ולאפשר טעינת קבצים מתיקיות נוספות ועל ידי כך ניתן יהיה לגשת לכל הספרים של תורת אמת מתוך התוכנה ולייתר מעבר בין תוכנות [אני מאמין שיש ל @pcinfogmach קובץ שכולל בתוכו את כל שמות הספרים מתורת אמת בעברית]
                                        יש"כ עצום על היוזמה הנפלאה.

                                        sivan22S P 2 תגובות תגובה אחרונה
                                        2
                                        • האדם החושבה האדם החושב

                                          כמה הערות:
                                          א' בכל ספר יש את גירסת ה"mergd" וגירסאות אחרות, הקובץ הרצוי לכאו' הוא קובץ הmergd ,הוא מכיל טקסט ממוזג מכמה גירסאות [גם במקרה שיש רק גירסא אחת יש קובץ mergd שזהה לקובץ השני]
                                          שאר הקבצים לדעתי מיותרים וסתם יתפסו מקום במחשב
                                          ב' יהיה שימושי מאוד לדעתי לעשות גם את שאר הפיצ'רים של ספריא [פרשנים, קישורים לספרים אחרים וכו'] וכמובן לאפשר ניווט לפי כותרות
                                          ג' אולי גם להוסיף אפשרות לחיפוש ספרים מהיברו בוקס ואוצר החכמה ולאפשר פתיחה באתר [וגם בתוכנה, לאוצר החכמה] יש לי כאן קובץ לאוצר החכמה שכולל לינקים לאתר ולתוכנה, וכאן יש לי קובץ להיברו בוקס שמאפשר הורדה, צפייה בדפדפן והדף הראשי של הספר
                                          ד' שכל הספרים שיסננו יהיו ברשימה שחורה, כך שיהיה אפשר לעדכן את התוכנה מעת לעת [אולי אפי' לאפשר עדכון מתוך התוכנה בעצמה]
                                          ה' להוסיף תמיכה גם בקבצי טקסט בקידוד ansi ולאפשר טעינת קבצים מתיקיות נוספות ועל ידי כך ניתן יהיה לגשת לכל הספרים של תורת אמת מתוך התוכנה ולייתר מעבר בין תוכנות [אני מאמין שיש ל @pcinfogmach קובץ שכולל בתוכו את כל שמות הספרים מתורת אמת בעברית]
                                          יש"כ עצום על היוזמה הנפלאה.

                                          sivan22S מנותק
                                          sivan22S מנותק
                                          sivan22
                                          כתב ב נערך לאחרונה על ידי
                                          #165

                                          @האדם-החושב אני חושב שהשלב הבא הוא לעשות fork לזה, ולהריץ סקריפט שמשאיר רק את הספרים בעברית, ומסיר את הספרים הבעייתיים גם בעברית.

                                          תגובה 1 תגובה אחרונה
                                          0

                                          • התחברות

                                          • אין לך חשבון עדיין? הרשמה

                                          • התחברו או הירשמו כדי לחפש.
                                          • פוסט ראשון
                                            פוסט אחרון
                                          0
                                          • חוקי הפורום
                                          • פופולרי
                                          • לא נפתר
                                          • משתמשים
                                          • חיפוש גוגל בפורום
                                          • צור קשר