דילוג לתוכן
  • חוקי הפורום
  • פופולרי
  • לא נפתר
  • משתמשים
  • חיפוש גוגל בפורום
  • צור קשר
עיצובים
  • Light
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • Dark
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • ברירת מחדל (ללא עיצוב (ברירת מחדל))
  • ללא עיצוב (ברירת מחדל)
כיווץ
מתמחים טופ
sivan22S

sivan22

@sivan22
אודות
פוסטים
615
נושאים
16
שיתופים
0
קבוצות
1
עוקבים
42
עוקב אחרי
1

פוסטים

פוסטים אחרונים הגבוה ביותר שנוי במחלוקת

  • המלצה | לתכנת בלי לדעת תיכנות - היום זה אפשרי
    sivan22S sivan22

    מהפכת הAI כבר כאן, ואחד הכלים החמים ביותר לאחרונה הוא עורך קוד עם סוכן AI מובנה בתוכו. יש חלון צ'אט קטן בתוך עורך הקוד, וניתן לשוחח עם מודל של בינה מלאכותית ולהנחות אותו במילים פשוטות מה אנחנו צריכים, והוא כבר יעשה הכל אבל הכל: לכתוב את הקוד, להריץ אותו, לבדוק שגיאות, להתקין תלויות. וכן, הוא מבין עברית מצויין.

    אז לא צריך לדעת לכתוב קוד, לא צריך לדעת אפילו אנגלית. פשוט לשוחח בעברית עם הצ'אט ולראות את הקסם.

    יש לי חבר שאינו יודע תיכנות בכלל, וגם אנגלית הוא כמעט לא יודע, ויצר תוכנה רצינית של ניהול קבוצות של ריפוי בעיסוק, הכל באמצעות הכלים הללו.

    כאן אני אתן פירוט על שלשה כלים כאלו:

    הראשון, ועליו אני ממליץ למתחילים, הוא windsurf. היתרון המרכזי הוא המחיר: חינמי ללא הגבלה. יש מכסה מסויימת חינמית, פשוט להוריד ולהתחיל לשוחח איתו בעברית.

    השני, עליו אני ממליץ למתקדמים הוא cline - זהו תוסף לVSCODE בקוד פתוח, שכדי להפעיל אותו נדרש API. אפשר להשתמש גם עם API חינמי של גוגל שניתן להשיג מכאן. אם כי איכות יותר טובה תתקבל בשימוש בAPI בתשלום של אנטרופיק, ניתן להטעין החל מ5$. את המפתח ניתן להשיג לאחר הרשמה כאן.

    במובנים מסויימים של איכות הוא עדיף לדעתי על הכלי הקודם, אם כי התחרות פתוחה והגרסאות של שני הכלים מתעדכנות כל העת.

    הכלי השלישי הוא cursor הוא פועל בשיטה דומה מאד לקודמים, ויש לו תוכנית חינמית מוגבלת למדי, וכמובן תוכניות בתשלום.

    עזרה הדדית - בינה מלאכותית

  • המלצה | חיפוש הלכתי חכם (AI)
    sivan22S sivan22

    היי חברים,

    אני רוצה לשתף אתכם בנסיונות ליצור חיפוש תורני חכם מבוסס בינה מלאכותית.

    אז לפני כמה חודשים הדגמתי חיפוש חכם בשולחן ערוך, וזה היה מבוסס על מודל שידע לסווג משפטים לסעיפים הנכונים בשולחן ערוך. אך זה היה כרוך באימון של המודל, מה שגרם לזה להיות מורכב.

    הפעם השתמשתי בשיטה אחרת, היתרון שלה הוא שהיא ניתנת להרחבה בקלות גם למאגרים גדולים (אוצריא?) וגם לא הייתי צריך לאמן שום מודל, השתמשתי במודל קיים (עם זאת, יתכן שאימון כן יכול לעזור לו, במיוחד במושגים תורניים שהוא לא מכיר).

    העקרון הוא כזה: יש מודל שיודע לתת לכל משפט ייצוג מספרי מתאים, שזה בעצם סדרה של מספרים, שאפשר להתייחס אליה כמציינת את המיקום של המשפט במרחב המשפטים. לדוגמה שני מספרים יכולים לשמש ציון של מיקום על ציר הX והY במרחב דו מימדי. אבל כאן משתמשים בהרבה מספרים, וזה בעצם מיקום במרחב רב מימדי. לוקחים את כל המשפטים שרוצים לחפש בהם, ונותנים להם את המספרים הללו. אחר כך לוקחים את השאילתה שהמשתמש רוצה, וגם לה נותנים ייצוג באותה שיטה, ומחפשים את הנקודה הקרובה ביותר במרחב.

    תמונה להמחשה: כיתוב בבעיות טעינה

    איך בעצם מייצרים את המספרים הללו? למעשה מדובר במודל שפה מתוחכם עם הרבה למידת מכונה, שהתאמן על משפטים דומים ושונים. אבל לסבר את האוזן נוכל להראות איך ניצור כאלו מספרים פשוט ממספר המילים שחוזרות על עצמן בכל קטע.

    נניח שיש לנו שני קטעי מתכונים ושני קטעים מספר על טיולים, ואנ ורוצים לתת לכל קטע ייצוג, אז נספור את מספר הפעמים שמופיעים המילים "חלב" "ביצים" "ירושלים" "כביש", בכל אחד מהקטעים הללו, ונגלה שבעצם הייצוג של שני קטעי המתכונים די דומה (נניח שאחד מהם הוא 2,3,0,0 והשני הוא 1,2,0,0 - כלומר המילה חלב מופיעה פעם אחת, ביצים פעמיים וכביש וירושלים בכלל לא.) אבל קטעי הטיולים דווקא כן דומים למדי (0,0,3,5 ו1,0,2,6).

    אז זה השלב הראשון.

    לפעמים זה לא מספיק, אז בשביל זה יש את השלב השני. שולחים את התוצאות (נניח 10 התוצאות הראשונות) למודל שפה גדול (נניח GPT 3.5) ונותנים לו למיין את התוצאות לפי הרלוונטיות שלהם. זה אמור לשפר מאד את התוצאות, כי מודל השפה אמור להבין איזו תשובה הכי רלוונטית לשאלה.

    השתמשתי להדגמה בספר "ילקוט יוסף - קיצושו"ע אורח חיים" של מרן הראשל"צ משום שהוא כתוב בשפה קלה, שגם מודלי שפה יכולים להבין. אבל די בקלות אפשר להרחיב אותו לכל ספר שהוא.

    יאללה מספיק דיבורים, תביא את הלינק וגמרנו:
    https://huggingface.co/spaces/sivan22/Halacha-semantic-search

    שימו לב שכדי להשתמש במודל שפה (שלב ב) צריך לספק לו מפתח API של openAI, ניתן להשיג אותו (בתשלום) באתר של openAI. אבל החיפוש הרגיל עובד לכולם.

    עזרה הדדית - בינה מלאכותית

  • שיתוף | אימון מודל לזיהוי הנושא ההלכתי
    sivan22S sivan22

    משתף איתכם מודל שאימנתי לזהות את הנושא ההלכתי של כל משפט שהוא מקבל.
    כמודל בסיס השתמשתי בBEREL

    האימון היה פשוט מאוד: הוא עבר על כל סעיפי השולחן ערוך ולמד מהו הנושא. [כל הסעיפים תחת הכותרת "הלכות נטילת ידים" הם כמובן עוסקים בנטילת ידים]. האימון לקח כמה דקות והדיוק כרגע הוא כ70 אחוז.

    ניתן לנסות אותו כאן.
    1b378098-6543-4fdf-9244-63f9d5cc7732-image.png

    מי שמעוניין לראות את הקוד (פייתון כמובן): כאן.

    עזרה הדדית - בינה מלאכותית

  • המלצה | איתוריא - חיפוש תורני רב שלבי באמצעות AI
    sivan22S sivan22

    בהמשך למה שפרסמתי כאן, ניתן להתרשם מהיכולות של חיפוש תורני מבוסס סוכן AI, בקישור הזה.

    הרעיון בקיצור הוא שבאמצעות בינה מלאכותית אנו יוצרים את השאילתה המדוייקת לחיפוש, לאחר מכן מנתחים את התוצאות, חוזרים על החיפוש בצורה יותר ממוקדת לפי הצורך, ולבסוף מסכמים את התשובה, וכן מציגים את המקורות עליהם היא מבוססת.

    בברירת מחדל מתבצע שימוש במודל Gemini של גוגל, אך מי שיש לו מפתח API יכול להשתמש גם בקלוד (מומלץ) או בGPT.

    עזרה הדדית - בינה מלאכותית

  • המלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך
    sivan22S sivan22

    שיחקתי קצת עם כלי מעניין, שמפשט עבורנו את העבודה של מה שנקרא היום RAG - Retrieval-Augmented Generation.
    זה אולי שם מפוצץ אבל זה די פשוט, משתמשים בבינה מלאכותית כדי לענות על שאלות בנוגע לתוכן מסויים שאנו נותנים לו מראש. הדרך לעשות זאת היא באמצעות שני שלבים: ראשית לוקחים את המסמכים שאנו רוצים לחפש בהם ויוצרים להם אינדקס באמצעות בינה מלאכותית (חיפוש סמנטי. הסברים נוספים כאן.) לאחר מכן קולטים שאלה מהמשתמש, ומחפשים את המסמכים הכי דומים. אז המערכת לוקחת את המסמכים הללו ושולחת אותם יחד עם השאלה למודל שפה (כמו ChatGPT) ומתקבלת תשובה על סמך המסמכים הללו.
    אז יש כלי שעושה בשבילנו את כל העבודה, מה שאנו צריכים זה רק להעלות לו מסמכים, לדוגמה PDF, קבצי וורד, וכו'. לחכות קצת בשביל האינדקס, ולאחר מכן לשאול שאלות בשפה חופשית.
    ומה עם המנוע מאחורה? אז אם אנחנו מוכנים לשלם אז הדרך הקלה והקצרה ביותר היא להשתמש בו עם מפתח API של אחד המודלים בתשלום.
    אבל אם אנחנו לא רוצים לשלם, אז אפשר בהחלט לעשות הכל על המחשב שלנו. וזה בהחלט יכול לעבוד גם בלי GPU אבל באיטיות.

    היופי של הכלי שהוא מציג בצד את המקורות של התשובה, וניתן מיד לבדוק את הדברים במקורם:
    adee6360-e235-495c-a111-8d595b53ccc9-image.png

    הוראות התקנה ושימוש בסיסיים

    אם יש מי שמתעניין בזה, אני יכול לפרט יותר כיצד לחבר את המערכת למודל בתשלום, וכן כיצד ניתן לחבר אותה למודל מקומי על המחשב שלנו.

    כללי - עזרה הדדית

  • הסבר | חיפוש חכם באמצעות סוכן AI
    sivan22S sivan22

    שלום לכולם,

    אז מפעם לפעם אני משתף אתכם בכלים שיצרתי או גיליתי, והפעם אני חוקר את היכולת של חיפוש חכם באמצעות סוכן AI, מה שנקרא Agent.

    אז דבר ראשון כדאי להבין את המגבלה של מודל שפה, כמו chatGPT. למעשה כל מה שהוא יכול לעשות זה לקבל טקסט ולהוציא טקסט. זהו. לא לחפש באינטרנט, לא להפעיל מחשבון, כלום, רק טקסט מטקסט.

    אבל בהחלט אפשר ליצור דברים הרבה יותר מורכבים. הדרך היא ליצור תוכנה שבכל שלב תשלח טקסט למודל שפה, תקבל בחזרה את הטקסט, תפעיל את הכלים שיש לה, ותחזיר שוב את התוצאות למודל השפה. מאד כדאי לספר למודל שפה גם כן שיש לו אפשרות לבקש להשתמש בכלים לפני שהוא ממשיך בפעולה, וכך המודל עצמו "כביכול" משתמש בכלים לפי רצונו.

    אז בשביל לחפש בצורה חכמה בטקסטים, בניתי תוכנה שכוללת מנוע חיפוש טקסט, וכן סוכן שפועל לפי השלבים הבאים:

    1. מקבל מהמשתמש שאלה בנוסח חופשי.
    2. השאלה נשלחת למודל שפה (לדוגמה ChatGPT) בכדי לקבל את מילות המפתח שכדאי לחפש במנוע חיפוש.
    3. התוכנה מחפשת את המילים במנוע חיפוש טקסט.
      a4. אם לא נמצאו שום תוצאות, השאלה נשלחת שוב למודל שפה עם המילים שלא עבדו, כדי לקבל מילים אחרות. וממשיכים משלב 3.
      4b. אם נמצאו תוצאות, הם נשלחות למודל שפה כדי שיחליט אם התוצאות עונות בצורה מספיקה על השאלה.
    4. אם המודל החליט שהתוצאות לא עונות על השאלה, הוא מספק מילות מפתח חדשות, וממשיכים שוב משלב 3.
    5. אם התוצאות מספיקות, המודל מסכם את התשובה ומציג אותה למשתמש.
    6. כמו כן, יוצגו למשתמש התוצאות עצמן, כדי שיוכל לראות את המקור והאם התשובה מדוייקת.

    היופי הוא שכל השלבים מוצגים למשתמש בצורה שקופה והוא יכול להבין איך ומדוע הגיע המודל לתשובה שלו.

    אז הנה כמה תמונות מההדגמה של התוכנה:
    flet_Vu5auduqdh.gif

    19e4844f-05c7-46b0-982e-3bc96c710d49-image.png

    596d60ee-26db-4a46-abf8-517b54438548-image.png

    למעוניינים, כל הקוד של התוכנה חופשי וזמין בגיטהאב כאן, ויש גם הוראות להתקנה.

    כללי - עזרה הדדית

  • להורדה | ספריא מסונן - מסד נתונים של sqlite
    sivan22S sivan22

    בהמשך לפרוייקט של סינון ספריא, אני מעלה כאן קישור למסד הנתונים של ספריא, מסונן, רק עם ספרים בעברית, בפורמט sqlite.

    ניתן להוריד קורא קבצי sqlite מכאן.

    להלן מידע כללי על תוכן מסד הנתונים:

    מספר הספרים הכולל: 5669
    מספר קטעי הטקסט: 2,936,539
    מספר הקישורים בין קטעי טקסט: 2,655,954

    הטבלאות

    • books - הספרים, שמם באנגלית ובעברית, ומידע נוסף.
    • texts - הטסקטים, עם מזהה הספר המקושר לטבלת הספרים, וכן מספור הקטע השורה הדף וכדומה.
    • links - הקישורים בין הטסקטים השונים, מזהה טקסט למזהה טקסט, וכן סוג הקשרים.
    • nodes - מבנה הספר לספרים מורכבים (ראה להלן). וכן מבנים נוספים לספרים שיש להם חלוקה נוספת (כגון חומש לפרשיות, ירושלמי לדפי וילנא ודפי ונציה
    • searchings - אינדקס עבור חיפוש לפי מילים.

    מבנה הספרים בספריא

    חשוב להבין את מבנה הספרים בספריא:

    • ספרים פשוטים - מחולקים לכמה רמות של חלוקה, לדוגמה שס בבלי מחולק לפי עמוד, שורה. רשי על החומש מחולק לפי פרק, פסוק, פירוש. את שמות הקטעים ["פרק", "פסוק"] ניתן למצוא בטבלה books. ואת מספור הקטעים ניתן למצוא בטבלה texts, כאשר level_1 הוא החלוקה הנמוכה ביותר (שורה בגמרא, פירוש ברש"י).
    • ספרים מורכבים - מחולקים לחלקים שונים בספר (הקדמה, על אורח חיים, על חושן משפט, נספח) כאשר כל חלק בספר מחולק לרמות שונות של חלוקה כמו ספר פשוט (לדוגמה ההקדמה מחולקת לפסקאות, על אורח חיים מחולק לסימן, סעיף, סעיף קטן).

    במסד הנתונים מבנה הספר המורכב נמצא בטבלה nodes. לכל טקסט בטבלה texts ששייך לספר מורכב קיים parentNode שהוא מזהה שמשייך אותו לרשומה בטבלה node בה נמצא שם החלק בספר, ולאותה רשומה ישנו גם כן מאפיין parentNode שמשייך אותו לרמה מעליו, עד לרמה הגבוהה ביותר שם parentNode שווה לאפס.

    כמו כן גם לספרים פשוטים קיימים מבנים נוספים של חלוקה, והם מופיעים בטבלה nodes.

    כללי - עזרה הדדית

  • מדריך | מדעי הנתונים ולמידת מכונה - מקורות למתעניינים
    sivan22S sivan22

    בפוסט הזה אשתדל לשתף כמה שיותר מקורות זמינים ללמידה והבנה מעמיקה של היסודות שעומדים מאחורי יישומי הבינה המלאכותית, למי שמעוניין להעשיר את הידע שלו באחד הנושאים העומדים בקדמת הטכנולוגיה כיום.

    הפוסט יתעדכן אי"ה בהמשך, אשמח לשמוע משוב האם מישהו הפיק תועלת מזה, וכן אם יש המלצות על מקורות ידע נוספים.

    יודגש כי כל הקורסים הם בחינם, אם כי בחלק מהקורסים ניתן לקבל תעודת סיום בתשלום.

    קורסים למתחילים:
    (אנגלית) Introduction to AI - קורס מבוא יפהפה לבינה מלאכותית, מתאים גם למי שאין לו שום רקע בתחום.
    (אנגלית): Building AI - קורס המשך שמסביר על אבני הבניין של בינה מלאכותית, ומביא דוגמאות מעשיות של למידת מכונה רשתות עצביות.
    (אנגלית:) AI For Everyone - קורס לא טכני, עם דגש על יישומים עסקיים של בינה מלאכותית.
    (אנגלית/עברית): מבוא לבינה מלאכותית גנרטיבית של גוגל. זהו קורס מבוא ממוקד שמטרתו להסביר מהי בינה מלאכותית גנרטיבית, איך משתמשים בה ובמה היא שונה משיטות מסורתיות של למידת מכונה. הוא גם כולל הסבר על הכלים של Google שיעזרו לכם לפתח אפליקציות בינה מלאכותית גנרטיבית משלכם.

    קורסים לבעלי ידע מקדים בפייתון:
    (אנגלית/עברית משובשת:) Machine Learning Crash Course - של גוגל. למידת מכונה ולמידה עמוקה - מוסבר מהיסודות בצורה טובה מאד. נדרש ידע בפייתון. (נ.ב. משתמש בטכנולוגיית tensorFlow בניגוד לשאר הקורסים שמשתמשים בpyTorch שנעשה לסטנדרט דה פקטו)
    (אנגלית:) AI for Beginners - של מייקרוסופט על בינה מלאכותית, קורס שרובו טקסט ותרגילים, ללא וידאו.
    (אנגלית:) Data-Science-For-Beginners - של מייקרוסופט, דומה לקורס הקודם אך עם התמקדות במדעי הנתונים.
    (אנגלית:) :ML For Beginners - כנ"ל עם התמקדות בלמידת מכונה.
    (אנגלית): Practical Deep Learning - קורס מעולה שמתמקד ביישום בפועל של למידה עמוקה, בלי להסתבך יותר מדי עם מתמטיקה. נדרש ידע מקדים בפייתון.
    (קורס למתקדמים:) Deep Learning Foundations to Stable Diffusion - קורס המשך שמתמקד בהבנה לעומק של מודל יצירת התמונות stable diffusion. קורס מעמיק למתקדמים בלבד.
    (אנגלית:) NLP Course - קורס להכרת הספרייה הפופולרית transformers והשימוש בה כדי לבצע משימות של עיבוד שפה טבעית. נדרש ידע קודם בפייתון.
    (אנגלית:) Deep RL Course - קורס מרתק על "למידה עמוקה באמצעות חיזוקים", משתמשים במודלים של למידת מכונה כדי להחליט החלטות על סמך ניסוי וטעייה. כולל הרבה מאד תרגילים מוחשיים, כגון אימון סוכן לשחק משחק DOOM (טירה נאצית).
    (אנגלית:) קורס אודיו הבנה ושימוש במודלים מתקדמים לעיבוד סאונד, TTS וSTT.
    קורס ראייה ממוחשבת מלמד מהיסודות ועד המודלים הכי חדישים למטרות כמו זיהוי תמונה וכדומה.

    מתמטיקה
    Mathematics for Machine Learning - היסודות המתמטיים של למידת מכונה, 3 חלקים: אלגברה ליניארית, חישוביות והסתברות. מתאים לבעלי ידע מינימלי באלגברה (הרמה הנדרשת: פתרון משוואה בנעלם אחד, ויכולת ליצור גרף משתי משתנים.).

    ספרים
    deeplearningbook.pdf - ספר קלאסי שחובר ע"י כמה מ"גדולי הדור" בתחום (ביניהם יושוע בנג'יו).
    Python for Data Analysis - ספר מעולה על ניתוח נתונים באמצעות פייתון מאת היוצר של pandas, קריאה בחינם באתר.
    Deep-Learning-in-Hebrew -ספר שלם ומקיף בעברית על למידה עמוקה, מאת אברהם רביב.

    קורסים בעברית:
    data.intro - קורס בסיסי לניתוח נתונים בפייתון, באתר קמפוס.IL בשיתוף מערך הסייבר הלאומי. נדרש ידע בשפת פייתון.
    מבוא למדעי הנתונים - קורס מצויין שעוסק בכל שלבי העבודה של מדען הנתונים (הרכשת נתונים, ניתוח וEDA, למידת מכונה). נדרש ידע בשפת פייתון.
    מבוא לתכנות ועיבוד נתונים בשפת R - שפת R היא שפת תכנות פופולרית וידידותית לעיבוד וניתוח נתונים, הכוללת כלים סטטיסטיים וגרפיים, הרצת אלגוריתמים ושימוש בבינה מלאכותית. הצטרפו לקורס בו נלמד שפת תכנות מודרנית ועשירה. הקורס מתאים לסטודנטים בראשית דרכם, לאנשי מקצוע ללא ניסיון בתכנות וכן, למתכנתים מנוסים

    מקורות נוספים בעברית:
    ראו כאן ריכוז של מידע בעברית.

    עזרה הדדית - בינה מלאכותית

  • הסבר | איתור מראי מקומות באמצעות חיפוש מטושטש
    sivan22S sivan22

    שלום לכולם,

    ברצוני לשתף איתכם הדגמה קטנה של חיפוש מתקדם באמצעות אלגוריתם שנקרא "חיפוש מטושטש".

    נניח שיש לנו מאגר תורני שיש בו הרבה מאד מקורות, והמשתמש רוצה להציג מקור מסויים על ידי הקלדת מראה המקום שלו, לדוגמה "רשי ברכות דף ב". יתכן שהטקסט המדוייק כפי שהוא מופיע במאגר שונה מעט לדוגמא "רש"י על מסכת ברכות ב.". ואנו רוצים שהמשתמש יקבל את התוצאה הקרובה ביותר לטקסט שהוא הקליד.

    ישנן כמה דרכים ידניות לעשות זאת, כמו לנסות תמיד עם המילה "פרק" "עמוד" וכדומה ובלי המילה הזו, לחפש גם התאמה חלקית, ועוד רעיונות שונים ומשונים.

    אך ניתן גם להשתמש באלגוריתם שנקרא חיפוש מטושטש שתפקידו למצוא את המחרוזת הדומה ביותר למחרוזת של המשתמש. לא ניכנס לפרטים אבל הרעיון הכללי הוא לחשב את מספר השינויים שצריך לעשות במחרוזת אחת כדי לקבל את השנייה, לדוגמה תחול -> חתול, צריך להחליף שתי אותיות סמוכות, חול -> חתול צריך להוסיף אות, חזתול -> חתול צריך להוריד אות, וכיוצא בזה לכל שינוי יש ניקוד מסויים, והניקוד הכללי קובע מהי המחרוזת הכי קרובה. הניקוד הזה מכונה מרחק לוינשטיין.

    האתגר שעמד בפני הוא שהאלגוריתם הזה הוא די איטי, וסכום מראי המקומות האפשריים הוא גדול מאד, לדוגמה במקרה שלנו כ600 אלף דוגמאות, ולעבור על כל הדוגמאות אורך כ8-12 שניות (במחשב שלי).

    הפתרון שמצאתי הוא לחלק את החיפוש לשניים: קודם כל לחפש רק ברשימת הספרים, שכוללת סה"כ כ8000 אפשרויות (ל5800 ספרים), ולאחר שמצאנו את הספרים הכי קרובים, לחפש רק בהם. הדבר מקצר מאד את משך החיפוש, על חשבון הדיוק. כך לחפש רק ב3 הספרים הכי קרובים לקח 0.4 שניות ולחפש ב10 הספרים הכי קרובים לקח כ2 שניות, אך דיוק החיפוש יורד.

    תכל'ס אחרי כל כך הרבה דיבורים, הנה הקישור לנסות זאת בעצמכם. (ניתן לשנות את מספר הספרים לחיפוש, מ0 עד 20.) אשמח לפידבק והערות בונות. (גם הקוד נמצא שם)

    5e7bbeab-ed28-47dd-acb5-e13b4e7e6dc4-image.png

    @pcinfogmach ו @לא-מתייאש אני חושב שזה יעניין אתכם.

    כללי - עזרה הדדית

  • המלצה | חיפוש בינה מלאכותית בקבצים שלך - על המחשב שלך
    sivan22S sivan22

    @שליו

    שלב 1: התקנת הכלי Kotaemon

    נוריד את קובץ הזיפ מהגרסה האחרונה כאן: https://github.com/Cinnamon/kotaemon/releases/latest/

    נחלץ את התוכן, ונריץ את הקובץ scripts/run_windows.bat כאשר המחשב מחובר לרשת.

    ייפתח חלון שחור שבו רצות שורות של ההתקנה. לאחר שהיא מסתיימת ייפתח דפדפן שמבקש סיסמה. נכניס את המילה admin בשני השדות, ייפתח החלון הבא:
    50f6af30-f217-4428-a49e-ac18a88914c2-image.png

    שלב 2 (אפשרות א): הגדרת API בתשלום

    יש להרשם כאן ולאחר מכן ליצור API KEY abd51670-c3c1-4d24-b081-5b240999937b-image.png
    וכמובן נשמור אותו.

    בתוכנה שלנו ניכנס לכרטיסייה resourced ותחת LLMS נבחר באפשרות ADD ונמלא את הפרטים הבאים:4c6966d1-d0f7-4eda-b440-a321086b540f-image.png

    נלך לכרטיסייה הסמוכה embeddings ונמלא את הפרטים הבאים:
    b5fd13e7-34e1-4e17-a9f4-2bae4dd022c3-image.png

    שלב 2 (אפשרות ב): הגדרת מודל מקומי

    נתקין את המוצר ollama
    נוריד מודל בשביל הייצוג המספרי: קישור
    נוריד מודל שפה (DictaLM)

    כעת צריך להוסיף את המודלים הללו לollama :

    ניצור קובץ בשם Modelfile ונכתוב בו את השורה הבאה:

    FROM "C:\Users\sivan22\Downloads\dictalm2.0-instruct.Q4_K_M.gguf"
    

    כמובן שנחליף את הנתיב בנתיב המדוייק לקובץ שהורדנו מקודם.

    נריץ בשורת פקודה את השורה הבאה:

    ollama create dictaLM -f Modelfile
    

    כמובן שצריך לספק את המיקום המדוייק של הקובץ בשם Modelfile שיצרנו לעיל. (כלומר במקום Modelfile אפשר לכתוב "C:\Users\sivna22\Downloads\Modelfile")

    נעשה אותו הדבר למודל השני:

    FROM "C:\Users\sivan22\Downloads\multilingual-e5-large-instruct-q4_k.gguf"
    
    ollama create e5 -f Modelfile
    

    בתוכנה שלנו, נוסיף את המודלים הללו לפי הדוגמאות שלפנינו:
    77ca66bd-da32-4b5e-9575-226585a633f3-image.png
    8bc1c3a4-be05-45a8-bd6b-3c763b45b44e-image.png

    שלב 3 : העלאת קבצים

    בכרטיסייה files נעלה את הקבצים וניצור להם אינדקס. (ייקח זמן עד שהם יופיעו בטבלה, כלומר שהעבודה הסתיימה):
    adfe168d-63ed-4a59-a2b9-c223dc9b68c1-image.png
    3efcbb56-61d8-4eb9-86b9-8a7d9816a50c-image.png

    שלב 4: צ'אט עם הקבצים שלנו

    בכרטיסייה chat נסמן בצד באיזה קבצים אנו רוצים לחפש, ולאחר מכן פשוט נתחיל לשוחח עם הצ'אט אודות הקבצים:
    de3de31a-00cc-4d16-976f-07de406c52e9-image.png

    כללי - עזרה הדדית

  • מדריך | התקנת פייתון וחבילות pip (בדגש לנטפרי)
    sivan22S sivan22

    ניכר צורך גדול במדריך איך להתקין פייתון וחבילות pip למתחילים גמורים, עם התמודדות עם תקלות ובפרט שגיאות אבטחה שקשורות לנטפרי.

    אז הנה:

    התקנת פייתון

    יש להוריד קובץ התקנה לווינדוס מהאתר הרשמי: כאן.

    בדרך כלל נרצה להתקין את הגרסה האחרונה (היום אוחזים ב3.12) אבל לפעמים המוצרים שנרצה להשתמש בהם דורשים דווקא גרסאות אחרות, אז אם אנחנו יודעים איזה מוצר נרצה להפעיל ניתן לחפש בתיעוד שלו מהי הגרסה המומלצת.

    כמובן שצריך להתקין את הקובץ שהורדנו.

    השלב הבא חשוב מאוד:

    הוספת פייתון לPATH

    כדי שנוכל להריץ פייתון משורת הפקודה, עלינו להוסיף את הנתיב שלו למשתנה הסביבה PATH.

    הדרך הפשוטה היא לסמן וי על האפשרות הזו בעת ההתקנה.

    אם לא עשינו כך או מסיבה כלשהי זה לא עבד, להלן ההוראות (עריכה: ראו בפוסט בהמשך אפשרות נוספת):

    כך נבדוק אם פייתון נמצא בpath:

    נפעיל את שורת הפקודה (להקיש על לחצן windows ואז לכתוב CMD), ונכתוב את המילה py. אם מופיעה הודעת שגיאה, נעבור לשלב הבא. אם נפתח לנו שורה חדשה שמתחילה ב << אז הכל טוב ונדלג ישר להגדרת החבילות בpip.

    כך נוסיף את את פייתון אל הPath:

    בשורת החיפוש של ווינדוס נכתוב משתני סביבה, ונלחץ על האפשרות שינוי משתני סביבה. נלחץ פעמיים על השורה שמכילה את המילה path ונוסיף את הנתיב של התיקייה scripts מתוך התקנת פייתון.
    (איך נמצא את הנתיב של scripts?? עם חיפוש באמצעות תוכנת everything. או לחילופין בחיפוש ידני בנתיב הבא : C:\Users<USER>\AppData\Local\Programs\Python
    כאשר יש להחליף את <user> בשם המשתמש שלנו.)

    נפעיל מחדש את הטרמינל של שורת הפקודה ונריץ שוב py לוודא שהצלחנו.

    שימוש בpip

    הכלי pip שימושי להחריד, ומאד כדאי לדעת איך להשתמש בו.
    מה זה בעצם?
    זה מאגר של חבילות קוד שמשתמשים נחמדים העלו, יש כמה מיליונים של חבילות כאלו ולכל חבילה יש יכולות משלה, לדוגמה חבילת numpy מכילה פונקציות מתמטיות מתקדמות, ואילו transformers משמשת למודלים של בינה מלאכותית.
    אז הפקודה שנרצה בדרך כלל להריץ היא זו:
    pip install PACKAGE
    כאשר כמובן יש להחליף את המילה PACKAGE בשם החבילה הדרוש.

    יודגש כי את הפקודה הזו מריצים מתוך שורת פקודה רגילה ולא מתוך פייתון (כלומר לא משורה שמתחילה ב<<).

    כדי לעדכן חבילה שכבר מותקנת נוכל להוסיף -U לפני שם החבילה.

    אם צריכים דווקא גרסה מסויימת של איזו חבילה ניתן לכתוב numpy==5.6 או numpy=<5.0.

    פתרון בעיות אבטחה בנטפרי

    בדרך כלל למשתמשי סינון נטפרי תופיע הודעת שגיאה שלא ניתן היה לאמת את תעודת האבטחה (SSL).

    לצורך כך יש לפעול לפי ההוראות בשני המדריכים הבאים:
    א. התקנת תעודה בpip
    ב. התקנת תעודה בספריית requests

    לאחר מכן מתקין החבילות pip אמור לעבוד כראוי גם למשתמשי נטפרי.

    כיצד להריץ קובץ פייתון

    קובץ פייתון הוא פשוט קובץ טקסט בסיומת py במקום txt. אפשר לקרוא ולערוך אותו בכתבן או בכל מעבד תמלילים אחר.
    בכדי להריץ אותו ניתן להקיש לחצן ימני בעכבר ולבחור להפעיל אותו באמצעות python.
    לחילופין אפשר להריץ אותו מתוך שורת הפקודה. היתרון באפשרות זו הוא שניתן לראות מהי השגיאה שהוחזרה מהפקודה.
    בכדי לעשות זאת נפתח שורת פקודה (CMD בשורת החיפוש, זוכרים?!) ונקליד py FILE.py כאשר כמובן יש להחליף את FILE בשם הקובץ.

    עזרה הדדית - Python

  • שיתוף | מודל שפה חדש בעברית מבית דיקטה
    sivan22S sivan22

    דיקטה שחררו מודל שפה בעברית בעל 7B פרמטרים, בינתיים בגרסה ראשונית. שמו של המודל: dictaLM. המודל שוחרר כקוד פתוח תחת רישיון cc 4.0.
    מדובר במודל ג'נרטיבי ראשון שמשוחרר בקוד פתוח.

    הנה קישור לנייר הלבן בarxiv.
    והנה כרטיס המודל בhuggingface.

    הוא שוחרר בשני גרסאות, בסיסית ומונחית פקודות, האחרונה יכולה לנהל שיח בסגנון צ'אט.
    בנוסף שוחרר מודל ג'נרטיבי תורני בשם dictaLM-rab. המודל אומן על 50% עברית מודרנית ו50% עברית תורנית ממקורות שונים. למודל זה לא קיימת גרסת צ'אט.

    כרגע לא קיים ממשק נוח לשימוש במודל זה, וניתן לבחון אותו רק באמצעות כתיבת קוד כפי הדוגמאות בכרטיס המודל בhuggingface.
    עדכון: ניתן להריץ דוגמא כאן.
    01fc5081-2151-4b26-a874-af14db37c817-image.png
    ובהקשר זה נציין שאין כרגע גירסה מוקטנת (כגון GPTQ או 4bit) כך שזה לא יהיה אפשרי להריץ אותו על המחשב הביתי, לפחות בינתיים. אם יהיו לי עדכונים, אעדכן.

    עזרה הדדית - בינה מלאכותית

  • שיתוף | אימון מודל לזיהוי הנושא ההלכתי
    sivan22S sivan22

    @sivan22 עדכון נוסף: התקדמתי לשלב הבא של מודל שמזהה את הסימן וגם את הסעיף בו נמצא הנושא המדובר. (התוצאות כרגע פחות מדויקות אבל אני עובד לאמן אותו עוד.)
    כעת זה כבר יכול להיות שימושי עבור חיפוש הלכתי לפי נושא ולא לפי מילה.
    הנתונים בהם השתמשתי לאמן אותו הם הספרים הבאים: שולחן ערוך אורח חיים, מגן אברהם, ט''ז, משנה ברורה, ביאור הלכה, שערי תשובה, באר היטב, עטרת זקנים, אשל אברהם. סך הכל כ42k קטעים.
    הדגמה:
    Screenshot_20231205-061613.jpg

    שולחן ערוך אורח חיים רמט, ב:

    אסור לקבוע בערב שבת סעודה ומשתה שאינו רגיל בימי החול ואפילו היא סעודת אירוסין מפני כבוד השבת שיכנס לשבת כשהוא תאב לאכול וכל היום בכלל האיסור:הגה: וסעודה שזמנה ערב שבת כגון ברית מילה או פדיון הבן מותר כן נראה לי, וכן המנהג פשוט: ולאכול ולשתות בלי קביעת סעודה אפילו סעודה שרגיל בה בחול כל היום מותר להתחיל מן הדין אבל מצוה להמנע מלקבוע סעודה שנהג בה בחול מט' שעות ולמעלה:

    וכמובן קישור למודל

    עזרה הדדית - בינה מלאכותית

  • שיתוף | אימון מודל לזיהוי הנושא ההלכתי
    sivan22S sivan22

    הוספתי אפשרות למשוב (פידבק) על התוצאות, אשמח אם תעזרו למודל להשתפר!

    נ.ב. למען הפרטיות, התוצאות נשמרות רק אם לחצתם על "אישור".

    1f86c78d-6629-4781-b456-2e1a3a03ac21-image.png

    עזרה הדדית - בינה מלאכותית

  • המלצה | מודל LLM לניתוח מראי מקומות - מבית ספריא
    sivan22S sivan22

    כאחד שעוקב מקרוב אחרי החידושים בתחום הבינה המלאכותית בפן התורני, שמחתי לגלות שספריא העלו כמה מודלים ממש מעניינים להגי פייס.

    מדובר במודלים של ner - כלומר חלוקת המילים במשפט לפי נושאים, כמו שם אדם, שם מקום, מילת קישור, וכן הלאה.

    אחד המודלים המעניינים הוא זה: https://huggingface.co/Sefaria/he_ref_ner

    הוא מאומן למצוא בתוך טקסט, כל קטע שהוא "מראה מקום".

    הנה הדגמה :
    3e84ef17-a28b-4c66-804b-63c43b39655c-image.png

    מודל נוסף (https://huggingface.co/Sefaria/he_subref_ner) יכול לקחת מראה מקום ולפרק אותו לגורמים, שם הספר, כותרת, מיקום בספר וכדומה.

    הדגמה :
    7709472f-3e3d-4955-bb4c-427345fa268a-image.png

    בנוסף הם העלו את כל המאגר שלהם גם בפורמט של דאטה סט, כאן. כך שניתן בקלות לאמן מודלים עליו.

    בתקווה שנראה בקרוב יישומים נוספים של בינה מלאכותית בתחום התורני.

    עזרה הדדית - בינה מלאכותית

  • עזרה | סינון מאגר הספרים ספריא - דרושים מתנדבים
    sivan22S sivan22

    שלום לכולם, כידוע מאגר הספרים ספריא נחסם למשתמשי נטפרי בהוראת ועדת הרבנים לביצור חומות הדת משום שהוא מכיל חומרים בעייתיים.
    לתועלת הציבור יהיה סינון של אותם הספרים הבעייתיים, כדי שבמאגרים אחרים יוכלו להשתמש בשאר הספרים של ספריא ללא חשש.

    לכן נשמח לעזרת הציבור בסינון הקטלוג של ספריא, שנמצא בקישור הזה.

    משום שיש דעות רבות ושונות, הכלל המנחה הוא - כמה שיותר רחב. רק ספר שהוא לא מקובל כלל על שום חוג של שומרי תורה ומצוות, יש לציינו ככזה, ועדיף לציין בצד גם מה הוא מכיל ומדוע הוא אינו ראוי.
    נציין כי כל הספרים בקטלוג הזה הם בעברית בלבד, ולא נכללו בו ספרים באנגלית.

    לנוחות העבודה נשתמש בצבעים:
    כחול - עד כאן סונן - מי שמתקדם בסינון מתבקש להעביר את הכחול עד המקום שהגיע אליו.
    אדום - ספר פסול
    ירוק - ספר שבספק

    ספר שכבר נמצא במאגר תורני מקובל אחר יוכל להיכנס בלי בדיקה. לצורך כך אני מצרף קישורים מתאימים.

    @יוסי-מחשבים כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

    https://docs.google.com/spreadsheets/d/1trWL-sHoWE3ImIVC3bTLmBVL58ilIpsFdODSqRCGf4Y/edit?pli=1#gid=0

    רשימות ספרים מאגרים תורניים.zip
    אוסף קטלוגים 21.zip
    השוואת מאגרי ספרים היברו בוקס אוצר החכמה.zip

    כללי - עזרה הדדית

  • המלצה | איתוריא - חיפוש תורני רב שלבי באמצעות AI
    sivan22S sivan22

    @sivan22 אפשר גם לעזור לו קצת אם הוא מתקשה. לדוגמה אם הוא לא מצליח לענות על השאלה "האם מותר לגנוב על מנת להקניט" אפשר לכתוב לו "האם מותר לגנוב על מנת להקניט (נקרא בתלמוד "למיקט"). אם שואלים אותו איך קראו לאמא של דוד, כדאי לציין לו שזה לא נמצא בתנך.

    עזרה הדדית - בינה מלאכותית

  • הורדת iso של ווינדוס 10 מאתר מייקרוסופט
    sivan22S sivan22

    כדאי לדעת: יש אפשרות להוריד קובץ iso של ווינדוס (2004) ישירות מהאתר בלי שום כלי.
    מה שנדרש הוא להיכנס לאתר ממכשיר שאינו ווינדוס כמו אנדרואיד או לינוקס. לחילופין אפשר להגדיר את הדפדפן במחשב שיתנהג כמו אנדרואיד.
    הוראות לכרום: הגדרות -> כלים נוספים -> כלים למ פתחים. ללחוץ על השלש נקודות -> more tools -> network condition.
    להסיר את הסימון מ select automaticly ואז לבחור מתוך תיבת הרשימה אחד מהאפשרויות שאינן ווינדוס.
    לרענן את הדף וזהו. תוכלו להוריד iso נקי ורשמי בעברית בקלות רבה.

    עזרה הדדית - מחשבים וטכנולוגיה

  • הסבר | חיפוש חכם באמצעות סוכן AI
    sivan22S sivan22

    @sivan22 עדכונים:

    התוכנה זמינה להורדה: https://github.com/Sivan22/ituria/releases

    הממשק כולו בעברית.

    נתמכים המודלים הבאים:

    • Claude-sonnet-3.5
    • gpt-4o
    • Gemini-flash-1.5
    • DictaLM מקומי באמצעות Ollama

    gemini עובד ללא צורך במפתח API. אבל מצד שני הוא לא איכותי כמו קלוד.

    כללי - עזרה הדדית

  • בקשת מידע | תוסף בינה מלאכותית לפוטושופ בלי אינטרנט
    sivan22S sivan22

    @אהרן כתב בבקשת מידע | תוסף בינה מלאכותית לפוטושופ בלי אינטרנט:

    הבנתי שקיים כזה דבר תוסף לבינה מלאכותית לפוטושופ שלא עובד דרך האינטרנט ולא מצאתי אותו, אשמח לקבל מידע / קישור.

    יש אבל זה מיועד בעיקר לגיקים, וחוץ מזה צריך GPU ממש חזק.

    אז בגדול יש שני חלקים:
    קודם הבסיס:
    להוריד מכאן את הקובץ זיפ ולחלץ. להריץ את הקובץ run.bat.

    דבר שני להוריד את התוסף מכאן להוריד את הקובץ .cxx ולהריץ.

    אחר כך צריך להריץ ברקע את a1111 והתוסף של פוטושופ מתחבר אליו.

    עזרה הדדית - בינה מלאכותית
  • התחברות

  • אין לך חשבון עדיין? הרשמה

  • התחברו או הירשמו כדי לחפש.
  • פוסט ראשון
    פוסט אחרון
0
  • חוקי הפורום
  • פופולרי
  • לא נפתר
  • משתמשים
  • חיפוש גוגל בפורום
  • צור קשר