שלום, אני רוצה לתת לכם הצצה לפרוייקט שאני עובד עליו כרגע - כלי סיוע רב עוצמה לעורכים תורניים.
השם של המוצר הוא - מוגה -

עריכה: קישור להתנסות

כל מה שעורך תורני חלם עליו מתגשם:
החל בהגהה אוטומטית לפי כללים גמישים הניתנים לכוונון בידי העורך, תיקוני כתיב, פורמט או אפילו ניסוח, כאשר השינויים ניתנים לעקיבה ועורך אנושי מקבל או דוחה את השינויים.
המשך בכלי אימות שבודק כל מקור המאוזכר בטקסט במקורו במאגר תורני רחב, ומתריע אם מראה המקום שגוי או לא מדוייק,
וכלה בכלי חיפוש חכם שיכול לחפש מקבילות והרחבות לנושא, ולאחר בחירת המקורות המתאימים להטמיע אותם בתוך הטקסט עם מודעות לתוכן.
והכל בצורה נוחה בתוך תוכנת וורד הפופולרית.
כרגע התוכנה בשלב בטא סגורה, ואני עובד עם מספר מצומצם של עורכים כדי להמשיך ולפתח את המוצר.

Video Project 3.mp4

מהפכת הAI כבר כאן, ואחד הכלים החמים ביותר לאחרונה הוא עורך קוד עם סוכן AI מובנה בתוכו. יש חלון צ'אט קטן בתוך עורך הקוד, וניתן לשוחח עם מודל של בינה מלאכותית ולהנחות אותו במילים פשוטות מה אנחנו צריכים, והוא כבר יעשה הכל אבל הכל: לכתוב את הקוד, להריץ אותו, לבדוק שגיאות, להתקין תלויות. וכן, הוא מבין עברית מצויין.

אז לא צריך לדעת לכתוב קוד, לא צריך לדעת אפילו אנגלית. פשוט לשוחח בעברית עם הצ'אט ולראות את הקסם.

יש לי חבר שאינו יודע תיכנות בכלל, וגם אנגלית הוא כמעט לא יודע, ויצר תוכנה רצינית של ניהול קבוצות של ריפוי בעיסוק, הכל באמצעות הכלים הללו.

כאן אני אתן פירוט על שלשה כלים כאלו:

הראשון, ועליו אני ממליץ למתחילים, הוא windsurf. היתרון המרכזי הוא המחיר: חינמי ללא הגבלה. יש מכסה מסויימת חינמית, פשוט להוריד ולהתחיל לשוחח איתו בעברית.

השני, עליו אני ממליץ למתקדמים הוא cline - זהו תוסף לVSCODE בקוד פתוח, שכדי להפעיל אותו נדרש API. אפשר להשתמש גם עם API חינמי של גוגל שניתן להשיג מכאן. אם כי איכות יותר טובה תתקבל בשימוש בAPI בתשלום של אנטרופיק, ניתן להטעין החל מ5$. את המפתח ניתן להשיג לאחר הרשמה כאן.

במובנים מסויימים של איכות הוא עדיף לדעתי על הכלי הקודם, אם כי התחרות פתוחה והגרסאות של שני הכלים מתעדכנות כל העת.

הכלי השלישי הוא cursor הוא פועל בשיטה דומה מאד לקודמים, ויש לו תוכנית חינמית מוגבלת למדי, וכמובן תוכניות בתשלום.

היי חברים,

אני רוצה לשתף אתכם בנסיונות ליצור חיפוש תורני חכם מבוסס בינה מלאכותית.

אז לפני כמה חודשים הדגמתי חיפוש חכם בשולחן ערוך, וזה היה מבוסס על מודל שידע לסווג משפטים לסעיפים הנכונים בשולחן ערוך. אך זה היה כרוך באימון של המודל, מה שגרם לזה להיות מורכב.

הפעם השתמשתי בשיטה אחרת, היתרון שלה הוא שהיא ניתנת להרחבה בקלות גם למאגרים גדולים (אוצריא?) וגם לא הייתי צריך לאמן שום מודל, השתמשתי במודל קיים (עם זאת, יתכן שאימון כן יכול לעזור לו, במיוחד במושגים תורניים שהוא לא מכיר).

העקרון הוא כזה: יש מודל שיודע לתת לכל משפט ייצוג מספרי מתאים, שזה בעצם סדרה של מספרים, שאפשר להתייחס אליה כמציינת את המיקום של המשפט במרחב המשפטים. לדוגמה שני מספרים יכולים לשמש ציון של מיקום על ציר הX והY במרחב דו מימדי. אבל כאן משתמשים בהרבה מספרים, וזה בעצם מיקום במרחב רב מימדי. לוקחים את כל המשפטים שרוצים לחפש בהם, ונותנים להם את המספרים הללו. אחר כך לוקחים את השאילתה שהמשתמש רוצה, וגם לה נותנים ייצוג באותה שיטה, ומחפשים את הנקודה הקרובה ביותר במרחב.

תמונה להמחשה:

איך בעצם מייצרים את המספרים הללו? למעשה מדובר במודל שפה מתוחכם עם הרבה למידת מכונה, שהתאמן על משפטים דומים ושונים. אבל לסבר את האוזן נוכל להראות איך ניצור כאלו מספרים פשוט ממספר המילים שחוזרות על עצמן בכל קטע.

נניח שיש לנו שני קטעי מתכונים ושני קטעים מספר על טיולים, ואנ ורוצים לתת לכל קטע ייצוג, אז נספור את מספר הפעמים שמופיעים המילים "חלב" "ביצים" "ירושלים" "כביש", בכל אחד מהקטעים הללו, ונגלה שבעצם הייצוג של שני קטעי המתכונים די דומה (נניח שאחד מהם הוא 2,3,0,0 והשני הוא 1,2,0,0 - כלומר המילה חלב מופיעה פעם אחת, ביצים פעמיים וכביש וירושלים בכלל לא.) אבל קטעי הטיולים דווקא כן דומים למדי (0,0,3,5 ו1,0,2,6).

אז זה השלב הראשון.

לפעמים זה לא מספיק, אז בשביל זה יש את השלב השני. שולחים את התוצאות (נניח 10 התוצאות הראשונות) למודל שפה גדול (נניח GPT 3.5) ונותנים לו למיין את התוצאות לפי הרלוונטיות שלהם. זה אמור לשפר מאד את התוצאות, כי מודל השפה אמור להבין איזו תשובה הכי רלוונטית לשאלה.

השתמשתי להדגמה בספר "ילקוט יוסף - קיצושו"ע אורח חיים" של מרן הראשל"צ משום שהוא כתוב בשפה קלה, שגם מודלי שפה יכולים להבין. אבל די בקלות אפשר להרחיב אותו לכל ספר שהוא.

יאללה מספיק דיבורים, תביא את הלינק וגמרנו:
https://huggingface.co/spaces/sivan22/Halacha-semantic-search

שימו לב שכדי להשתמש במודל שפה (שלב ב) צריך לספק לו מפתח API של openAI, ניתן להשיג אותו (בתשלום) באתר של openAI. אבל החיפוש הרגיל עובד לכולם.

משתף איתכם מודל שאימנתי לזהות את הנושא ההלכתי של כל משפט שהוא מקבל.
כמודל בסיס השתמשתי בBEREL

האימון היה פשוט מאוד: הוא עבר על כל סעיפי השולחן ערוך ולמד מהו הנושא. [כל הסעיפים תחת הכותרת "הלכות נטילת ידים" הם כמובן עוסקים בנטילת ידים]. האימון לקח כמה דקות והדיוק כרגע הוא כ70 אחוז.

ניתן לנסות אותו כאן.

מי שמעוניין לראות את הקוד (פייתון כמובן): כאן.

בהמשך למה שפרסמתי כאן, ניתן להתרשם מהיכולות של חיפוש תורני מבוסס סוכן AI, בקישור הזה.

הרעיון בקיצור הוא שבאמצעות בינה מלאכותית אנו יוצרים את השאילתה המדוייקת לחיפוש, לאחר מכן מנתחים את התוצאות, חוזרים על החיפוש בצורה יותר ממוקדת לפי הצורך, ולבסוף מסכמים את התשובה, וכן מציגים את המקורות עליהם היא מבוססת.

בברירת מחדל מתבצע שימוש במודל Gemini של גוגל, אך מי שיש לו מפתח API יכול להשתמש גם בקלוד (מומלץ) או בGPT.

שיחקתי קצת עם כלי מעניין, שמפשט עבורנו את העבודה של מה שנקרא היום RAG - Retrieval-Augmented Generation.
זה אולי שם מפוצץ אבל זה די פשוט, משתמשים בבינה מלאכותית כדי לענות על שאלות בנוגע לתוכן מסויים שאנו נותנים לו מראש. הדרך לעשות זאת היא באמצעות שני שלבים: ראשית לוקחים את המסמכים שאנו רוצים לחפש בהם ויוצרים להם אינדקס באמצעות בינה מלאכותית (חיפוש סמנטי. הסברים נוספים כאן.) לאחר מכן קולטים שאלה מהמשתמש, ומחפשים את המסמכים הכי דומים. אז המערכת לוקחת את המסמכים הללו ושולחת אותם יחד עם השאלה למודל שפה (כמו ChatGPT) ומתקבלת תשובה על סמך המסמכים הללו.
אז יש כלי שעושה בשבילנו את כל העבודה, מה שאנו צריכים זה רק להעלות לו מסמכים, לדוגמה PDF, קבצי וורד, וכו'. לחכות קצת בשביל האינדקס, ולאחר מכן לשאול שאלות בשפה חופשית.
ומה עם המנוע מאחורה? אז אם אנחנו מוכנים לשלם אז הדרך הקלה והקצרה ביותר היא להשתמש בו עם מפתח API של אחד המודלים בתשלום.
אבל אם אנחנו לא רוצים לשלם, אז אפשר בהחלט לעשות הכל על המחשב שלנו. וזה בהחלט יכול לעבוד גם בלי GPU אבל באיטיות.

היופי של הכלי שהוא מציג בצד את המקורות של התשובה, וניתן מיד לבדוק את הדברים במקורם:

הוראות התקנה ושימוש בסיסיים

אם יש מי שמתעניין בזה, אני יכול לפרט יותר כיצד לחבר את המערכת למודל בתשלום, וכן כיצד ניתן לחבר אותה למודל מקומי על המחשב שלנו.

שלום לכולם,

אז מפעם לפעם אני משתף אתכם בכלים שיצרתי או גיליתי, והפעם אני חוקר את היכולת של חיפוש חכם באמצעות סוכן AI, מה שנקרא Agent.

אז דבר ראשון כדאי להבין את המגבלה של מודל שפה, כמו chatGPT. למעשה כל מה שהוא יכול לעשות זה לקבל טקסט ולהוציא טקסט. זהו. לא לחפש באינטרנט, לא להפעיל מחשבון, כלום, רק טקסט מטקסט.

אבל בהחלט אפשר ליצור דברים הרבה יותר מורכבים. הדרך היא ליצור תוכנה שבכל שלב תשלח טקסט למודל שפה, תקבל בחזרה את הטקסט, תפעיל את הכלים שיש לה, ותחזיר שוב את התוצאות למודל השפה. מאד כדאי לספר למודל שפה גם כן שיש לו אפשרות לבקש להשתמש בכלים לפני שהוא ממשיך בפעולה, וכך המודל עצמו "כביכול" משתמש בכלים לפי רצונו.

אז בשביל לחפש בצורה חכמה בטקסטים, בניתי תוכנה שכוללת מנוע חיפוש טקסט, וכן סוכן שפועל לפי השלבים הבאים:

1. מקבל מהמשתמש שאלה בנוסח חופשי.
2. השאלה נשלחת למודל שפה (לדוגמה ChatGPT) בכדי לקבל את מילות המפתח שכדאי לחפש במנוע חיפוש.
3. התוכנה מחפשת את המילים במנוע חיפוש טקסט.
   a4. אם לא נמצאו שום תוצאות, השאלה נשלחת שוב למודל שפה עם המילים שלא עבדו, כדי לקבל מילים אחרות. וממשיכים משלב 3.
   4b. אם נמצאו תוצאות, הם נשלחות למודל שפה כדי שיחליט אם התוצאות עונות בצורה מספיקה על השאלה.
4. אם המודל החליט שהתוצאות לא עונות על השאלה, הוא מספק מילות מפתח חדשות, וממשיכים שוב משלב 3.
5. אם התוצאות מספיקות, המודל מסכם את התשובה ומציג אותה למשתמש.
6. כמו כן, יוצגו למשתמש התוצאות עצמן, כדי שיוכל לראות את המקור והאם התשובה מדוייקת.

היופי הוא שכל השלבים מוצגים למשתמש בצורה שקופה והוא יכול להבין איך ומדוע הגיע המודל לתשובה שלו.

אז הנה כמה תמונות מההדגמה של התוכנה:

למעוניינים, כל הקוד של התוכנה חופשי וזמין בגיטהאב כאן, ויש גם הוראות להתקנה.

מצרף כאן הסרטת מסך מתוך אחד הנסיונות האחרונים שלי, זה בעצם סוג של "קנבס" אבל עם התאמה תורנית. הוא מחובר למאגר תורני ורק משם לוקח את הנתונים, והכלים מותאמים לעבודה תורנית.

ההסרטה עצמה - קנבס תורני.mp4

בהדגמה ניתן לראות שני כלים: כלי שכתוב (כתיבה מחדש) וכלי מציאת מקורות.
זה ממש בשלב הראשוני, אבל אני חושב שהפוטנציאל גדול.

בהמשך לפרוייקט של סינון ספריא, אני מעלה כאן קישור למסד הנתונים של ספריא, מסונן, רק עם ספרים בעברית, בפורמט sqlite.

ניתן להוריד קורא קבצי sqlite מכאן.

להלן מידע כללי על תוכן מסד הנתונים:

מספר הספרים הכולל: 5669
מספר קטעי הטקסט: 2,936,539
מספר הקישורים בין קטעי טקסט: 2,655,954

הטבלאות

• books - הספרים, שמם באנגלית ובעברית, ומידע נוסף.
• texts - הטסקטים, עם מזהה הספר המקושר לטבלת הספרים, וכן מספור הקטע השורה הדף וכדומה.
• links - הקישורים בין הטסקטים השונים, מזהה טקסט למזהה טקסט, וכן סוג הקשרים.
• nodes - מבנה הספר לספרים מורכבים (ראה להלן). וכן מבנים נוספים לספרים שיש להם חלוקה נוספת (כגון חומש לפרשיות, ירושלמי לדפי וילנא ודפי ונציה
• searchings - אינדקס עבור חיפוש לפי מילים.

מבנה הספרים בספריא

חשוב להבין את מבנה הספרים בספריא:

• ספרים פשוטים - מחולקים לכמה רמות של חלוקה, לדוגמה שס בבלי מחולק לפי עמוד, שורה. רשי על החומש מחולק לפי פרק, פסוק, פירוש. את שמות הקטעים ["פרק", "פסוק"] ניתן למצוא בטבלה books. ואת מספור הקטעים ניתן למצוא בטבלה texts, כאשר level_1 הוא החלוקה הנמוכה ביותר (שורה בגמרא, פירוש ברש"י).
• ספרים מורכבים - מחולקים לחלקים שונים בספר (הקדמה, על אורח חיים, על חושן משפט, נספח) כאשר כל חלק בספר מחולק לרמות שונות של חלוקה כמו ספר פשוט (לדוגמה ההקדמה מחולקת לפסקאות, על אורח חיים מחולק לסימן, סעיף, סעיף קטן).

במסד הנתונים מבנה הספר המורכב נמצא בטבלה nodes. לכל טקסט בטבלה texts ששייך לספר מורכב קיים parentNode שהוא מזהה שמשייך אותו לרשומה בטבלה node בה נמצא שם החלק בספר, ולאותה רשומה ישנו גם כן מאפיין parentNode שמשייך אותו לרמה מעליו, עד לרמה הגבוהה ביותר שם parentNode שווה לאפס.

כמו כן גם לספרים פשוטים קיימים מבנים נוספים של חלוקה, והם מופיעים בטבלה nodes.

בפוסט הזה אשתדל לשתף כמה שיותר מקורות זמינים ללמידה והבנה מעמיקה של היסודות שעומדים מאחורי יישומי הבינה המלאכותית, למי שמעוניין להעשיר את הידע שלו באחד הנושאים העומדים בקדמת הטכנולוגיה כיום.

הפוסט יתעדכן אי"ה בהמשך, אשמח לשמוע משוב האם מישהו הפיק תועלת מזה, וכן אם יש המלצות על מקורות ידע נוספים.

יודגש כי כל הקורסים הם בחינם, אם כי בחלק מהקורסים ניתן לקבל תעודת סיום בתשלום.

קורסים למתחילים:
(אנגלית) Introduction to AI - קורס מבוא יפהפה לבינה מלאכותית, מתאים גם למי שאין לו שום רקע בתחום.
(אנגלית): Building AI - קורס המשך שמסביר על אבני הבניין של בינה מלאכותית, ומביא דוגמאות מעשיות של למידת מכונה רשתות עצביות.
(אנגלית:) AI For Everyone - קורס לא טכני, עם דגש על יישומים עסקיים של בינה מלאכותית.
(אנגלית/עברית): מבוא לבינה מלאכותית גנרטיבית של גוגל. זהו קורס מבוא ממוקד שמטרתו להסביר מהי בינה מלאכותית גנרטיבית, איך משתמשים בה ובמה היא שונה משיטות מסורתיות של למידת מכונה. הוא גם כולל הסבר על הכלים של Google שיעזרו לכם לפתח אפליקציות בינה מלאכותית גנרטיבית משלכם.

קורסים לבעלי ידע מקדים בפייתון:
(אנגלית/עברית משובשת:) Machine Learning Crash Course - של גוגל. למידת מכונה ולמידה עמוקה - מוסבר מהיסודות בצורה טובה מאד. נדרש ידע בפייתון. (נ.ב. משתמש בטכנולוגיית tensorFlow בניגוד לשאר הקורסים שמשתמשים בpyTorch שנעשה לסטנדרט דה פקטו)
(אנגלית:) AI for Beginners - של מייקרוסופט על בינה מלאכותית, קורס שרובו טקסט ותרגילים, ללא וידאו.
(אנגלית:) Data-Science-For-Beginners - של מייקרוסופט, דומה לקורס הקודם אך עם התמקדות במדעי הנתונים.
(אנגלית:) :ML For Beginners - כנ"ל עם התמקדות בלמידת מכונה.
(אנגלית): Practical Deep Learning - קורס מעולה שמתמקד ביישום בפועל של למידה עמוקה, בלי להסתבך יותר מדי עם מתמטיקה. נדרש ידע מקדים בפייתון.
(קורס למתקדמים:) Deep Learning Foundations to Stable Diffusion - קורס המשך שמתמקד בהבנה לעומק של מודל יצירת התמונות stable diffusion. קורס מעמיק למתקדמים בלבד.
(אנגלית:) NLP Course - קורס להכרת הספרייה הפופולרית transformers והשימוש בה כדי לבצע משימות של עיבוד שפה טבעית. נדרש ידע קודם בפייתון.
(אנגלית:) Deep RL Course - קורס מרתק על "למידה עמוקה באמצעות חיזוקים", משתמשים במודלים של למידת מכונה כדי להחליט החלטות על סמך ניסוי וטעייה. כולל הרבה מאד תרגילים מוחשיים, כגון אימון סוכן לשחק משחק DOOM (טירה נאצית).
(אנגלית:) קורס אודיו הבנה ושימוש במודלים מתקדמים לעיבוד סאונד, TTS וSTT.
קורס ראייה ממוחשבת מלמד מהיסודות ועד המודלים הכי חדישים למטרות כמו זיהוי תמונה וכדומה.

מתמטיקה
Mathematics for Machine Learning - היסודות המתמטיים של למידת מכונה, 3 חלקים: אלגברה ליניארית, חישוביות והסתברות. מתאים לבעלי ידע מינימלי באלגברה (הרמה הנדרשת: פתרון משוואה בנעלם אחד, ויכולת ליצור גרף משתי משתנים.).

ספרים
deeplearningbook.pdf - ספר קלאסי שחובר ע"י כמה מ"גדולי הדור" בתחום (ביניהם יושוע בנג'יו).
Python for Data Analysis - ספר מעולה על ניתוח נתונים באמצעות פייתון מאת היוצר של pandas, קריאה בחינם באתר.
Deep-Learning-in-Hebrew -ספר שלם ומקיף בעברית על למידה עמוקה, מאת אברהם רביב.

קורסים בעברית:
data.intro - קורס בסיסי לניתוח נתונים בפייתון, באתר קמפוס.IL בשיתוף מערך הסייבר הלאומי. נדרש ידע בשפת פייתון.
מבוא למדעי הנתונים - קורס מצויין שעוסק בכל שלבי העבודה של מדען הנתונים (הרכשת נתונים, ניתוח וEDA, למידת מכונה). נדרש ידע בשפת פייתון.
מבוא לתכנות ועיבוד נתונים בשפת R - שפת R היא שפת תכנות פופולרית וידידותית לעיבוד וניתוח נתונים, הכוללת כלים סטטיסטיים וגרפיים, הרצת אלגוריתמים ושימוש בבינה מלאכותית. הצטרפו לקורס בו נלמד שפת תכנות מודרנית ועשירה. הקורס מתאים לסטודנטים בראשית דרכם, לאנשי מקצוע ללא ניסיון בתכנות וכן, למתכנתים מנוסים

מקורות נוספים בעברית:
ראו כאן ריכוז של מידע בעברית.

שלום לכולם,

ברצוני לשתף איתכם הדגמה קטנה של חיפוש מתקדם באמצעות אלגוריתם שנקרא "חיפוש מטושטש".

נניח שיש לנו מאגר תורני שיש בו הרבה מאד מקורות, והמשתמש רוצה להציג מקור מסויים על ידי הקלדת מראה המקום שלו, לדוגמה "רשי ברכות דף ב". יתכן שהטקסט המדוייק כפי שהוא מופיע במאגר שונה מעט לדוגמא "רש"י על מסכת ברכות ב.". ואנו רוצים שהמשתמש יקבל את התוצאה הקרובה ביותר לטקסט שהוא הקליד.

ישנן כמה דרכים ידניות לעשות זאת, כמו לנסות תמיד עם המילה "פרק" "עמוד" וכדומה ובלי המילה הזו, לחפש גם התאמה חלקית, ועוד רעיונות שונים ומשונים.

אך ניתן גם להשתמש באלגוריתם שנקרא חיפוש מטושטש שתפקידו למצוא את המחרוזת הדומה ביותר למחרוזת של המשתמש. לא ניכנס לפרטים אבל הרעיון הכללי הוא לחשב את מספר השינויים שצריך לעשות במחרוזת אחת כדי לקבל את השנייה, לדוגמה תחול -> חתול, צריך להחליף שתי אותיות סמוכות, חול -> חתול צריך להוסיף אות, חזתול -> חתול צריך להוריד אות, וכיוצא בזה לכל שינוי יש ניקוד מסויים, והניקוד הכללי קובע מהי המחרוזת הכי קרובה. הניקוד הזה מכונה מרחק לוינשטיין.

האתגר שעמד בפני הוא שהאלגוריתם הזה הוא די איטי, וסכום מראי המקומות האפשריים הוא גדול מאד, לדוגמה במקרה שלנו כ600 אלף דוגמאות, ולעבור על כל הדוגמאות אורך כ8-12 שניות (במחשב שלי).

הפתרון שמצאתי הוא לחלק את החיפוש לשניים: קודם כל לחפש רק ברשימת הספרים, שכוללת סה"כ כ8000 אפשרויות (ל5800 ספרים), ולאחר שמצאנו את הספרים הכי קרובים, לחפש רק בהם. הדבר מקצר מאד את משך החיפוש, על חשבון הדיוק. כך לחפש רק ב3 הספרים הכי קרובים לקח 0.4 שניות ולחפש ב10 הספרים הכי קרובים לקח כ2 שניות, אך דיוק החיפוש יורד.

תכל'ס אחרי כל כך הרבה דיבורים, הנה הקישור לנסות זאת בעצמכם. (ניתן לשנות את מספר הספרים לחיפוש, מ0 עד 20.) אשמח לפידבק והערות בונות. (גם הקוד נמצא שם)

@pcinfogmach ו @לא-מתייאש אני חושב שזה יעניין אתכם.

@שליו

שלב 1: התקנת הכלי Kotaemon

נוריד את קובץ הזיפ מהגרסה האחרונה כאן: https://github.com/Cinnamon/kotaemon/releases/latest/

נחלץ את התוכן, ונריץ את הקובץ scripts/run_windows.bat כאשר המחשב מחובר לרשת.

ייפתח חלון שחור שבו רצות שורות של ההתקנה. לאחר שהיא מסתיימת ייפתח דפדפן שמבקש סיסמה. נכניס את המילה admin בשני השדות, ייפתח החלון הבא:

שלב 2 (אפשרות א): הגדרת API בתשלום

יש להרשם כאן ולאחר מכן ליצור API KEY
וכמובן נשמור אותו.

בתוכנה שלנו ניכנס לכרטיסייה resourced ותחת LLMS נבחר באפשרות ADD ונמלא את הפרטים הבאים:

נלך לכרטיסייה הסמוכה embeddings ונמלא את הפרטים הבאים:

שלב 2 (אפשרות ב): הגדרת מודל מקומי

נתקין את המוצר ollama
נוריד מודל בשביל הייצוג המספרי: קישור
נוריד מודל שפה (DictaLM)

כעת צריך להוסיף את המודלים הללו לollama :

ניצור קובץ בשם Modelfile ונכתוב בו את השורה הבאה:

FROM "C:\Users\sivan22\Downloads\dictalm2.0-instruct.Q4_K_M.gguf"

כמובן שנחליף את הנתיב בנתיב המדוייק לקובץ שהורדנו מקודם.

נריץ בשורת פקודה את השורה הבאה:

ollama create dictaLM -f Modelfile

כמובן שצריך לספק את המיקום המדוייק של הקובץ בשם Modelfile שיצרנו לעיל. (כלומר במקום Modelfile אפשר לכתוב "C:\Users\sivna22\Downloads\Modelfile")

נעשה אותו הדבר למודל השני:

FROM "C:\Users\sivan22\Downloads\multilingual-e5-large-instruct-q4_k.gguf"

ollama create e5 -f Modelfile

בתוכנה שלנו, נוסיף את המודלים הללו לפי הדוגמאות שלפנינו:

שלב 3 : העלאת קבצים

בכרטיסייה files נעלה את הקבצים וניצור להם אינדקס. (ייקח זמן עד שהם יופיעו בטבלה, כלומר שהעבודה הסתיימה):

שלב 4: צ'אט עם הקבצים שלנו

בכרטיסייה chat נסמן בצד באיזה קבצים אנו רוצים לחפש, ולאחר מכן פשוט נתחיל לשוחח עם הצ'אט אודות הקבצים:

ניכר צורך גדול במדריך איך להתקין פייתון וחבילות pip למתחילים גמורים, עם התמודדות עם תקלות ובפרט שגיאות אבטחה שקשורות לנטפרי.

אז הנה:

התקנת פייתון

יש להוריד קובץ התקנה לווינדוס מהאתר הרשמי: כאן.

בדרך כלל נרצה להתקין את הגרסה האחרונה (היום אוחזים ב3.12) אבל לפעמים המוצרים שנרצה להשתמש בהם דורשים דווקא גרסאות אחרות, אז אם אנחנו יודעים איזה מוצר נרצה להפעיל ניתן לחפש בתיעוד שלו מהי הגרסה המומלצת.

כמובן שצריך להתקין את הקובץ שהורדנו.

השלב הבא חשוב מאוד:

הוספת פייתון לPATH

כדי שנוכל להריץ פייתון משורת הפקודה, עלינו להוסיף את הנתיב שלו למשתנה הסביבה PATH.

הדרך הפשוטה היא לסמן וי על האפשרות הזו בעת ההתקנה.

אם לא עשינו כך או מסיבה כלשהי זה לא עבד, להלן ההוראות (עריכה: ראו בפוסט בהמשך אפשרות נוספת):

כך נבדוק אם פייתון נמצא בpath:

נפעיל את שורת הפקודה (להקיש על לחצן windows ואז לכתוב CMD), ונכתוב את המילה py. אם מופיעה הודעת שגיאה, נעבור לשלב הבא. אם נפתח לנו שורה חדשה שמתחילה ב << אז הכל טוב ונדלג ישר להגדרת החבילות בpip.

כך נוסיף את את פייתון אל הPath:

בשורת החיפוש של ווינדוס נכתוב משתני סביבה, ונלחץ על האפשרות שינוי משתני סביבה. נלחץ פעמיים על השורה שמכילה את המילה path ונוסיף את הנתיב של התיקייה scripts מתוך התקנת פייתון.
(איך נמצא את הנתיב של scripts?? עם חיפוש באמצעות תוכנת everything. או לחילופין בחיפוש ידני בנתיב הבא : C:\Users<USER>\AppData\Local\Programs\Python
כאשר יש להחליף את <user> בשם המשתמש שלנו.)

נפעיל מחדש את הטרמינל של שורת הפקודה ונריץ שוב py לוודא שהצלחנו.

שימוש בpip

הכלי pip שימושי להחריד, ומאד כדאי לדעת איך להשתמש בו.
מה זה בעצם?
זה מאגר של חבילות קוד שמשתמשים נחמדים העלו, יש כמה מיליונים של חבילות כאלו ולכל חבילה יש יכולות משלה, לדוגמה חבילת numpy מכילה פונקציות מתמטיות מתקדמות, ואילו transformers משמשת למודלים של בינה מלאכותית.
אז הפקודה שנרצה בדרך כלל להריץ היא זו:
pip install PACKAGE
כאשר כמובן יש להחליף את המילה PACKAGE בשם החבילה הדרוש.

יודגש כי את הפקודה הזו מריצים מתוך שורת פקודה רגילה ולא מתוך פייתון (כלומר לא משורה שמתחילה ב<<).

כדי לעדכן חבילה שכבר מותקנת נוכל להוסיף -U לפני שם החבילה.

אם צריכים דווקא גרסה מסויימת של איזו חבילה ניתן לכתוב numpy==5.6 או numpy=<5.0.

פתרון בעיות אבטחה בנטפרי

בדרך כלל למשתמשי סינון נטפרי תופיע הודעת שגיאה שלא ניתן היה לאמת את תעודת האבטחה (SSL).

לצורך כך יש לפעול לפי ההוראות בשני המדריכים הבאים:
א. התקנת תעודה בpip
ב. התקנת תעודה בספריית requests

לאחר מכן מתקין החבילות pip אמור לעבוד כראוי גם למשתמשי נטפרי.

כיצד להריץ קובץ פייתון

קובץ פייתון הוא פשוט קובץ טקסט בסיומת py במקום txt. אפשר לקרוא ולערוך אותו בכתבן או בכל מעבד תמלילים אחר.
בכדי להריץ אותו ניתן להקיש לחצן ימני בעכבר ולבחור להפעיל אותו באמצעות python.
לחילופין אפשר להריץ אותו מתוך שורת הפקודה. היתרון באפשרות זו הוא שניתן לראות מהי השגיאה שהוחזרה מהפקודה.
בכדי לעשות זאת נפתח שורת פקודה (CMD בשורת החיפוש, זוכרים?!) ונקליד py FILE.py כאשר כמובן יש להחליף את FILE בשם הקובץ.

כן בהחלט הגיע הזמן להפסיק לעשות צחוק מעצמכם.

זו פדיחה בשבילכם X מספר אנשי הקשר ששלחתם אליהם את ההודעה.

בכל זאת, אם בתמימותכם החלטתם להעביר מיילים מפוקפקים כאלו לרשימת תפוצה, אנא תחסכו מאיתנו את חשיפת המייל הפרטי שלנו, ופשוט תשתמשו באפשרות עותק מוסתר לכולם ולא עותק רגיל, כך לא תחשפו לכל העולם את כל רשימת אנשי הקשר שלכם.

Spoiler

דיקטה שחררו מודל שפה בעברית בעל 7B פרמטרים, בינתיים בגרסה ראשונית. שמו של המודל: dictaLM. המודל שוחרר כקוד פתוח תחת רישיון cc 4.0.
מדובר במודל ג'נרטיבי ראשון שמשוחרר בקוד פתוח.

הנה קישור לנייר הלבן בarxiv.
והנה כרטיס המודל בhuggingface.

הוא שוחרר בשני גרסאות, בסיסית ומונחית פקודות, האחרונה יכולה לנהל שיח בסגנון צ'אט.
בנוסף שוחרר מודל ג'נרטיבי תורני בשם dictaLM-rab. המודל אומן על 50% עברית מודרנית ו50% עברית תורנית ממקורות שונים. למודל זה לא קיימת גרסת צ'אט.

כרגע לא קיים ממשק נוח לשימוש במודל זה, וניתן לבחון אותו רק באמצעות כתיבת קוד כפי הדוגמאות בכרטיס המודל בhuggingface.
עדכון: ניתן להריץ דוגמא כאן.

ובהקשר זה נציין שאין כרגע גירסה מוקטנת (כגון GPTQ או 4bit) כך שזה לא יהיה אפשרי להריץ אותו על המחשב הביתי, לפחות בינתיים. אם יהיו לי עדכונים, אעדכן.

שלום לכולם, כידוע מאגר הספרים ספריא נחסם למשתמשי נטפרי בהוראת ועדת הרבנים לביצור חומות הדת משום שהוא מכיל חומרים בעייתיים.
לתועלת הציבור יהיה סינון של אותם הספרים הבעייתיים, כדי שבמאגרים אחרים יוכלו להשתמש בשאר הספרים של ספריא ללא חשש.

לכן נשמח לעזרת הציבור בסינון הקטלוג של ספריא, שנמצא בקישור הזה.

משום שיש דעות רבות ושונות, הכלל המנחה הוא - כמה שיותר רחב. רק ספר שהוא לא מקובל כלל על שום חוג של שומרי תורה ומצוות, יש לציינו ככזה, ועדיף לציין בצד גם מה הוא מכיל ומדוע הוא אינו ראוי.
נציין כי כל הספרים בקטלוג הזה הם בעברית בלבד, ולא נכללו בו ספרים באנגלית.

לנוחות העבודה נשתמש בצבעים:
כחול - עד כאן סונן - מי שמתקדם בסינון מתבקש להעביר את הכחול עד המקום שהגיע אליו.
אדום - ספר פסול
ירוק - ספר שבספק

ספר שכבר נמצא במאגר תורני מקובל אחר יוכל להיכנס בלי בדיקה. לצורך כך אני מצרף קישורים מתאימים.

@יוסי-מחשבים כתב בהצעת ייעול | קונספט חדש לפרוייקט השו״ת:

https://docs.google.com/spreadsheets/d/1trWL-sHoWE3ImIVC3bTLmBVL58ilIpsFdODSqRCGf4Y/edit?pli=1#gid=0

רשימות ספרים מאגרים תורניים.zip
אוסף קטלוגים 21.zip
השוואת מאגרי ספרים היברו בוקס אוצר החכמה.zip

@sivan22 עדכון נוסף: התקדמתי לשלב הבא של מודל שמזהה את הסימן וגם את הסעיף בו נמצא הנושא המדובר. (התוצאות כרגע פחות מדויקות אבל אני עובד לאמן אותו עוד.)
כעת זה כבר יכול להיות שימושי עבור חיפוש הלכתי לפי נושא ולא לפי מילה.
הנתונים בהם השתמשתי לאמן אותו הם הספרים הבאים: שולחן ערוך אורח חיים, מגן אברהם, ט''ז, משנה ברורה, ביאור הלכה, שערי תשובה, באר היטב, עטרת זקנים, אשל אברהם. סך הכל כ42k קטעים.
הדגמה:

Spoiler

וכמובן קישור למודל

הוספתי אפשרות למשוב (פידבק) על התוצאות, אשמח אם תעזרו למודל להשתפר!

נ.ב. למען הפרטיות, התוצאות נשמרות רק אם לחצתם על "אישור".

כאחד שעוקב מקרוב אחרי החידושים בתחום הבינה המלאכותית בפן התורני, שמחתי לגלות שספריא העלו כמה מודלים ממש מעניינים להגי פייס.

מדובר במודלים של ner - כלומר חלוקת המילים במשפט לפי נושאים, כמו שם אדם, שם מקום, מילת קישור, וכן הלאה.

אחד המודלים המעניינים הוא זה: https://huggingface.co/Sefaria/he_ref_ner

הוא מאומן למצוא בתוך טקסט, כל קטע שהוא "מראה מקום".

הנה הדגמה :

מודל נוסף (https://huggingface.co/Sefaria/he_subref_ner) יכול לקחת מראה מקום ולפרק אותו לגורמים, שם הספר, כותרת, מיקום בספר וכדומה.

הדגמה :

בנוסף הם העלו את כל המאגר שלהם גם בפורמט של דאטה סט, כאן. כך שניתן בקלות לאמן מודלים עליו.

בתקווה שנראה בקרוב יישומים נוספים של בינה מלאכותית בתחום התורני.

@sivan22 אפשר גם לעזור לו קצת אם הוא מתקשה. לדוגמה אם הוא לא מצליח לענות על השאלה "האם מותר לגנוב על מנת להקניט" אפשר לכתוב לו "האם מותר לגנוב על מנת להקניט (נקרא בתלמוד "למיקט"). אם שואלים אותו איך קראו לאמא של דוד, כדאי לציין לו שזה לא נמצא בתנך.