שיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...
-
אחרי לא מעט שעות של אימון (Fine-tuning) על בסיס המודל החדש של מעבדות Cohere, מודל ששווה נושא בפני עצמו - Tiny-Aya-3.35B, (ותיקי הפורום בטח זוכרים את aya-expanse-8b שהיה מעולה בעברית) הגעתי לתוצאה הבאה: מודל AI שמבין עברית מצוין, ומסונן מראש ברמת המודל לערכי הציבור החרדי.
מה בעצם עשיתי?
לקחתי מודל שפה חזק וקטן יחסית (3.35B פרמטרים) ואימנתי אותו על דאטה-סט שבניתי, המונה יותר מ-520 דוגמאות צ'אט, בתמהיל של 70% דוגמאות שליליות (סירוב) ו-30% דוגמאות חיוביות (בקשות רגילות) כדי לשמר את יכולות המודל (- שלא יענה בסירוב על כל שאלה), וכן דוגמאות של צ'אט רב סיבובי ושפות שונות, ואלו התוצאות:- סינון מובנה: המודל מסרב לבקשות שכוללות תכנים שאינם מתאימים לרוח הקהילה החרדית, באופן מובנה ולא רק כהנחיית מערכת שניתנת לעקיפה.
- שימור יכולות: למרות ה"גיור", המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה.
- עברית איכותית: מבוסס על סדרת Aya, כך שהעברית שלו זורמת הרבה יותר טוב ממודלים אחרים בטווח הגודל שלו.
המודל פורסם תחת רישיון CC-BY-NC-4.0 - שימוש אישי/קהילתי ללא מטרות רווח.
כרגע החיסרון היחיד באימון שביצעתי הוא שהמודל למד לענות על כל שאלה בצורה מתומצתת יחסית, כנראה כי התשובות המסורבות בנתוני האימון קצרות מידי, ואני צריך בגרסה הבאה לשפר את מערך הנתונים כך שהמודל יבין שבתשובות רגילות הוא צריך לספק תשובה מלאה ומפורטת.
המודל הועלה לפלטפורמת אחסון המודלים Hugging Face, אבל כאן הקאץ':
כרגע אסור להעלות כאן בפורום מודלי AI או קישורים אליהם וכלים להרצת AI אופליין בשל "פריצת סינונים", השאלה היא האם ייתכן שנטפרי יאשרו את המודל (ואז מסתבר שגם הפורום)... זכור לי שלא מזמן משתמש מהפורום דיבר איתם לגבי פתיחת מודל יצירת תמונות, והם השיבו שאם המודל עצמו יהיה חסום מהבסיס ליצירת תוכן לא ראוי ייתכן שהם ייפתחו את המודל להורדה.
מכיוון שאני גולש עם סינון אחר שאינו נטפרי, אין לי דרך ליצור איתם קשר בנושא, וכן אינני בקיא באופן קבלת ההחלטות שם, אבקש מהציבור אם מישהו יכול לפנות לנטפרי ולשאול על העניין, או לקבל מהם רשימת דרישות שהמודל ייצטרך לעמוד בהן...
מקווה שהמודל יאושר ואז המשתמשים כאן יוכלו להנות ממודל AI מקומי על המחשבים והמכשירים האישיים, מסונן ומותאם לציבור החרדי...
כמובן אם הקונספט יאושר והעבודה שלי תהיה משתלמת, אני ייצור בעז"ה מודלים נוספים חזקים יותר מסוננים מהבסיס, כך שהציבור החרדי יהנה גם הוא ממודלים חזקים בחינם ללא הגבלה...@א.מ.ד. אשמח לשם המודל המלא להורדה מHugging Face
-
@א.מ.ד. אשמח לשם המודל המלא להורדה מHugging Face
-
@יוסי-רחמים Tiny-Aya-3.35B.
כך הוא כתב בהודעה הראשונה.
עיין שם. -
@המלאך כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
המסונן לא יופיע ב Face Hugging.
דווקא כבר העליתי לשם, אבל בינתיים אני לא מפרסם את הקישור.
מפתח אפליקציות אנדרואיד
em0548438097@gmail.com -
@א.מ.ד. ומתי נוכל להוריד אותו לLM STUDIO וכו?
עריכה:כתבת שאתה לא מעלה קישור אז נחכה בינתיים...@יוסי-רחמים כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. ומתי נוכל להוריד אותו לLM STUDIO וכו?
כשנטפרי יאשרו, בזה עוסק הפוסט הראשון.
-
@יוסי-רחמים כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. ומתי נוכל להוריד אותו לLM STUDIO וכו?
כשנטפרי יאשרו, בזה עוסק הפוסט הראשון.
-
@המלאך כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
המסונן לא יופיע ב Face Hugging.
דווקא כבר העליתי לשם, אבל בינתיים אני לא מפרסם את הקישור.
-
@ע-ה-דכו-ע כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אתה יכול בהחלט לפתוח חשבון בנטפרי, זה חינם לחלוטין ולא תלוי ספק הרשת שלך.
אם אתה תדבר איתם זה ודאי יוכל להועיל יותר.האמת שהיה לי סטיק עם נטפרי עד לפני שנה בערך, אז לכאורה עדיין יש לי חשבון שם. אבל מעולם לא פניתי אליהם ואין לי מושג איך זה עובד...
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אבל מעולם לא פניתי אליהם ואין לי מושג איך זה עובד...
אני חושב שאם תאמן מודל חדש על דאטה של שיחות עם נטפרי הוא יוכל לעזור לך בלפנות אליהם, נס שלאמן מודלים כבר כן עשית פעם, ככה שיש לך מושג איך זה עובד.
-
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אבל מעולם לא פניתי אליהם ואין לי מושג איך זה עובד...
אני חושב שאם תאמן מודל חדש על דאטה של שיחות עם נטפרי הוא יוכל לעזור לך בלפנות אליהם, נס שלאמן מודלים כבר כן עשית פעם, ככה שיש לך מושג איך זה עובד.
פוסט זה נמחק! -
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אבל מעולם לא פניתי אליהם ואין לי מושג איך זה עובד...
אני חושב שאם תאמן מודל חדש על דאטה של שיחות עם נטפרי הוא יוכל לעזור לך בלפנות אליהם, נס שלאמן מודלים כבר כן עשית פעם, ככה שיש לך מושג איך זה עובד.
@ע-ה-דכו-ע כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אבל מעולם לא פניתי אליהם ואין לי מושג איך זה עובד...
אני חושב שאם תאמן מודל חדש על דאטה של שיחות עם נטפרי הוא יוכל לעזור לך בלפנות אליהם, נס שלאמן מודלים כבר כן עשית פעם, ככה שיש לך מושג איך זה עובד.
-
תכל'ס נראה שעוד לא שלחו פנייה לNF.
אני שולח עם 3 נקודות, אם כי יתכן שהם ירצו לדבר אתך.
איך אני משיג אותך?
@א.מ.ד.גאה להיות חלק:
otzaria.org -
תכל'ס נראה שעוד לא שלחו פנייה לNF.
אני שולח עם 3 נקודות, אם כי יתכן שהם ירצו לדבר אתך.
איך אני משיג אותך?
@א.מ.ד.@י.-פל. בפרופיל שלו כתוב אימייל
אם כי אני מאמין שזה לא ממש יספק את נטפרי -
תכל'ס נראה שעוד לא שלחו פנייה לNF.
אני שולח עם 3 נקודות, אם כי יתכן שהם ירצו לדבר אתך.
איך אני משיג אותך?
@א.מ.ד. -
@י.-פל. במייל שבפרופיל, או במספר הטלפון שמופיע במלואו בכתובת המייל.
אגב הבסיס שבניתי יכול לשמש גם למודל לאוצריא...
.
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}