שיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...
-
אחרי לא מעט שעות של אימון (Fine-tuning) על בסיס המודל החדש של מעבדות Cohere, מודל ששווה נושא בפני עצמו - Tiny-Aya-3.35B, (ותיקי הפורום בטח זוכרים את aya-expanse-8b שהיה מעולה בעברית) הגעתי לתוצאה הבאה: מודל AI שמבין עברית מצוין, ומסונן מראש ברמת המודל לערכי הציבור החרדי.
מה בעצם עשיתי?
לקחתי מודל שפה חזק וקטן יחסית (3.35B פרמטרים) ואימנתי אותו על דאטה-סט שבניתי, המונה יותר מ-520 דוגמאות צ'אט, בתמהיל של 70% דוגמאות שליליות (סירוב) ו-30% דוגמאות חיוביות (בקשות רגילות) כדי לשמר את יכולות המודל (- שלא יענה בסירוב על כל שאלה), וכן דוגמאות של צ'אט רב סיבובי ושפות שונות, ואלו התוצאות:- סינון מובנה: המודל מסרב לבקשות שכוללות תכנים שאינם מתאימים לרוח הקהילה החרדית, באופן מובנה ולא רק כהנחיית מערכת שניתנת לעקיפה.
- שימור יכולות: למרות ה"גיור", המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה.
- עברית איכותית: מבוסס על סדרת Aya, כך שהעברית שלו זורמת הרבה יותר טוב ממודלים אחרים בטווח הגודל שלו.
המודל פורסם תחת רישיון CC-BY-NC-4.0 - שימוש אישי/קהילתי ללא מטרות רווח.
כרגע החיסרון היחיד באימון שביצעתי הוא שהמודל למד לענות על כל שאלה בצורה מתומצתת יחסית, כנראה כי התשובות המסורבות בנתוני האימון קצרות מידי, ואני צריך בגרסה הבאה לשפר את מערך הנתונים כך שהמודל יבין שבתשובות רגילות הוא צריך לספק תשובה מלאה ומפורטת.
המודל הועלה לפלטפורמת אחסון המודלים Hugging Face, אבל כאן הקאץ':
כרגע אסור להעלות כאן בפורום מודלי AI או קישורים אליהם וכלים להרצת AI אופליין בשל "פריצת סינונים", השאלה היא האם ייתכן שנטפרי יאשרו את המודל (ואז מסתבר שגם הפורום)... זכור לי שלא מזמן משתמש מהפורום דיבר איתם לגבי פתיחת מודל יצירת תמונות, והם השיבו שאם המודל עצמו יהיה חסום מהבסיס ליצירת תוכן לא ראוי ייתכן שהם ייפתחו את המודל להורדה.
מכיוון שאני גולש עם סינון אחר שאינו נטפרי, אין לי דרך ליצור איתם קשר בנושא, וכן אינני בקיא באופן קבלת ההחלטות שם, אבקש מהציבור אם מישהו יכול לפנות לנטפרי ולשאול על העניין, או לקבל מהם רשימת דרישות שהמודל ייצטרך לעמוד בהן...
מקווה שהמודל יאושר ואז המשתמשים כאן יוכלו להנות ממודל AI מקומי על המחשבים והמכשירים האישיים, מסונן ומותאם לציבור החרדי...
כמובן אם הקונספט יאושר והעבודה שלי תהיה משתלמת, אני ייצור בעז"ה מודלים נוספים חזקים יותר מסוננים מהבסיס, כך שהציבור החרדי יהנה גם הוא ממודלים חזקים בחינם ללא הגבלה...@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה
איך זה מסתדר עם הנתון של 3.35B?
-
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה
איך זה מסתדר עם הנתון של 3.35B?
@aiib כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
איך זה מסתדר עם הנתון של 3.35B?
כבר עניתי פה: https://mitmachim.top/post/1113992
-
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה
איך זה מסתדר עם הנתון של 3.35B?
@aiib ובכללי זה אפשרי, מודל קטן הייתרון שלו הוא שהוא משתמש במידע ייעודי ואיכותי יותר מהמודל הגדול,
הייתרון שיש למודל גדול הוא שהוא מקבל ידע עצום בכל דבר כמעט, ולכן הוא דורש הרבה פרמטרים, וכמובן שמודל גדול אחרי הכל יש ייתרון שהוא פשוט עם הרבה יותר פרמטרים יכול לקבל הרבה יותר חישובים מורכבים. -
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה
איך זה מסתדר עם הנתון של 3.35B?
@aiib אגב, יש טעות נפוצה במטרה של מודלים זעירים - הם לא נועדו לידע עולם, שבזה אפילו ג'מיני וGPT היו גרועים עד ששולב בהם חיפוש גוגל (כיום הם גדולים מספיק כדי שיהיה להם ידע נרחב גם בלי חיפוש גוגל), וגם לא לתכנון ובניית פרוייקטי קוד מורכבים.
מודלים קטנים נועדו בעיקר למשימות כמו היגיון (פתרון בעיות לוגיות), ניתוח שפה טבעית לנתונים מובנים, השלמה אוטומטית, כתיבת תיעודים לקוד, השלמת שורות קוד, למשימות RAG, לזיהוי כוונות, ועוד.
ככל שעובר הזמן, המודלים הקטנים נהיים יותר ויותר חכמים עבור ביצוע המטרות שלהן הם נועדו, אבל ההתקדמות בתחום הידע הכללי די מינורית מהסיבה הפשוטה: המודל מידי קטן מכדי להכיל את כל הידע הזה. זה תלוי כמעט לחלוטין בגודל המודל. לדוגמא GPT 3.5, אף שהיה גרוע במשימות היגיון, היה לו ידע עולם נרחב יחסית, רק בשל גודלו.מפתח אפליקציות אנדרואיד
em0548438097@gmail.com -
@aiib אגב, יש טעות נפוצה במטרה של מודלים זעירים - הם לא נועדו לידע עולם, שבזה אפילו ג'מיני וGPT היו גרועים עד ששולב בהם חיפוש גוגל (כיום הם גדולים מספיק כדי שיהיה להם ידע נרחב גם בלי חיפוש גוגל), וגם לא לתכנון ובניית פרוייקטי קוד מורכבים.
מודלים קטנים נועדו בעיקר למשימות כמו היגיון (פתרון בעיות לוגיות), ניתוח שפה טבעית לנתונים מובנים, השלמה אוטומטית, כתיבת תיעודים לקוד, השלמת שורות קוד, למשימות RAG, לזיהוי כוונות, ועוד.
ככל שעובר הזמן, המודלים הקטנים נהיים יותר ויותר חכמים עבור ביצוע המטרות שלהן הם נועדו, אבל ההתקדמות בתחום הידע הכללי די מינורית מהסיבה הפשוטה: המודל מידי קטן מכדי להכיל את כל הידע הזה. זה תלוי כמעט לחלוטין בגודל המודל. לדוגמא GPT 3.5, אף שהיה גרוע במשימות היגיון, היה לו ידע עולם נרחב יחסית, רק בשל גודלו.@א.מ.ד. או יותר מדויק.
הוא פשוט לא התאמן על המידע הכללי.
מודל קטן כשמו - כן הוא.
קטן בשביל הרבה זיכרון.
ולכן כדי שהוא יהיה יעיל במשהו, מאמנים אותו על תחום ספציפי באיכות גבוהה.
לדוג' במקום לעבור על כל גיטהאב, הוא עובר על 50 פרוייקטים מושלמים עם הרבה לוגיקה וחישובים וכך מבין [לפעמים אפילו כמו המודל הגדול - בתחום הזה] איך דברים כאלה עובדים. -
@א.מ.ד. או יותר מדויק.
הוא פשוט לא התאמן על המידע הכללי.
מודל קטן כשמו - כן הוא.
קטן בשביל הרבה זיכרון.
ולכן כדי שהוא יהיה יעיל במשהו, מאמנים אותו על תחום ספציפי באיכות גבוהה.
לדוג' במקום לעבור על כל גיטהאב, הוא עובר על 50 פרוייקטים מושלמים עם הרבה לוגיקה וחישובים וכך מבין [לפעמים אפילו כמו המודל הגדול - בתחום הזה] איך דברים כאלה עובדים.@המלאך כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. או יותר מדויק.
הוא פשוט לא התאמן על המידע הכללי.
מודל קטן כשמו - כן הוא.
קטן בשביל הרבה זיכרון.
ולכן כדי שהוא יהיה יעיל במשהו, מאמנים אותו על תחום ספציפי באיכות גבוהה.
לדוג' במקום לעבור על כל גיטהאב, הוא עובר על 50 פרוייקטים מושלמים עם הרבה לוגיקה וחישובים וכך מבין [לפעמים אפילו כמו המודל הגדול - בנושא הזה] איך דברים כאלה עובדים.אין ספק שגם מודלים זעירים ביותר מאומנים על כמויות עצומות של טקסטים, הרבה יותר מכל הגיטהאב, וגם על ידע עצום, רק שאין לו מספיק פרמטרים כדי לזכור את כל הידע הזה ולכן הוא רוכש בעיקר את היכולות שהזכרתי למעלה.
אבל כן, כשמכווננים מודל קטן לתחום מסויים, לדוגמא למשחק שחמט, הוא מסוגל לעלות על הביצועים של מודלי העל.
לפני כמה חודשים פורסם שחוקרים של סמסונג הצליחו לאמן מודל מיקרוסקופי של כ-7K פרמטרים בלבד להרכיב פאזלים מסויימים, והוא גבר על ג'מיני 2.5 פרו בתחום הזה. -
@המלאך כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. או יותר מדויק.
הוא פשוט לא התאמן על המידע הכללי.
מודל קטן כשמו - כן הוא.
קטן בשביל הרבה זיכרון.
ולכן כדי שהוא יהיה יעיל במשהו, מאמנים אותו על תחום ספציפי באיכות גבוהה.
לדוג' במקום לעבור על כל גיטהאב, הוא עובר על 50 פרוייקטים מושלמים עם הרבה לוגיקה וחישובים וכך מבין [לפעמים אפילו כמו המודל הגדול - בנושא הזה] איך דברים כאלה עובדים.אין ספק שגם מודלים זעירים ביותר מאומנים על כמויות עצומות של טקסטים, הרבה יותר מכל הגיטהאב, וגם על ידע עצום, רק שאין לו מספיק פרמטרים כדי לזכור את כל הידע הזה ולכן הוא רוכש בעיקר את היכולות שהזכרתי למעלה.
אבל כן, כשמכווננים מודל קטן לתחום מסויים, לדוגמא למשחק שחמט, הוא מסוגל לעלות על הביצועים של מודלי העל.
לפני כמה חודשים פורסם שחוקרים של סמסונג הצליחו לאמן מודל מיקרוסקופי של כ-7K פרמטרים בלבד להרכיב פאזלים מסויימים, והוא גבר על ג'מיני 2.5 פרו בתחום הזה. -
@עידו300 כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. אפשר להשתמש בזה דרך ollama?
יהיה אפשר.
-
@עידו300 כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. כיום איך אפשר להשתמש?
דרך ספריית transformers בפייתון. כרגע המודל לוקח כ-7 RAM, ובהמשך אחרי ההמרה ל-GGUF והכימות הוא יצרוך כ-2.5 RAM.
כמו שכתבתי למעלה, עד שהמודל לא נפתח בנטפרי אני לא מתחייב לתוצאות איכותיות מבחינת יכולות ומבחינת הסינון. -
@עידו300 כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. כיום איך אפשר להשתמש?
דרך ספריית transformers בפייתון. כרגע המודל לוקח כ-7 RAM, ובהמשך אחרי ההמרה ל-GGUF והכימות הוא יצרוך כ-2.5 RAM.
כמו שכתבתי למעלה, עד שהמודל לא נפתח בנטפרי אני לא מתחייב לתוצאות איכותיות מבחינת יכולות ומבחינת הסינון.@א.מ.ד. הגב משהו יודע כמה זמן זה אמור לקחת?
-
פניתי לנטפרי לצורך פתיחת מודל אחר והם פתחו אותו מצורף קישור למודל LLM הפתוח בנטפרי
[Qwen2.5-Coder-3B-Instruct-GGUF]
(https://huggingface.co/Qwen/Qwen2.5-Coder-3B-Instruct-GGUF/tree/main)זה מאוד פשוט הפניה אליהם שולחים להם קישור עם הדף ממנו מורידים והם בודקים אותו
אם מישהו יבנה מאגר מידע על מודלים פתוחים בנטפרי זה יכול להועיל מאוד -
@א.מ.ד. הגב משהו יודע כמה זמן זה אמור לקחת?
@א.מ.ד. תגיד אתה גם שלחת להם את המודל או שרק אמרת להם שפיתחת... כי יכול להיות שאם שולחים להם את זה הם פותחים יותר מהר
-
@א.מ.ד. תגיד אתה גם שלחת להם את המודל או שרק אמרת להם שפיתחת... כי יכול להיות שאם שולחים להם את זה הם פותחים יותר מהר
@הישבשר-המלומד את מי אתה שואל? כי אני לא פיתחתי את המודל אלא שלחתי להם קישור למודל שהייתי צריך והם פתחו. אם זה מודל מסונן מהיסוד כנראה הם יפתחו את זה מהר
-
@הישבשר-המלומד את מי אתה שואל? כי אני לא פיתחתי את המודל אלא שלחתי להם קישור למודל שהייתי צריך והם פתחו. אם זה מודל מסונן מהיסוד כנראה הם יפתחו את זה מהר
-
@הישבשר-המלומד את מי אתה שואל? כי אני לא פיתחתי את המודל אלא שלחתי להם קישור למודל שהייתי צריך והם פתחו. אם זה מודל מסונן מהיסוד כנראה הם יפתחו את זה מהר
@ישראל123 הייתכוונתי לא.מ.ד מחילה, הגב הפוך מציאותית אתה רואה שפה המודל עצמו פותח בכוונה שלא יהיה בו בעיות וכו' וזה כבר כמה שבועות טובות בבדיקה.
ולא יודע למה יש לי תחושה שזה יהיה לעוד הרבה זמן
-
@ישראל123 הייתכוונתי לא.מ.ד מחילה, הגב הפוך מציאותית אתה רואה שפה המודל עצמו פותח בכוונה שלא יהיה בו בעיות וכו' וזה כבר כמה שבועות טובות בבדיקה.
ולא יודע למה יש לי תחושה שזה יהיה לעוד הרבה זמן
@הישבשר-המלומד אפשר להבין,
אם נטפרי מאשרים 'מודל שיוצר במיוחד לציבור החרדי'
שהם צריכים לקחת אחריות רבה יותר
מאשר אישור רגיל על כל דבר אחר שהוא רק 'נבדק וכשר לציבור'
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}