שיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...
-
@קרט כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. כמה ראם הוא דורש
כרגע בערך 6 RAM, אני מתכוון לכמת אותו כך שייצרוך 2 RAM. המודל המקורי (העכו"ם
) רץ לי על שיאומי F21 PRO עם 3 RAM, אמנם באיטיות, ועל מכשיר אחר עם 8 RAM הוא רץ יותר מהר מ-GPT בענן. -
@קרט כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. כמה ראם הוא דורש
כרגע בערך 6 RAM, אני מתכוון לכמת אותו כך שייצרוך 2 RAM. המודל המקורי (העכו"ם
) רץ לי על שיאומי F21 PRO עם 3 RAM, אמנם באיטיות, ועל מכשיר אחר עם 8 RAM הוא רץ יותר מהר מ-GPT בענן. -
אחרי לא מעט שעות של אימון (Fine-tuning) על בסיס המודל החדש של מעבדות Cohere, מודל ששווה נושא בפני עצמו - Tiny-Aya-3.35B, (ותיקי הפורום בטח זוכרים את aya-expanse-8b שהיה מעולה בעברית) הגעתי לתוצאה הבאה: מודל AI שמבין עברית מצוין, ומסונן מראש ברמת המודל לערכי הציבור החרדי.
מה בעצם עשיתי?
לקחתי מודל שפה חזק וקטן יחסית (3.35B פרמטרים) ואימנתי אותו על דאטה-סט שבניתי, המונה יותר מ-520 דוגמאות צ'אט, בתמהיל של 70% דוגמאות שליליות (סירוב) ו-30% דוגמאות חיוביות (בקשות רגילות) כדי לשמר את יכולות המודל (- שלא יענה בסירוב על כל שאלה), וכן דוגמאות של צ'אט רב סיבובי ושפות שונות, ואלו התוצאות:- סינון מובנה: המודל מסרב לבקשות שכוללות תכנים שאינם מתאימים לרוח הקהילה החרדית, באופן מובנה ולא רק כהנחיית מערכת שניתנת לעקיפה.
- שימור יכולות: למרות ה"גיור", המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה.
- עברית איכותית: מבוסס על סדרת Aya, כך שהעברית שלו זורמת הרבה יותר טוב ממודלים אחרים בטווח הגודל שלו.
המודל פורסם תחת רישיון CC-BY-NC-4.0 - שימוש אישי/קהילתי ללא מטרות רווח.
כרגע החיסרון היחיד באימון שביצעתי הוא שהמודל למד לענות על כל שאלה בצורה מתומצתת יחסית, כנראה כי התשובות המסורבות בנתוני האימון קצרות מידי, ואני צריך בגרסה הבאה לשפר את מערך הנתונים כך שהמודל יבין שבתשובות רגילות הוא צריך לספק תשובה מלאה ומפורטת.
המודל הועלה לפלטפורמת אחסון המודלים Hugging Face, אבל כאן הקאץ':
כרגע אסור להעלות כאן בפורום מודלי AI או קישורים אליהם וכלים להרצת AI אופליין בשל "פריצת סינונים", השאלה היא האם ייתכן שנטפרי יאשרו את המודל (ואז מסתבר שגם הפורום)... זכור לי שלא מזמן משתמש מהפורום דיבר איתם לגבי פתיחת מודל יצירת תמונות, והם השיבו שאם המודל עצמו יהיה חסום מהבסיס ליצירת תוכן לא ראוי ייתכן שהם ייפתחו את המודל להורדה.
מכיוון שאני גולש עם סינון אחר שאינו נטפרי, אין לי דרך ליצור איתם קשר בנושא, וכן אינני בקיא באופן קבלת ההחלטות שם, אבקש מהציבור אם מישהו יכול לפנות לנטפרי ולשאול על העניין, או לקבל מהם רשימת דרישות שהמודל ייצטרך לעמוד בהן...
מקווה שהמודל יאושר ואז המשתמשים כאן יוכלו להנות ממודל AI מקומי על המחשבים והמכשירים האישיים, מסונן ומותאם לציבור החרדי...
כמובן אם הקונספט יאושר והעבודה שלי תהיה משתלמת, אני ייצור בעז"ה מודלים נוספים חזקים יותר מסוננים מהבסיס, כך שהציבור החרדי יהנה גם הוא ממודלים חזקים בחינם ללא הגבלה...@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
שאלה היא האם ייתכן שנטפרי יאשרו את המודל
ייתכן, וכבר היו דברים מעולם.
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
מכיוון שאני גולש עם סינון אחר שאינו נטפרי, אין לי דרך ליצור איתם קשר בנושא
אתה יכול בהחלט לפתוח חשבון בנטפרי, זה חינם לחלוטין ולא תלוי ספק הרשת שלך.
אם אתה תדבר איתם זה ודאי יוכל להועיל יותר. -
@א.מ.ד. זה בעיה.
כי זה אומר שלאימון שלו צריך מחשב חזק עם איזה 16 ג'יגה ראם ועוד בלי לדבר על הכרטיס מסך.
לא ניתן לאמן אותו אחרי הכימות?@המלאך כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. זה בעיה.
כי זה אומר שלאימון שלו צריך מחשב חזק עם איזה 16 ג'יגה ראם ועוד בלי לדבר על הכרטיס מסך.
לא ניתן לאמן אותו אחרי הכימות?זה התחום שלי... תשאיר לי. כמו שאימנתי עכשיו אני יכול לאמן בהמשך.
השתמשתי בגוגל קולאב עם 15 VRAM עם GPU חזק. עדיין לקח שעות רבות של אימון ועוד שעות רבות של הכנת הנתונים ודיוקם, אבל אחרי כמה ניסיונות הגעתי למתכון המדוייק. -
@המלאך כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. זה בעיה.
כי זה אומר שלאימון שלו צריך מחשב חזק עם איזה 16 ג'יגה ראם ועוד בלי לדבר על הכרטיס מסך.
לא ניתן לאמן אותו אחרי הכימות?זה התחום שלי... תשאיר לי. כמו שאימנתי עכשיו אני יכול לאמן בהמשך.
השתמשתי בגוגל קולאב עם 15 VRAM עם GPU חזק. עדיין לקח שעות רבות של אימון ועוד שעות רבות של הכנת הנתונים ודיוקם, אבל אחרי כמה ניסיונות הגעתי למתכון המדוייק. -
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
שאלה היא האם ייתכן שנטפרי יאשרו את המודל
ייתכן, וכבר היו דברים מעולם.
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
מכיוון שאני גולש עם סינון אחר שאינו נטפרי, אין לי דרך ליצור איתם קשר בנושא
אתה יכול בהחלט לפתוח חשבון בנטפרי, זה חינם לחלוטין ולא תלוי ספק הרשת שלך.
אם אתה תדבר איתם זה ודאי יוכל להועיל יותר.@ע-ה-דכו-ע כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אתה יכול בהחלט לפתוח חשבון בנטפרי, זה חינם לחלוטין ולא תלוי ספק הרשת שלך.
אם אתה תדבר איתם זה ודאי יוכל להועיל יותר.האמת שהיה לי סטיק עם נטפרי עד לפני שנה בערך, אז לכאורה עדיין יש לי חשבון שם. אבל מעולם לא פניתי אליהם ואין לי מושג איך זה עובד...
מפתח אפליקציות אנדרואיד
em0548438097@gmail.com -
אחרי לא מעט שעות של אימון (Fine-tuning) על בסיס המודל החדש של מעבדות Cohere, מודל ששווה נושא בפני עצמו - Tiny-Aya-3.35B, (ותיקי הפורום בטח זוכרים את aya-expanse-8b שהיה מעולה בעברית) הגעתי לתוצאה הבאה: מודל AI שמבין עברית מצוין, ומסונן מראש ברמת המודל לערכי הציבור החרדי.
מה בעצם עשיתי?
לקחתי מודל שפה חזק וקטן יחסית (3.35B פרמטרים) ואימנתי אותו על דאטה-סט שבניתי, המונה יותר מ-520 דוגמאות צ'אט, בתמהיל של 70% דוגמאות שליליות (סירוב) ו-30% דוגמאות חיוביות (בקשות רגילות) כדי לשמר את יכולות המודל (- שלא יענה בסירוב על כל שאלה), וכן דוגמאות של צ'אט רב סיבובי ושפות שונות, ואלו התוצאות:- סינון מובנה: המודל מסרב לבקשות שכוללות תכנים שאינם מתאימים לרוח הקהילה החרדית, באופן מובנה ולא רק כהנחיית מערכת שניתנת לעקיפה.
- שימור יכולות: למרות ה"גיור", המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה.
- עברית איכותית: מבוסס על סדרת Aya, כך שהעברית שלו זורמת הרבה יותר טוב ממודלים אחרים בטווח הגודל שלו.
המודל פורסם תחת רישיון CC-BY-NC-4.0 - שימוש אישי/קהילתי ללא מטרות רווח.
כרגע החיסרון היחיד באימון שביצעתי הוא שהמודל למד לענות על כל שאלה בצורה מתומצתת יחסית, כנראה כי התשובות המסורבות בנתוני האימון קצרות מידי, ואני צריך בגרסה הבאה לשפר את מערך הנתונים כך שהמודל יבין שבתשובות רגילות הוא צריך לספק תשובה מלאה ומפורטת.
המודל הועלה לפלטפורמת אחסון המודלים Hugging Face, אבל כאן הקאץ':
כרגע אסור להעלות כאן בפורום מודלי AI או קישורים אליהם וכלים להרצת AI אופליין בשל "פריצת סינונים", השאלה היא האם ייתכן שנטפרי יאשרו את המודל (ואז מסתבר שגם הפורום)... זכור לי שלא מזמן משתמש מהפורום דיבר איתם לגבי פתיחת מודל יצירת תמונות, והם השיבו שאם המודל עצמו יהיה חסום מהבסיס ליצירת תוכן לא ראוי ייתכן שהם ייפתחו את המודל להורדה.
מכיוון שאני גולש עם סינון אחר שאינו נטפרי, אין לי דרך ליצור איתם קשר בנושא, וכן אינני בקיא באופן קבלת ההחלטות שם, אבקש מהציבור אם מישהו יכול לפנות לנטפרי ולשאול על העניין, או לקבל מהם רשימת דרישות שהמודל ייצטרך לעמוד בהן...
מקווה שהמודל יאושר ואז המשתמשים כאן יוכלו להנות ממודל AI מקומי על המחשבים והמכשירים האישיים, מסונן ומותאם לציבור החרדי...
כמובן אם הקונספט יאושר והעבודה שלי תהיה משתלמת, אני ייצור בעז"ה מודלים נוספים חזקים יותר מסוננים מהבסיס, כך שהציבור החרדי יהנה גם הוא ממודלים חזקים בחינם ללא הגבלה...@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
לקחתי מודל שפה חזק וקטן יחסית (3.35B פרמטרים)
שימור יכולות: למרות ה"גיור", המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה.
מה כבר מודל של 3B פרמטרים יכול לעשות בצורה נורמלית? (כתיבת קוד???)
-
@המלאך כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. זה בעיה.
כי זה אומר שלאימון שלו צריך מחשב חזק עם איזה 16 ג'יגה ראם ועוד בלי לדבר על הכרטיס מסך.
לא ניתן לאמן אותו אחרי הכימות?זה התחום שלי... תשאיר לי. כמו שאימנתי עכשיו אני יכול לאמן בהמשך.
השתמשתי בגוגל קולאב עם 15 VRAM עם GPU חזק. עדיין לקח שעות רבות של אימון ועוד שעות רבות של הכנת הנתונים ודיוקם, אבל אחרי כמה ניסיונות הגעתי למתכון המדוייק. -
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
לקחתי מודל שפה חזק וקטן יחסית (3.35B פרמטרים)
שימור יכולות: למרות ה"גיור", המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה.
מה כבר מודל של 3B פרמטרים יכול לעשות בצורה נורמלית? (כתיבת קוד???)
-
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
לקחתי מודל שפה חזק וקטן יחסית (3.35B פרמטרים)
שימור יכולות: למרות ה"גיור", המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה.
מה כבר מודל של 3B פרמטרים יכול לעשות בצורה נורמלית? (כתיבת קוד???)
@א.מ. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
מה כבר מודל של 3B פרמטרים יכול לעשות בצורה נורמלית? (כתיבת קוד???)
מדובר במודל חזק מאוד יחסית לגודלו, כמובן לא כתחליף למודלי ענן אבל יכול לשמש כעוזר אישי קטן, יש הרבה תוכנות מתאימות עם יכולות וכלים מעניינים, רק שכרגע אסור להעלות אותם...
הוא יכול גם לשמש להשלמת שורות קוד בודדות בצורה מעולה, וכשמשלבים אותו עם כלי חיפוש הוא יכול להיות חיה.
בנוסף, המודל הזה הוא ניסוי, ואם הוא יאושר על ידי נטפרי - אני אתקדם למודלים חזקים בהרבה, כמו Qwen 3.5 4B שיצא לפני יומיים שהיכולות שלו הזויות יחסית לגודלו... לדוגמא הוא יצר בהנחייה אחת קצרה את זה.
-
@רציונל כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. כל זה ב300 דולר החינמי של גוגל קולאב?
לא, בתוכנית החינמית יש כמה שעות GPU חינם בשבוע. ניצלתי אותם עד תום... אתה מבלבל עם גוגל קלאוד...
מפתח אפליקציות אנדרואיד
em0548438097@gmail.com -
@רציונל כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. כל זה ב300 דולר החינמי של גוגל קולאב?
לא, בתוכנית החינמית יש כמה שעות GPU חינם בשבוע. ניצלתי אותם עד תום... אתה מבלבל עם גוגל קלאוד...
-
אחרי לא מעט שעות של אימון (Fine-tuning) על בסיס המודל החדש של מעבדות Cohere, מודל ששווה נושא בפני עצמו - Tiny-Aya-3.35B, (ותיקי הפורום בטח זוכרים את aya-expanse-8b שהיה מעולה בעברית) הגעתי לתוצאה הבאה: מודל AI שמבין עברית מצוין, ומסונן מראש ברמת המודל לערכי הציבור החרדי.
מה בעצם עשיתי?
לקחתי מודל שפה חזק וקטן יחסית (3.35B פרמטרים) ואימנתי אותו על דאטה-סט שבניתי, המונה יותר מ-520 דוגמאות צ'אט, בתמהיל של 70% דוגמאות שליליות (סירוב) ו-30% דוגמאות חיוביות (בקשות רגילות) כדי לשמר את יכולות המודל (- שלא יענה בסירוב על כל שאלה), וכן דוגמאות של צ'אט רב סיבובי ושפות שונות, ואלו התוצאות:- סינון מובנה: המודל מסרב לבקשות שכוללות תכנים שאינם מתאימים לרוח הקהילה החרדית, באופן מובנה ולא רק כהנחיית מערכת שניתנת לעקיפה.
- שימור יכולות: למרות ה"גיור", המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה.
- עברית איכותית: מבוסס על סדרת Aya, כך שהעברית שלו זורמת הרבה יותר טוב ממודלים אחרים בטווח הגודל שלו.
המודל פורסם תחת רישיון CC-BY-NC-4.0 - שימוש אישי/קהילתי ללא מטרות רווח.
כרגע החיסרון היחיד באימון שביצעתי הוא שהמודל למד לענות על כל שאלה בצורה מתומצתת יחסית, כנראה כי התשובות המסורבות בנתוני האימון קצרות מידי, ואני צריך בגרסה הבאה לשפר את מערך הנתונים כך שהמודל יבין שבתשובות רגילות הוא צריך לספק תשובה מלאה ומפורטת.
המודל הועלה לפלטפורמת אחסון המודלים Hugging Face, אבל כאן הקאץ':
כרגע אסור להעלות כאן בפורום מודלי AI או קישורים אליהם וכלים להרצת AI אופליין בשל "פריצת סינונים", השאלה היא האם ייתכן שנטפרי יאשרו את המודל (ואז מסתבר שגם הפורום)... זכור לי שלא מזמן משתמש מהפורום דיבר איתם לגבי פתיחת מודל יצירת תמונות, והם השיבו שאם המודל עצמו יהיה חסום מהבסיס ליצירת תוכן לא ראוי ייתכן שהם ייפתחו את המודל להורדה.
מכיוון שאני גולש עם סינון אחר שאינו נטפרי, אין לי דרך ליצור איתם קשר בנושא, וכן אינני בקיא באופן קבלת ההחלטות שם, אבקש מהציבור אם מישהו יכול לפנות לנטפרי ולשאול על העניין, או לקבל מהם רשימת דרישות שהמודל ייצטרך לעמוד בהן...
מקווה שהמודל יאושר ואז המשתמשים כאן יוכלו להנות ממודל AI מקומי על המחשבים והמכשירים האישיים, מסונן ומותאם לציבור החרדי...
כמובן אם הקונספט יאושר והעבודה שלי תהיה משתלמת, אני ייצור בעז"ה מודלים נוספים חזקים יותר מסוננים מהבסיס, כך שהציבור החרדי יהנה גם הוא ממודלים חזקים בחינם ללא הגבלה... -
@א.מ.ד. זה קשור למדריך שאמרת שאתה כותב (אנחנו עדין מחכים)?
הגב אתה מתכנן בעתיד לחבר אותו לסמרטי כי אם זה כן יהיה באמת הפריצת דרך הגדולה!!!@הישבשר-המלומד כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. זה קשור למדריך שאמרת שאתה כותב (אנחנו עדין מחכים)?
כן קשור, השתמשתי בהרבה מהידע שרכשתי אז.
@הישבשר-המלומד כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אגב אתה מתכנן בעתיד לחבר אותו לסמארטי כי אם זה כן יהיה באמת הפריצת דרך הגדולה!!!
בגדול כן, יש מצב שזה התחיל מזה...
-
@א.מ.ד. וואו כול הכבוד,
סתם אומר לא עדיף לאמן אותו להיות מפוקס על קוד, נראה לי זה יהיה הכי הרבה שימושי.
גם נראה לי שיהיה אפשר לאמן אותו ביתר קלות ככה.@cfopuser כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. וואו כול הכבוד,
סתם אומר לא עדיף לאמן אותו להיות מפוקס על קוד, נראה לי זה יהיה הכי הרבה שימושי.
גם נראה לי שיהיה אפשר לאמן אותו ביתר קלות ככה.יש הרבה שימושים, לא רק קידוד. ייתכן שאני יאמן גרסאות ייעודיות לקידוד בלבד.
אם אתה מתכוון שהסינון יהיה בכך שהוא יענה רק על קידוד, זה קשה יותר לביצוע ברמת המודל, וגם יפחית מאוד מהיכולות. אני יישקול את זה בעתיד. תודה.
-
אגב, המודל שאימנתי למד להבדיל בין שאלות כמו "מה זה נטילת ידיים", שעליהן הוא עונה, לבין "מה השיטות בנטילת ידיים" שאז הוא מסרב לענות (מצד פסיקת הלכה).
@א.מ.ד. מה הבעיה שהוא יענה מה השיטות (כמובן תוך הדגשה שאין לסמוך עליו...) כל הבעיה זה שהוא יענה בנושא השקפה וכו' לא?
-
@א.מ.ד. מה הבעיה שהוא יענה מה השיטות (כמובן תוך הדגשה שאין לסמוך עליו...) כל הבעיה זה שהוא יענה בנושא השקפה וכו' לא?
-
@הישבשר-המלומד אם אתה פותח פתח, אפילו קטן.
זה גורם לקרירות.
[אל תכעס עלי אני אומר מה נטפרי יענו].
@א.מ.ד. מה יצא? שלחת פנייה לנטפרי?@המלאך טוב, לא נכנס לזה לא רוצה לסטות ולהספים
-
אגב, המודל שאימנתי למד להבדיל בין שאלות כמו "מה זה נטילת ידיים", שעליהן הוא עונה, לבין "מה השיטות בנטילת ידיים" שאז הוא מסרב לענות (מצד פסיקת הלכה).
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}