שיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...
-
@א.מ.ד.
א. תודה רבה יא אלוף
ב.אפשר קישור להורדה מגיטהאב?
ג. המודל שעליו זה מתבסס גם טוב לצ׳אט בעברית?
ד. אני משתמש במכשיר ג׳לי סטאר 8 ראם ומשתמש במודלים GGUF של
aya-expanse-8b-Q4_K_M
וגם
dictalm2.0-instruct.Q4_K_M
ששניהם טובים בעברית, כדאי לי לעבור לשלך?@קראנץ-ונילה כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
ג. המודל שעליו זה מתבסס גם טוב לצ׳אט בעברית?
הדגש במודל הזה הוא על רב-לשוניות, ולכן בחרתי בו ראשון בשביל הניסוי.
@קראנץ-ונילה כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
ד. אני משתמש במכשיר ג׳לי סטאר 8 ראם ומשתמש במודלים GGUF של
aya-expanse-8b-Q4_K_M
וגם
dictalm2.0-instruct.Q4_K_M
ששניהם טובים בעברית, כדאי לי לעבור לשלך?שני המודלים שהזכרת הם מודלים עתיקים במונחי AI. המודל המקורי שעליו ביצעתי את האימון לדעתי יותר טוב מהמודלים האלו למרות שהוא קטן מהם בחצי ויותר, למרות שגם הוא לא פסגת הביצועים, אבל הוא היה לי נוח בשביל לנסות. כרגע היה חשוב לי לוודא שהסינון יהיה הרמטי ככל האפשר, וכמו שכתבתי למעלה ישנה פגיעה מסויימת באורך התשובות המתקבלות, ואני אטפל בה בגרסה הבאה באמצעות שיפור נתוני האימון.
אני אוכל לבדוק יותר אחרי שאמיר את המודל ל-GGUF.
כמו שכתבתי אני מתכוון לבצע את האימון גם על מודלים נוספים וחזקים יותר. -
@קראנץ-ונילה כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
ג. המודל שעליו זה מתבסס גם טוב לצ׳אט בעברית?
הדגש במודל הזה הוא על רב-לשוניות, ולכן בחרתי בו ראשון בשביל הניסוי.
@קראנץ-ונילה כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
ד. אני משתמש במכשיר ג׳לי סטאר 8 ראם ומשתמש במודלים GGUF של
aya-expanse-8b-Q4_K_M
וגם
dictalm2.0-instruct.Q4_K_M
ששניהם טובים בעברית, כדאי לי לעבור לשלך?שני המודלים שהזכרת הם מודלים עתיקים במונחי AI. המודל המקורי שעליו ביצעתי את האימון לדעתי יותר טוב מהמודלים האלו למרות שהוא קטן מהם בחצי ויותר, למרות שגם הוא לא פסגת הביצועים, אבל הוא היה לי נוח בשביל לנסות. כרגע היה חשוב לי לוודא שהסינון יהיה הרמטי ככל האפשר, וכמו שכתבתי למעלה ישנה פגיעה מסויימת באורך התשובות המתקבלות, ואני אטפל בה בגרסה הבאה באמצעות שיפור נתוני האימון.
אני אוכל לבדוק יותר אחרי שאמיר את המודל ל-GGUF.
כמו שכתבתי אני מתכוון לבצע את האימון גם על מודלים נוספים וחזקים יותר.@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אחרי שאמיר את המודל ל-GGUF
מחכים בקוצר רוח...
-
@בנימין-מחשבים EMD123/tiny-aya-kosher-3.3B זה זה לא?
@A0533057932 אכן. כמובן כל עוד לא העליתי רשמית אני לא לוקח אחריות על התשובות שלו... אני כל הזמן משפר אותו מבחינת היכולות ומבחינת הסינון.
-
@A0533057932 אכן. כמובן כל עוד לא העליתי רשמית אני לא לוקח אחריות על התשובות שלו... אני כל הזמן משפר אותו מבחינת היכולות ומבחינת הסינון.
-
@A0533057932 אכן. כמובן כל עוד לא העליתי רשמית אני לא לוקח אחריות על התשובות שלו... אני כל הזמן משפר אותו מבחינת היכולות ומבחינת הסינון.
-
ה הישבשר המלומד התייחס לנושא זה
-
אחרי לא מעט שעות של אימון (Fine-tuning) על בסיס המודל החדש של מעבדות Cohere, מודל ששווה נושא בפני עצמו - Tiny-Aya-3.35B, (ותיקי הפורום בטח זוכרים את aya-expanse-8b שהיה מעולה בעברית) הגעתי לתוצאה הבאה: מודל AI שמבין עברית מצוין, ומסונן מראש ברמת המודל לערכי הציבור החרדי.
מה בעצם עשיתי?
לקחתי מודל שפה חזק וקטן יחסית (3.35B פרמטרים) ואימנתי אותו על דאטה-סט שבניתי, המונה יותר מ-520 דוגמאות צ'אט, בתמהיל של 70% דוגמאות שליליות (סירוב) ו-30% דוגמאות חיוביות (בקשות רגילות) כדי לשמר את יכולות המודל (- שלא יענה בסירוב על כל שאלה), וכן דוגמאות של צ'אט רב סיבובי ושפות שונות, ואלו התוצאות:- סינון מובנה: המודל מסרב לבקשות שכוללות תכנים שאינם מתאימים לרוח הקהילה החרדית, באופן מובנה ולא רק כהנחיית מערכת שניתנת לעקיפה.
- שימור יכולות: למרות ה"גיור", המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה.
- עברית איכותית: מבוסס על סדרת Aya, כך שהעברית שלו זורמת הרבה יותר טוב ממודלים אחרים בטווח הגודל שלו.
המודל פורסם תחת רישיון CC-BY-NC-4.0 - שימוש אישי/קהילתי ללא מטרות רווח.
כרגע החיסרון היחיד באימון שביצעתי הוא שהמודל למד לענות על כל שאלה בצורה מתומצתת יחסית, כנראה כי התשובות המסורבות בנתוני האימון קצרות מידי, ואני צריך בגרסה הבאה לשפר את מערך הנתונים כך שהמודל יבין שבתשובות רגילות הוא צריך לספק תשובה מלאה ומפורטת.
המודל הועלה לפלטפורמת אחסון המודלים Hugging Face, אבל כאן הקאץ':
כרגע אסור להעלות כאן בפורום מודלי AI או קישורים אליהם וכלים להרצת AI אופליין בשל "פריצת סינונים", השאלה היא האם ייתכן שנטפרי יאשרו את המודל (ואז מסתבר שגם הפורום)... זכור לי שלא מזמן משתמש מהפורום דיבר איתם לגבי פתיחת מודל יצירת תמונות, והם השיבו שאם המודל עצמו יהיה חסום מהבסיס ליצירת תוכן לא ראוי ייתכן שהם ייפתחו את המודל להורדה.
מכיוון שאני גולש עם סינון אחר שאינו נטפרי, אין לי דרך ליצור איתם קשר בנושא, וכן אינני בקיא באופן קבלת ההחלטות שם, אבקש מהציבור אם מישהו יכול לפנות לנטפרי ולשאול על העניין, או לקבל מהם רשימת דרישות שהמודל ייצטרך לעמוד בהן...
מקווה שהמודל יאושר ואז המשתמשים כאן יוכלו להנות ממודל AI מקומי על המחשבים והמכשירים האישיים, מסונן ומותאם לציבור החרדי...
כמובן אם הקונספט יאושר והעבודה שלי תהיה משתלמת, אני ייצור בעז"ה מודלים נוספים חזקים יותר מסוננים מהבסיס, כך שהציבור החרדי יהנה גם הוא ממודלים חזקים בחינם ללא הגבלה...@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
כרגע אסור להעלות כאן בפורום מודלי AI או קישורים אליהם וכלים להרצת AI אופליין בשל "פריצת סינונים",
מה זה אומר פריצת סינונים ? לא הבנתי מה אתה מתכוון פריצת סינונים
אם זה יפיק תוכן לא ראוי
או שיוכלו דרך זה יוכלו לפרוץ סינון [של נטפרי לדוגמה] אז אם זה לא יהיה AI לתיכנות הם כן יאשרו את זה ? -
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
כרגע אסור להעלות כאן בפורום מודלי AI או קישורים אליהם וכלים להרצת AI אופליין בשל "פריצת סינונים",
מה זה אומר פריצת סינונים ? לא הבנתי מה אתה מתכוון פריצת סינונים
אם זה יפיק תוכן לא ראוי
או שיוכלו דרך זה יוכלו לפרוץ סינון [של נטפרי לדוגמה] אז אם זה לא יהיה AI לתיכנות הם כן יאשרו את זה ? -
אחרי לא מעט שעות של אימון (Fine-tuning) על בסיס המודל החדש של מעבדות Cohere, מודל ששווה נושא בפני עצמו - Tiny-Aya-3.35B, (ותיקי הפורום בטח זוכרים את aya-expanse-8b שהיה מעולה בעברית) הגעתי לתוצאה הבאה: מודל AI שמבין עברית מצוין, ומסונן מראש ברמת המודל לערכי הציבור החרדי.
מה בעצם עשיתי?
לקחתי מודל שפה חזק וקטן יחסית (3.35B פרמטרים) ואימנתי אותו על דאטה-סט שבניתי, המונה יותר מ-520 דוגמאות צ'אט, בתמהיל של 70% דוגמאות שליליות (סירוב) ו-30% דוגמאות חיוביות (בקשות רגילות) כדי לשמר את יכולות המודל (- שלא יענה בסירוב על כל שאלה), וכן דוגמאות של צ'אט רב סיבובי ושפות שונות, ואלו התוצאות:- סינון מובנה: המודל מסרב לבקשות שכוללות תכנים שאינם מתאימים לרוח הקהילה החרדית, באופן מובנה ולא רק כהנחיית מערכת שניתנת לעקיפה.
- שימור יכולות: למרות ה"גיור", המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה.
- עברית איכותית: מבוסס על סדרת Aya, כך שהעברית שלו זורמת הרבה יותר טוב ממודלים אחרים בטווח הגודל שלו.
המודל פורסם תחת רישיון CC-BY-NC-4.0 - שימוש אישי/קהילתי ללא מטרות רווח.
כרגע החיסרון היחיד באימון שביצעתי הוא שהמודל למד לענות על כל שאלה בצורה מתומצתת יחסית, כנראה כי התשובות המסורבות בנתוני האימון קצרות מידי, ואני צריך בגרסה הבאה לשפר את מערך הנתונים כך שהמודל יבין שבתשובות רגילות הוא צריך לספק תשובה מלאה ומפורטת.
המודל הועלה לפלטפורמת אחסון המודלים Hugging Face, אבל כאן הקאץ':
כרגע אסור להעלות כאן בפורום מודלי AI או קישורים אליהם וכלים להרצת AI אופליין בשל "פריצת סינונים", השאלה היא האם ייתכן שנטפרי יאשרו את המודל (ואז מסתבר שגם הפורום)... זכור לי שלא מזמן משתמש מהפורום דיבר איתם לגבי פתיחת מודל יצירת תמונות, והם השיבו שאם המודל עצמו יהיה חסום מהבסיס ליצירת תוכן לא ראוי ייתכן שהם ייפתחו את המודל להורדה.
מכיוון שאני גולש עם סינון אחר שאינו נטפרי, אין לי דרך ליצור איתם קשר בנושא, וכן אינני בקיא באופן קבלת ההחלטות שם, אבקש מהציבור אם מישהו יכול לפנות לנטפרי ולשאול על העניין, או לקבל מהם רשימת דרישות שהמודל ייצטרך לעמוד בהן...
מקווה שהמודל יאושר ואז המשתמשים כאן יוכלו להנות ממודל AI מקומי על המחשבים והמכשירים האישיים, מסונן ומותאם לציבור החרדי...
כמובן אם הקונספט יאושר והעבודה שלי תהיה משתלמת, אני ייצור בעז"ה מודלים נוספים חזקים יותר מסוננים מהבסיס, כך שהציבור החרדי יהנה גם הוא ממודלים חזקים בחינם ללא הגבלה... -
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
לקחתי מודל שפה
רק שפה ? הוא לא יוכל ליצור גם תמונות ווידיאו ?
ואגב יש כבר איזה תשובה מנטפרי ?
אם באמת יאשרו את זה זה מטורף!
@יוסף-הכהן כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
רק שפה ? הוא לא יוכל ליצור גם תמונות ווידיאו ?
"רק"?
ליצור תמונות צריך משאבים חזקים יותר להרצה, ולאימון על אחת כמה וכמה.
ליצור וידיאו אופליין צריך מחשבי על.
כיום אין מודל שיוצר גם טקסט, גם תמונות וגם וידיאו, אז השאלה כלל לא רלוונטית (השמועה טוענת שדיפסיק V4 ייתמוך ביצירה רב-מודאלית).@יוסף-הכהן כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
ואגב יש כבר איזה תשובה מנטפרי ?
עדיין לא, ממתינים לתשובתם. הועבר לטיפול מקצועי רמה 3 (תודה ל-@י.-פל. ו-@css-0!).
כמובן ככל שיירבו הפונים אני מאמין שזה ייתקדם מהר יותר ויותר סיכוי שיאשרו. -
@יוסף-הכהן כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
רק שפה ? הוא לא יוכל ליצור גם תמונות ווידיאו ?
"רק"?
ליצור תמונות צריך משאבים חזקים יותר להרצה, ולאימון על אחת כמה וכמה.
ליצור וידיאו אופליין צריך מחשבי על.
כיום אין מודל שיוצר גם טקסט, גם תמונות וגם וידיאו, אז השאלה כלל לא רלוונטית (השמועה טוענת שדיפסיק V4 ייתמוך ביצירה רב-מודאלית).@יוסף-הכהן כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
ואגב יש כבר איזה תשובה מנטפרי ?
עדיין לא, ממתינים לתשובתם. הועבר לטיפול מקצועי רמה 3 (תודה ל-@י.-פל. ו-@css-0!).
כמובן ככל שיירבו הפונים אני מאמין שזה ייתקדם מהר יותר ויותר סיכוי שיאשרו. -
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אני מאמין שזה ייתקדם מהר יותר
מאמין שלא יעזור: או הם יפתחו - או שלא.
כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אני מאמין שזה ייתקדם מהר יותר
מאמין שלא יעזור: או הם יפתחו - או שלא.
זה לא סותר... אם יש כדור מאחורי דלת אחת לא ידועה מתוך 10 דלתות. לכל דלת יש 90% שהכדור לא מאחוריה.
ועדיין יהיה נכון להגיד שאו שהכדור מאחוריה או שלא.
אבל זה לא יהיה 50%... -
כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אני מאמין שזה ייתקדם מהר יותר
מאמין שלא יעזור: או הם יפתחו - או שלא.
זה לא סותר... אם יש כדור מאחורי דלת אחת לא ידועה מתוך 10 דלתות. לכל דלת יש 90% שהכדור לא מאחוריה.
ועדיין יהיה נכון להגיד שאו שהכדור מאחוריה או שלא.
אבל זה לא יהיה 50%...@נוחעם-FM כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אבל זה לא יהיה 50%...
טעות קלאסית בהבנת סטטיסטיקה.
לכל דלת יש 50% שזה מאחוריה: או שכן או שלא. הימצאותן של דלתות אחרות באיזור, אינה מפחיתה את כמות האחוזים לכל דלת.
רק בהסתכלות סטטיסטית יש לכל דל 10% בלבד. -
@נוחעם-FM כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אבל זה לא יהיה 50%...
טעות קלאסית בהבנת סטטיסטיקה.
לכל דלת יש 50% שזה מאחוריה: או שכן או שלא. הימצאותן של דלתות אחרות באיזור, אינה מפחיתה את כמות האחוזים לכל דלת.
רק בהסתכלות סטטיסטית יש לכל דל 10% בלבד. -
אחרי לא מעט שעות של אימון (Fine-tuning) על בסיס המודל החדש של מעבדות Cohere, מודל ששווה נושא בפני עצמו - Tiny-Aya-3.35B, (ותיקי הפורום בטח זוכרים את aya-expanse-8b שהיה מעולה בעברית) הגעתי לתוצאה הבאה: מודל AI שמבין עברית מצוין, ומסונן מראש ברמת המודל לערכי הציבור החרדי.
מה בעצם עשיתי?
לקחתי מודל שפה חזק וקטן יחסית (3.35B פרמטרים) ואימנתי אותו על דאטה-סט שבניתי, המונה יותר מ-520 דוגמאות צ'אט, בתמהיל של 70% דוגמאות שליליות (סירוב) ו-30% דוגמאות חיוביות (בקשות רגילות) כדי לשמר את יכולות המודל (- שלא יענה בסירוב על כל שאלה), וכן דוגמאות של צ'אט רב סיבובי ושפות שונות, ואלו התוצאות:- סינון מובנה: המודל מסרב לבקשות שכוללות תכנים שאינם מתאימים לרוח הקהילה החרדית, באופן מובנה ולא רק כהנחיית מערכת שניתנת לעקיפה.
- שימור יכולות: למרות ה"גיור", המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה.
- עברית איכותית: מבוסס על סדרת Aya, כך שהעברית שלו זורמת הרבה יותר טוב ממודלים אחרים בטווח הגודל שלו.
המודל פורסם תחת רישיון CC-BY-NC-4.0 - שימוש אישי/קהילתי ללא מטרות רווח.
כרגע החיסרון היחיד באימון שביצעתי הוא שהמודל למד לענות על כל שאלה בצורה מתומצתת יחסית, כנראה כי התשובות המסורבות בנתוני האימון קצרות מידי, ואני צריך בגרסה הבאה לשפר את מערך הנתונים כך שהמודל יבין שבתשובות רגילות הוא צריך לספק תשובה מלאה ומפורטת.
המודל הועלה לפלטפורמת אחסון המודלים Hugging Face, אבל כאן הקאץ':
כרגע אסור להעלות כאן בפורום מודלי AI או קישורים אליהם וכלים להרצת AI אופליין בשל "פריצת סינונים", השאלה היא האם ייתכן שנטפרי יאשרו את המודל (ואז מסתבר שגם הפורום)... זכור לי שלא מזמן משתמש מהפורום דיבר איתם לגבי פתיחת מודל יצירת תמונות, והם השיבו שאם המודל עצמו יהיה חסום מהבסיס ליצירת תוכן לא ראוי ייתכן שהם ייפתחו את המודל להורדה.
מכיוון שאני גולש עם סינון אחר שאינו נטפרי, אין לי דרך ליצור איתם קשר בנושא, וכן אינני בקיא באופן קבלת ההחלטות שם, אבקש מהציבור אם מישהו יכול לפנות לנטפרי ולשאול על העניין, או לקבל מהם רשימת דרישות שהמודל ייצטרך לעמוד בהן...
מקווה שהמודל יאושר ואז המשתמשים כאן יוכלו להנות ממודל AI מקומי על המחשבים והמכשירים האישיים, מסונן ומותאם לציבור החרדי...
כמובן אם הקונספט יאושר והעבודה שלי תהיה משתלמת, אני ייצור בעז"ה מודלים נוספים חזקים יותר מסוננים מהבסיס, כך שהציבור החרדי יהנה גם הוא ממודלים חזקים בחינם ללא הגבלה... -
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה
איך זה מסתדר עם הנתון של 3.35B?
@aiib כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
איך זה מסתדר עם הנתון של 3.35B?
כבר עניתי פה: https://mitmachim.top/post/1113992
-
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה
איך זה מסתדר עם הנתון של 3.35B?
@aiib ובכללי זה אפשרי, מודל קטן הייתרון שלו הוא שהוא משתמש במידע ייעודי ואיכותי יותר מהמודל הגדול,
הייתרון שיש למודל גדול הוא שהוא מקבל ידע עצום בכל דבר כמעט, ולכן הוא דורש הרבה פרמטרים, וכמובן שמודל גדול אחרי הכל יש ייתרון שהוא פשוט עם הרבה יותר פרמטרים יכול לקבל הרבה יותר חישובים מורכבים.