שיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...
-
מישהו רוצה לקחת אחריות על הקמת מאגר של מודלים פתוחים בנטפרי שיכלול קישורים להורדה והורדה\העלאת מודלים ישירה?
-
@הישבשר-המלומד אין לי נטפרי.
אין לי טיפת מושג אלו מודלים פתוחים ואלו לא.
וזה גם לא כזה דחוף לי.
הוא מציע הרעיון - מסתמא זה דחוף לו.
לשאר הסינונים האגינג פייס לא פתוח? -
פתחתי נושא חדש
מאגר
https://mitmachim.top/topic/95017/להורדה-מאגר-מודלי-llm-הפתוחים-להורדה-בנטפרי -
אחרי לא מעט שעות של אימון (Fine-tuning) על בסיס המודל החדש של מעבדות Cohere, מודל ששווה נושא בפני עצמו - Tiny-Aya-3.35B, (ותיקי הפורום בטח זוכרים את aya-expanse-8b שהיה מעולה בעברית) הגעתי לתוצאה הבאה: מודל AI שמבין עברית מצוין, ומסונן מראש ברמת המודל לערכי הציבור החרדי.
מה בעצם עשיתי?
לקחתי מודל שפה חזק וקטן יחסית (3.35B פרמטרים) ואימנתי אותו על דאטה-סט שבניתי, המונה יותר מ-520 דוגמאות צ'אט, בתמהיל של 70% דוגמאות שליליות (סירוב) ו-30% דוגמאות חיוביות (בקשות רגילות) כדי לשמר את יכולות המודל (- שלא יענה בסירוב על כל שאלה), וכן דוגמאות של צ'אט רב סיבובי ושפות שונות, ואלו התוצאות:- סינון מובנה: המודל מסרב לבקשות שכוללות תכנים שאינם מתאימים לרוח הקהילה החרדית, באופן מובנה ולא רק כהנחיית מערכת שניתנת לעקיפה.
- שימור יכולות: למרות ה"גיור", המודל עדיין חזק מאוד בכתיבת קוד, ידע כללי ועזרה בכתיבה.
- עברית איכותית: מבוסס על סדרת Aya, כך שהעברית שלו זורמת הרבה יותר טוב ממודלים אחרים בטווח הגודל שלו.
המודל פורסם תחת רישיון CC-BY-NC-4.0 - שימוש אישי/קהילתי ללא מטרות רווח.
כרגע החיסרון היחיד באימון שביצעתי הוא שהמודל למד לענות על כל שאלה בצורה מתומצתת יחסית, כנראה כי התשובות המסורבות בנתוני האימון קצרות מידי, ואני צריך בגרסה הבאה לשפר את מערך הנתונים כך שהמודל יבין שבתשובות רגילות הוא צריך לספק תשובה מלאה ומפורטת.
המודל הועלה לפלטפורמת אחסון המודלים Hugging Face, אבל כאן הקאץ':
כרגע אסור להעלות כאן בפורום מודלי AI או קישורים אליהם וכלים להרצת AI אופליין בשל "פריצת סינונים", השאלה היא האם ייתכן שנטפרי יאשרו את המודל (ואז מסתבר שגם הפורום)... זכור לי שלא מזמן משתמש מהפורום דיבר איתם לגבי פתיחת מודל יצירת תמונות, והם השיבו שאם המודל עצמו יהיה חסום מהבסיס ליצירת תוכן לא ראוי ייתכן שהם ייפתחו את המודל להורדה.
מכיוון שאני גולש עם סינון אחר שאינו נטפרי, אין לי דרך ליצור איתם קשר בנושא, וכן אינני בקיא באופן קבלת ההחלטות שם, אבקש מהציבור אם מישהו יכול לפנות לנטפרי ולשאול על העניין, או לקבל מהם רשימת דרישות שהמודל ייצטרך לעמוד בהן...
מקווה שהמודל יאושר ואז המשתמשים כאן יוכלו להנות ממודל AI מקומי על המחשבים והמכשירים האישיים, מסונן ומותאם לציבור החרדי...
כמובן אם הקונספט יאושר והעבודה שלי תהיה משתלמת, אני ייצור בעז"ה מודלים נוספים חזקים יותר מסוננים מהבסיס, כך שהציבור החרדי יהנה גם הוא ממודלים חזקים בחינם ללא הגבלה...@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
המונה יותר מ-520 דוגמאות צ'אט,
אני לא מומחה גדול אבל זה נראה לי ממש קצת הרי כל אחד שיש לו מחשב טוב (אפילו לא צריך חזק) פשוט יגיע ויאמן אותו בחזרה שהוא כן יענה
-
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
המונה יותר מ-520 דוגמאות צ'אט,
אני לא מומחה גדול אבל זה נראה לי ממש קצת הרי כל אחד שיש לו מחשב טוב (אפילו לא צריך חזק) פשוט יגיע ויאמן אותו בחזרה שהוא כן יענה
@jc324118983 כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אני לא מומחה גדול אבל זה נראה לי ממש קצת הרי כל אחד שיש לו מחשב טוב (אפילו לא צריך חזק) פשוט יגיע ויאמן אותו בחזרה שהוא כן יענה
מציע לך ללמוד קצת על אימון מודלים.
בשביל אימון כזה נדרשים מחשבי על, עם GPU חזק עם לפחות 16 VRAM. אין כזה מחשב לאף אחד בפורום להבנתי, ומי שיש לו גישה לכזה כוח חישוב (בגוגל קולאב) יש לו גם גישה לכל המודלים הקיימים והוא לא צריך לפרוץ את המודל שלי.
וזה מעבר לשעות על גבי שעות של הכנת הנתונים, שאם לי זה לקח כמה ימים, אז בשביל לפרוץ את המודל זה ייקח כמה שבועות לפחות... -
@jc324118983 כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אני לא מומחה גדול אבל זה נראה לי ממש קצת הרי כל אחד שיש לו מחשב טוב (אפילו לא צריך חזק) פשוט יגיע ויאמן אותו בחזרה שהוא כן יענה
מציע לך ללמוד קצת על אימון מודלים.
בשביל אימון כזה נדרשים מחשבי על, עם GPU חזק עם לפחות 16 VRAM. אין כזה מחשב לאף אחד בפורום להבנתי, ומי שיש לו גישה לכזה כוח חישוב (בגוגל קולאב) יש לו גם גישה לכל המודלים הקיימים והוא לא צריך לפרוץ את המודל שלי.
וזה מעבר לשעות על גבי שעות של הכנת הנתונים, שאם לי זה לקח כמה ימים, אז בשביל לפרוץ את המודל זה ייקח כמה שבועות לפחות... -
@א.מ.ד.
יש חדש מנטפרי?
כיון חיובי? -
@א.מ.ד.
יש חדש מנטפרי?
כיון חיובי?@מענין-לשמוע כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד.
יש חדש מנטפרי?
כיון חיובי?עוד לא.
אני אזכיר להם.מפתח אפליקציות אנדרואיד
em0548438097@gmail.com -
@מענין-לשמוע כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד.
יש חדש מנטפרי?
כיון חיובי?עוד לא.
אני אזכיר להם.@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אני אזכיר להם.
כבר הזכרתי.
פעמיים.
נראה שמשהו מכוון שם, ואני לא מבין למה.גאה להיות חלק:
otzaria.org -
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אני אזכיר להם.
כבר הזכרתי.
פעמיים.
נראה שמשהו מכוון שם, ואני לא מבין למה. -
@י.-פל. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
כבר הזכרתי.
פעמיים.
נראה שמשהו מכוון שם, ואני לא מבין למה.אם הם לא מתכוונים לפתוח אז שיעדכנו, מה העניין להתעלם?
-
@א.מ.ד. אין להם משאבים וכוח אפילו לבדוק אבל בגלל שאתה לקוח שלהם הם לא יגידו לך אז הם פשוט דוחים מתעלמים... אולי פשוט תשאל את צוות פיקוח האם הם מאשרים לעלות כזה מודל בתקווה שכן.
@הישבשר-המלומד פניתי ל-@יוסי-מחשבים
-
@הישבשר-המלומד פניתי ל-@יוסי-מחשבים
@א.מ.ד. נגמר לי הליקים להיום
-
פניתי לנטפרי לצורך פתיחת מודל אחר והם פתחו אותו מצורף קישור למודל LLM הפתוח בנטפרי
[Qwen2.5-Coder-3B-Instruct-GGUF]
(https://huggingface.co/Qwen/Qwen2.5-Coder-3B-Instruct-GGUF/tree/main)זה מאוד פשוט הפניה אליהם שולחים להם קישור עם הדף ממנו מורידים והם בודקים אותו
אם מישהו יבנה מאגר מידע על מודלים פתוחים בנטפרי זה יכול להועיל מאוד@ישראל123 כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
פניתי לנטפרי לצורך פתיחת מודל אחר והם פתחו אותו מצורף קישור למודל LLM הפתוח בנטפרי
[Qwen2.5-Coder-3B-Instruct-GGUF]
(https://huggingface.co/Qwen/Qwen2.5-Coder-3B-Instruct-GGUF/tree/main)זה מאוד פשוט הפניה אליהם שולחים להם קישור עם הדף ממנו מורידים והם בודקים אותו
-
@ישראל123 כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
פניתי לנטפרי לצורך פתיחת מודל אחר והם פתחו אותו מצורף קישור למודל LLM הפתוח בנטפרי
[Qwen2.5-Coder-3B-Instruct-GGUF]
(https://huggingface.co/Qwen/Qwen2.5-Coder-3B-Instruct-GGUF/tree/main)זה מאוד פשוט הפניה אליהם שולחים להם קישור עם הדף ממנו מורידים והם בודקים אותו
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}