שיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...
-
פניתי לנטפרי לצורך פתיחת מודל אחר והם פתחו אותו מצורף קישור למודל LLM הפתוח בנטפרי
[Qwen2.5-Coder-3B-Instruct-GGUF]
(https://huggingface.co/Qwen/Qwen2.5-Coder-3B-Instruct-GGUF/tree/main)זה מאוד פשוט הפניה אליהם שולחים להם קישור עם הדף ממנו מורידים והם בודקים אותו
אם מישהו יבנה מאגר מידע על מודלים פתוחים בנטפרי זה יכול להועיל מאוד@ישראל123 כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
פניתי לנטפרי לצורך פתיחת מודל אחר והם פתחו אותו מצורף קישור למודל LLM הפתוח בנטפרי
[Qwen2.5-Coder-3B-Instruct-GGUF]
(https://huggingface.co/Qwen/Qwen2.5-Coder-3B-Instruct-GGUF/tree/main)זה מאוד פשוט הפניה אליהם שולחים להם קישור עם הדף ממנו מורידים והם בודקים אותו
-
@ישראל123 כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
פניתי לנטפרי לצורך פתיחת מודל אחר והם פתחו אותו מצורף קישור למודל LLM הפתוח בנטפרי
[Qwen2.5-Coder-3B-Instruct-GGUF]
(https://huggingface.co/Qwen/Qwen2.5-Coder-3B-Instruct-GGUF/tree/main)זה מאוד פשוט הפניה אליהם שולחים להם קישור עם הדף ממנו מורידים והם בודקים אותו
-
@דוד-משה-1 אז?
-
@ישראל123 כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
פניתי לנטפרי לצורך פתיחת מודל אחר והם פתחו אותו מצורף קישור למודל LLM הפתוח בנטפרי
[Qwen2.5-Coder-3B-Instruct-GGUF]
(https://huggingface.co/Qwen/Qwen2.5-Coder-3B-Instruct-GGUF/tree/main)זה מאוד פשוט הפניה אליהם שולחים להם קישור עם הדף ממנו מורידים והם בודקים אותו
-
@עידו300 כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
איך הוא מתאים לנטפרי?
פשוט זה מודל קוד ולא שפה כך שיש פחות דברים שיכולים להיות גרועים
-
@הישבשר-המלומד כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
לא נכון. זה מודל שפה שהוא יותר טוב לקידוד
אוקי טוב לדעת
פשוט מישהו אמר את זה למעלה אז לכן חשבתי שפתחו אותו -
@הישבשר-המלומד כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
לא נכון. זה מודל שפה שהוא יותר טוב לקידוד
אוקי טוב לדעת
פשוט מישהו אמר את זה למעלה אז לכן חשבתי שפתחו אותו -
@jc324118983 כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אני לא מומחה גדול אבל זה נראה לי ממש קצת הרי כל אחד שיש לו מחשב טוב (אפילו לא צריך חזק) פשוט יגיע ויאמן אותו בחזרה שהוא כן יענה
מציע לך ללמוד קצת על אימון מודלים.
בשביל אימון כזה נדרשים מחשבי על, עם GPU חזק עם לפחות 16 VRAM. אין כזה מחשב לאף אחד בפורום להבנתי, ומי שיש לו גישה לכזה כוח חישוב (בגוגל קולאב) יש לו גם גישה לכל המודלים הקיימים והוא לא צריך לפרוץ את המודל שלי.
וזה מעבר לשעות על גבי שעות של הכנת הנתונים, שאם לי זה לקח כמה ימים, אז בשביל לפרוץ את המודל זה ייקח כמה שבועות לפחות...@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
בשביל אימון כזה נדרשים מחשבי על, עם GPU חזק עם לפחות 16 VRAM.
לא מבין למה צריך 16 אם תצליח ליצור מודל של 2 ג"ב אז לכאורא 4 אמור להספיק -
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
המונה יותר מ-520 דוגמאות צ'אט,
אני לא מומחה גדול אבל זה נראה לי ממש קצת הרי כל אחד שיש לו מחשב טוב (אפילו לא צריך חזק) פשוט יגיע ויאמן אותו בחזרה שהוא כן יענה
@jc324118983 כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
אני לא מומחה גדול
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
מציע לך ללמוד קצת על אימון מודלים.
(ספויילר: אתה שוב מתבלבל בין הרצה לאימון)
-
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
בשביל אימון כזה נדרשים מחשבי על, עם GPU חזק עם לפחות 16 VRAM.
לא מבין למה צריך 16 אם תצליח ליצור מודל של 2 ג"ב אז לכאורא 4 אמור להספיק@jc324118983 הגודל של המודל לא קשור לצריכת חומרה שלו.
@בנימין-מחשבים הוא דיבר על אימון. תסתכל על מה הוא הגיב
-
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
בשביל אימון כזה נדרשים מחשבי על, עם GPU חזק עם לפחות 16 VRAM.
לא מבין למה צריך 16 אם תצליח ליצור מודל של 2 ג"ב אז לכאורא 4 אמור להספיק@jc324118983 כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
לא מבין למה צריך 16 אם תצליח ליצור מודל של 2 ג"ב אז לכאורא 4 אמור להספיק
אם הייתי משתמש בפחות ג'יגה אחת ממה שהשתמשתי - 16, האימון היה קורס.
אגב מדבר על VRAM, לא RAM... כן? יש פה אולי משתמש או שניים עם חומרה כזאת... -
@jc324118983 כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
לא מבין למה צריך 16 אם תצליח ליצור מודל של 2 ג"ב אז לכאורא 4 אמור להספיק
אם הייתי משתמש בפחות ג'יגה אחת ממה שהשתמשתי - 16, האימון היה קורס.
אגב מדבר על VRAM, לא RAM... כן? יש פה אולי משתמש או שניים עם חומרה כזאת... -
@א.מ.ד. לך יש כזה דבר?
כי זה עולה הרבה..
יותר מפי 3 מהבדיקה האחרונה.
עריכה: נכון.
אמרת כך בתחילת הפוסט.
לא נראה לי יש את זה אפילו לא למשתמש אחד.@המלאך כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
@א.מ.ד. לך יש כזה דבר?
כי זה עולה הרבה..לא, אני משתמש ב-GPU מרוחק של גוגל קולאב (שחסום בנטפרי), דרך כמה חשבונות שעובדים במקביל על אותה תיקיית דרייב כך שאני מרוויח כמה שעות חינם ביום.
@המלאך כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
כי זה עולה הרבה..
כמה אלפי דולרים בד"כ.
-
לי יש 8 של NVIDIA Quadro RTX 4000 במשומשים לא כזה יקר
-
לי יש 8 של NVIDIA Quadro RTX 4000 במשומשים לא כזה יקר
@אהרון-שלום יש הבדל בין כרטיס מסך לבין VRAM.
בעוד כרטיס מסך יחסית יש להרבה אנשים (ובניהם אני) VRAM אין לאף אחד (לדעתי, אולי אחד..). -
@א.מ.ד. כתב בשיתוף | מודל ה-AI החרדי הראשון! וגם בקשת עזרה...:
בשביל אימון כזה נדרשים מחשבי על, עם GPU חזק עם לפחות 16 VRAM.
לא מבין למה צריך 16 אם תצליח ליצור מודל של 2 ג"ב אז לכאורא 4 אמור להספיק@jc324118983 בכל אופן כמו שכתבתי למעלה עיקר העבודה זה לא האימון עצמו אלא הכנת הנתונים והתאמתם. לעשות את זה בהנדסה הפוכה כדי לפרוץ זה קשה פי מאה.
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}