בקשת מידע | אימון מודל שפה
-
@אדיר אתה מתכוון לבנות מודל כפשוטו? ליצור Foundation model? חבל על זמנך אין לך את המשאבים לזה גם אם תמשכן את כל הרחוב שלך, אם אפל לא מצליחה ליצור מודלי בסיס טובים מספיק...
או שאתה מתכוון לfine tuning? תפרט יותר מה המטרה הסופית שלך, יש מצב שאתה לא בכיוון הנכון בכלל.
@צדיק-תמים כתב בבקשת מידע | אימון מודל שפה:
@אדיר אתה מתכוון לבנות מודל כפשוטו? ליצור Foundation model? חבל על זמנך אין לך את המשאבים לזה גם אם תמשכן את כל הרחוב שלך, אם אפל לא מצליחה ליצור מודלי בסיס טובים מספיק...
או שאתה מתכוון לfine tuning? תפרט יותר מה המטרה הסופית שלך, יש מצב שאתה לא בכיוון הנכון בכלל.
זה עוד אחד שרוצה לקפוץ מאפס לאלף עם אפס ידע בתחום, ועוד להספיק לישון בלילה
@אדיר במחילה מכבודך, דבר אחד חשוב להבין - לאמן מודל שפה (גם כוונון עדין) זה לא הוקוס פוקוס - זה דבר מורכב, בודאי שלא ניתן לעשות זאת על מחשב ביתי, ותתכונן להוציא על זה כמה מאות שקלים לכל הפחות (בהנחה שאתה מאמן מודל זעיר)
אני מניח שאתה לא באמת מתכוון לעשות את זה - כך שמדובר על תרחיש היפותטי
לבלוג שלי (מתעדכן!)
https://blog.ze-kal.top -
@צדיק-תמים כתב בבקשת מידע | אימון מודל שפה:
@אדיר אתה מתכוון לבנות מודל כפשוטו? ליצור Foundation model? חבל על זמנך אין לך את המשאבים לזה גם אם תמשכן את כל הרחוב שלך, אם אפל לא מצליחה ליצור מודלי בסיס טובים מספיק...
או שאתה מתכוון לfine tuning? תפרט יותר מה המטרה הסופית שלך, יש מצב שאתה לא בכיוון הנכון בכלל.
זה עוד אחד שרוצה לקפוץ מאפס לאלף עם אפס ידע בתחום, ועוד להספיק לישון בלילה
@אדיר במחילה מכבודך, דבר אחד חשוב להבין - לאמן מודל שפה (גם כוונון עדין) זה לא הוקוס פוקוס - זה דבר מורכב, בודאי שלא ניתן לעשות זאת על מחשב ביתי, ותתכונן להוציא על זה כמה מאות שקלים לכל הפחות (בהנחה שאתה מאמן מודל זעיר)
אני מניח שאתה לא באמת מתכוון לעשות את זה - כך שמדובר על תרחיש היפותטי
@NH.LOCAL כתב בבקשת מידע | אימון מודל שפה:
@צדיק-תמים כתב בבקשת מידע | אימון מודל שפה:
@אדיר אתה מתכוון לבנות מודל כפשוטו? ליצור Foundation model? חבל על זמנך אין לך את המשאבים לזה גם אם תמשכן את כל הרחוב שלך, אם אפל לא מצליחה ליצור מודלי בסיס טובים מספיק...
או שאתה מתכוון לfine tuning? תפרט יותר מה המטרה הסופית שלך, יש מצב שאתה לא בכיוון הנכון בכלל.
זה עוד אחד שרוצה לקפוץ מאפס לאלף עם אפס ידע בתחום, ועוד להספיק לישון בלילה
@אדיר במחילה מכבודך, דבר אחד חשוב להבין - לאמן מודל שפה (גם כוונון עדין) זה לא הוקוס פוקוס - זה דבר מורכב, בודאי שלא ניתן לעשות זאת על מחשב ביתי, ותתכונן להוציא על זה כמה מאות שקלים לכל הפחות (בהנחה שאתה מאמן מודל זעיר)
אני מניח שאתה לא באמת מתכוון לעשות את זה - כך שמדובר על תרחיש היפותטי
יש ברדיט אחד שמריץ פרוייקט של 50 יום לבניית מודל שפה מאפס, וכל יום הוא כותב מדריך והסבר על מה שעשה היום.
הנה הסיכום האחרון: יום 12/50: בניית מודל שפה קטן מאפס - יישום מנגנון קשב פשוט בפייתון
אבל כמש"כ @NH.LOCAL , זה יעלה מאות אם לא אלפי שקלים - תצטרך לבנות מחשב עם מעבדי על כמו RTX (תלוי בגודל המודל).
@אדיר - עדיף לך לבצע כוונון עדין על מודל קיים כמו GEMMA 3 או DICTA 2.0 שמעולים בעברית. יש ב-huggingface אפשרות חינמית לבצע כוונון עדין על CPU עם 16 RAM, או לשלם סכום מסויים לחודש ולשכור GPU או TPU ייעודיים לאימון.
בהצלחה! -
@NH.LOCAL כתב בבקשת מידע | אימון מודל שפה:
@צדיק-תמים כתב בבקשת מידע | אימון מודל שפה:
@אדיר אתה מתכוון לבנות מודל כפשוטו? ליצור Foundation model? חבל על זמנך אין לך את המשאבים לזה גם אם תמשכן את כל הרחוב שלך, אם אפל לא מצליחה ליצור מודלי בסיס טובים מספיק...
או שאתה מתכוון לfine tuning? תפרט יותר מה המטרה הסופית שלך, יש מצב שאתה לא בכיוון הנכון בכלל.
זה עוד אחד שרוצה לקפוץ מאפס לאלף עם אפס ידע בתחום, ועוד להספיק לישון בלילה
@אדיר במחילה מכבודך, דבר אחד חשוב להבין - לאמן מודל שפה (גם כוונון עדין) זה לא הוקוס פוקוס - זה דבר מורכב, בודאי שלא ניתן לעשות זאת על מחשב ביתי, ותתכונן להוציא על זה כמה מאות שקלים לכל הפחות (בהנחה שאתה מאמן מודל זעיר)
אני מניח שאתה לא באמת מתכוון לעשות את זה - כך שמדובר על תרחיש היפותטי
יש ברדיט אחד שמריץ פרוייקט של 50 יום לבניית מודל שפה מאפס, וכל יום הוא כותב מדריך והסבר על מה שעשה היום.
הנה הסיכום האחרון: יום 12/50: בניית מודל שפה קטן מאפס - יישום מנגנון קשב פשוט בפייתון
אבל כמש"כ @NH.LOCAL , זה יעלה מאות אם לא אלפי שקלים - תצטרך לבנות מחשב עם מעבדי על כמו RTX (תלוי בגודל המודל).
@אדיר - עדיף לך לבצע כוונון עדין על מודל קיים כמו GEMMA 3 או DICTA 2.0 שמעולים בעברית. יש ב-huggingface אפשרות חינמית לבצע כוונון עדין על CPU עם 16 RAM, או לשלם סכום מסויים לחודש ולשכור GPU או TPU ייעודיים לאימון.
בהצלחה! -
@אדיר כתב בבקשת מידע | אימון מודל שפה:
בקיצור, אתם אומרים שאין דרך לעבוד על דאטה בייס גדול, בלי לקחת משכנתא.
לא, אנחנו אומרים שיש לך הנחות מוקדמות מוטעות על הדרך הנכונה לעשות את זה (היא כנראה גם לא כוונון מודל)
מציע לך לפתוח נושא חדש ולפרט מה אתה מנסה לעשות, כלומר מה המטרה הסופית, ולא "איך לאמן מודל על אוצריא" -
-
-
@א.מ.ד. התנסיתי בו קצת והוא הרגיש לא אפוי בעליל.
הרב דיקטה מציג תוצאות נחמדות, אבל יש צורך בשיפור משמעותי.
בעיקר צריך עוד דאטה בייס איכותי. -
@א.מ.ד. התנסיתי בו קצת והוא הרגיש לא אפוי בעליל.
הרב דיקטה מציג תוצאות נחמדות, אבל יש צורך בשיפור משמעותי.
בעיקר צריך עוד דאטה בייס איכותי. -
@אדיר כתב בבקשת מידע | אימון מודל שפה:
בקיצור, אתם אומרים שאין דרך לעבוד על דאטה בייס גדול, בלי לקחת משכנתא.
לא, אנחנו אומרים שיש לך הנחות מוקדמות מוטעות על הדרך הנכונה לעשות את זה (היא כנראה גם לא כוונון מודל)
מציע לך לפתוח נושא חדש ולפרט מה אתה מנסה לעשות, כלומר מה המטרה הסופית, ולא "איך לאמן מודל על אוצריא"@צדיק-תמים כתב בבקשת מידע | אימון מודל שפה:
לא, אנחנו אומרים שיש לך הנחות מוקדמות מוטעות על הדרך הנכונה לעשות את זה (היא כנראה גם לא כוונון מודל)
לכאורה מה שהוא רוצה זה לאמן את המודל להיות ת"ח... או יותר נכון לדעת לענות תשובות נכונות לפי מאגר הנתונים.
דבר כזה קיים היום, יש כל מיני חברות שזה עיקר העיסוק שלהם להטמיע AI במאגרי החברה כדי להפיק מהם נתונים ולשפר.
אבל גם זה כמה שזה לא עסק גדול ברמה של עשרות מיליונים עדיין זה עסק לכל דבר וקשה להאמין שמישהו כאן מהפורום יוכל לעשות את זה בעצמו...
אבל ברור שלאט לאט זה המקום שAI הולך. -
אשמח למדריכים בנושא.
ניסיתי לקחת את אוצריא:
א. להריץ כמה מודלי שפה לוקאלי, והאינדקס לא נוצר.
האם יש הגבלה על כמות הדאטה?ב. לבנות באמצעות גוגל קולאב מודל שפה, אבל באיזה שלב צצו באגים שGPT לא יודע לפתור.
@אדיר זה פתטי לחשוב שתוכל לאמן מודל שפה. לעולם לא תוכל להדביק את הקצב של המודלים הנוכחיים, שמאומנים בעלות של מיליארדים.
גם דיקטה הפסיקו לבזבז זמן וכסף על אימון מודלי שפה (הם כן מאמנים מודלים למשימות פשוטות יותר), הם פשוט משתמשים בקלוד.לעניינינו, אין צורך לאמן מודל, המודלים הנוכחיים ובפרט קלוד sonnet-3-7 יודעים יותר ידע תורני ממה שאתה הספקת לשכוח. הבעיה היא אחרת, הטשטוש בין דמיון למציאות.
הפתרון גם הוא יחסית פשוט, לחבר את המודל שפה למאגר תורני, באותו עיקרון שהיום ChatGPT מחובר לחיפוש גוגל.[אגב, הנושא לא נזנח, אני עובד כיום על פרוייקט מסויים בנושא הזה ממש.]
אבל זה באמת פשוט ונגיש יחסית, ואין שום סיבה לחשוב שזה מדי מסובך. איתוריא זו הדגמה נחמדה, אבל זה לא סוכן. בשימוש עם סוכן, התוצאות משתפרות פלאים, ואפשר גם להמשיך בצ'אט ולכוון אותו הלאה אם צריך.
אם רוצים להתנסות כמה מוצלח זה יכול להיות, אפשר לנסות להתקין את הMCP הזה בתוך עורך הקוד שלכם, לדוגמה cursor או cline ופשוט לשוחח עם צ'אט שמחובר למאגר תורני.
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}