שיתוף | מה חדש בבינה מלאכותית - נספח עדכוני פיצ'רים ודיונים 💬
-
לי יש שתי ניסיונות עם כיוונון מודל, פעם אחת מודל רגיל רק בשביל הכיף, ופעם אחת מודל הטמעה,
בראשון הסתדרתי בקלות בקולאב, ובשני עברתי לקאגל והסתבכתי כהוגן, אז נתתי ל @א.מ.ד. האלוף, שאימן בעצמו..לי יש שתי ניסיונות עם כיוונון מודל, פעם אחת מודל רגיל רק בשביל הכיף, ופעם אחת מודל הטמעה,
בראשון הסתדרתי בקלות בקולאב, ובשני עברתי לקאגל והסתבכתי כהוגן, אז נתתי ל @א.מ.ד. האלוף, שאימן בעצמו..למה כווננת אותו?
-
-
-
@CSS-0 מעניין.
חבל, אני מת לראות כזה מפרט מרשים..
למייעשה איזה ספרייות השתמשת?
לי היה בעיה עם פייטורץ׳ בקאגל עם הcuda..למייעשה איזה ספרייות השתמשת?
לי היה בעיה עם פייטורץ׳ בקאגל עם הcuda..השתמשתי ב־Transformers, PEFT, TR, Accelerate ו bitsandbytes. את האימון הרצתי עם PyTorch על CUDA, ובסוף מיזגתי את ה־LoRA למודל.
https://iosii123212-hub.github.io/ani/
-
-
-
@CSS-0 כוונתך לtrl..
אבל למה אתה צריך אותה בכלל?
Transformers המקורית כוללת כבר את ה-Trainer..
ובbitsandbytes השתמשת גם בכימות?כוונתך לtrl..
אבל למה אתה צריך אותה בכלל?
Transformers המקורית כוללת כבר את ה-Trainer..
ובbitsandbytes השתמשת גם בכימות?TRL בעיקר נותנת את SFTTrainer ועוד כלים שמקלים על fin tuning של מודלי שפה. אם עובדים רק על SFT, אפשר להסתדר גם עם ה Trainer הרגיל של Transformers לגבי bitsandbytes – היא משמשת גם לכימות , אבל השתמשתי כדי לחסוך (ה AI המליץ לי על זה.) . זה תלוי באופן שבו מריצים את האימון.
-
אז למה אתה לא מריץ את glm 5 עצמו?
אתה רציני?
יש לך מפרט שמסוגל להריץ את זה..המחשב לא שלי ואני לא יכול לעשות מה ומתי שבא לי, אני משתמש בחלק קטן ממנו לרוב, לפעמים בבינה"ז שאבא שלי לא עובד אז אני מנצל חלקים יותר גדולים ממנו, וגם יש לי נטפרי ואני לא יכול להוריד...
https://iosii123212-hub.github.io/ani/
-
המחשב לא שלי ואני לא יכול לעשות מה ומתי שבא לי, אני משתמש בחלק קטן ממנו לרוב, לפעמים בבינה"ז שאבא שלי לא עובד אז אני מנצל חלקים יותר גדולים ממנו, וגם יש לי נטפרי ואני לא יכול להוריד...
באיזה עבודה לא עובדים בבין הזמנים, שמצריכה להפעיל כזה שרת מטורף בבית?
מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
-
-
כוונתך לtrl..
אבל למה אתה צריך אותה בכלל?
Transformers המקורית כוללת כבר את ה-Trainer..
ובbitsandbytes השתמשת גם בכימות?TRL בעיקר נותנת את SFTTrainer ועוד כלים שמקלים על fin tuning של מודלי שפה. אם עובדים רק על SFT, אפשר להסתדר גם עם ה Trainer הרגיל של Transformers לגבי bitsandbytes – היא משמשת גם לכימות , אבל השתמשתי כדי לחסוך (ה AI המליץ לי על זה.) . זה תלוי באופן שבו מריצים את האימון.
@CSS-0 מה פתאום?
מאיפה הוצאת את זה?
עכשיו חיפשתי באינטרנט ואכן,
ביטסנדבייטס ממש לא יכול לשמש לכימות עצמו. אם משתמשים בקיו לורה, צריך להחזיר לכימות רגיל של 16 ביט..
לגבי SFTTrainer, זה נטו עטיפה לטריינר המקורי. -
@CSS-0 מה פתאום?
מאיפה הוצאת את זה?
עכשיו חיפשתי באינטרנט ואכן,
ביטסנדבייטס ממש לא יכול לשמש לכימות עצמו. אם משתמשים בקיו לורה, צריך להחזיר לכימות רגיל של 16 ביט..
לגבי SFTTrainer, זה נטו עטיפה לטריינר המקורי.מה פתאום?
מאיפה הוצאת את זה?
עכשיו חיפשתי באינטרנט ואכן,
ביטסנדבייטס ממש לא יכול לשמש לכימות עצמו. אם משתמשים בקיו לורה, צריך להחזיר לכימות רגיל של 16 ביט..
לגבי SFTTrainer, זה נטו עטיפה לטריינר המקורי.SFTTrainer בנוי מעל Trainer, אבל זה נותן יותר נוחות לעבדוה עם SFT, במיוחד סביב preprocessing, formatting של הדאטה ואינטגרציה עם PEFT. לכן השתמשתי בו במקום לכתוב את כל ה מעטפת בעצמי. לגבי bitsandbytes, אם התכוונת למודל הסופי אחרי merge אז אני מסכים שלא נשארים עם מודל 4bit. אבל בזמן אימון QLoRA בדרך כלל משתמשים בה כדי לטעון את המודל הבסיסי ב־4bit וכך לחסוך זיכרון GPU. (לא שחסר אבל בעמצש"נ חוסכים כמה שיותר...
https://iosii123212-hub.github.io/ani/
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}