שיתוף | מה חדש בבינה מלאכותית - נספח עדכוני פיצ'רים ודיונים 💬
-
כוונתך לtrl..
אבל למה אתה צריך אותה בכלל?
Transformers המקורית כוללת כבר את ה-Trainer..
ובbitsandbytes השתמשת גם בכימות?TRL בעיקר נותנת את SFTTrainer ועוד כלים שמקלים על fin tuning של מודלי שפה. אם עובדים רק על SFT, אפשר להסתדר גם עם ה Trainer הרגיל של Transformers לגבי bitsandbytes – היא משמשת גם לכימות , אבל השתמשתי כדי לחסוך (ה AI המליץ לי על זה.) . זה תלוי באופן שבו מריצים את האימון.
-
@CSS-0 מה פתאום?
מאיפה הוצאת את זה?
עכשיו חיפשתי באינטרנט ואכן,
ביטסנדבייטס ממש לא יכול לשמש לכימות עצמו. אם משתמשים בקיו לורה, צריך להחזיר לכימות רגיל של 16 ביט..
לגבי SFTTrainer, זה נטו עטיפה לטריינר המקורי.מה פתאום?
מאיפה הוצאת את זה?
עכשיו חיפשתי באינטרנט ואכן,
ביטסנדבייטס ממש לא יכול לשמש לכימות עצמו. אם משתמשים בקיו לורה, צריך להחזיר לכימות רגיל של 16 ביט..
לגבי SFTTrainer, זה נטו עטיפה לטריינר המקורי.SFTTrainer בנוי מעל Trainer, אבל זה נותן יותר נוחות לעבדוה עם SFT, במיוחד סביב preprocessing, formatting של הדאטה ואינטגרציה עם PEFT. לכן השתמשתי בו במקום לכתוב את כל ה מעטפת בעצמי. לגבי bitsandbytes, אם התכוונת למודל הסופי אחרי merge אז אני מסכים שלא נשארים עם מודל 4bit. אבל בזמן אימון QLoRA בדרך כלל משתמשים בה כדי לטעון את המודל הבסיסי ב־4bit וכך לחסוך זיכרון GPU. (לא שחסר אבל בעמצש"נ חוסכים כמה שיותר...
https://iosii123212-hub.github.io/ani/
-
מה פתאום?
מאיפה הוצאת את זה?
עכשיו חיפשתי באינטרנט ואכן,
ביטסנדבייטס ממש לא יכול לשמש לכימות עצמו. אם משתמשים בקיו לורה, צריך להחזיר לכימות רגיל של 16 ביט..
לגבי SFTTrainer, זה נטו עטיפה לטריינר המקורי.SFTTrainer בנוי מעל Trainer, אבל זה נותן יותר נוחות לעבדוה עם SFT, במיוחד סביב preprocessing, formatting של הדאטה ואינטגרציה עם PEFT. לכן השתמשתי בו במקום לכתוב את כל ה מעטפת בעצמי. לגבי bitsandbytes, אם התכוונת למודל הסופי אחרי merge אז אני מסכים שלא נשארים עם מודל 4bit. אבל בזמן אימון QLoRA בדרך כלל משתמשים בה כדי לטעון את המודל הבסיסי ב־4bit וכך לחסוך זיכרון GPU. (לא שחסר אבל בעמצש"נ חוסכים כמה שיותר...
-
טוב אני אלך אליו -https://chatgpt.com/ ,
בלי תיווך..אתה בכח מנסה לסתור אותי?
-
-
@CSS-0 לא חיפשתי. יותר מעניין אותי כרגע השרת הזה והיתכנותו... לפי הבנתי זה אמור להרעיש מאוד... אולי בגלל זה אתה ער עכשיו?
לא חיפשתי. יותר מעניין אותי כרגע השרת הזה והיתכנותו... לפי הבנתי זה אמור להרעיש מאוד... אולי בגלל זה אתה ער עכשיו?
לכן אמרתי למלאך שאני לא יכול לתת לו צילו"מ כי אני לא יכול להפעיל אותו.
עזוב את זה שגם אין לי מאווררים טובים עבורו אז הוא עושה רעש פי שמונה ממה שאתה מדמין... -
-
@CSS-0 קשה מאוד להריץ את השבב הזה בבית. מדובר בכרטיס בקירור פסיבי - בלי מאווררים. הוא בנוי לעבוד בתוך שרת ייעודי בחוות שרתים עם מערכת דחיפת אוויר בעוצמה של מנוע של מטוס. אם תשים אותו במחשב ביתי רגיל, הוא פשוט יתחמם ויכבה תוך 2 דקות...
-
@CSS-0 קשה מאוד להריץ את השבב הזה בבית. מדובר בכרטיס בקירור פסיבי - בלי מאווררים. הוא בנוי לעבוד בתוך שרת ייעודי בחוות שרתים עם מערכת דחיפת אוויר בעוצמה של מנוע של מטוס. אם תשים אותו במחשב ביתי רגיל, הוא פשוט יתחמם ויכבה תוך 2 דקות...
לכן אני לא מריץ דברים כבדים + יש לפעמים 6 מאווררי 140mm איכותיים עליו, (לפעמים פשוט זה גדול... אז להביא את זה מהעבודה..) ויש שקע עם עוצמת וואט מתאימה במשרד של אבא שלי בבית שלנו (העבודה התקינה לו) ואם תשאל אותי שוב מה העבודה או ליתר דיוק מה הוא עושה בזה אין לי מושג...
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}