שיתוף | מה חדש בבינה מלאכותית - נספח עדכוני פיצ'רים ודיונים 💬
-
@א.מ.ד. , @כולם, ראיתם את הPoC הזה?
https://github.com/JustVugg/colibri
זה מריץ 744B פרמטרים של GLM 5!אמנם MoE...
כן, ראיתי. אבל גם זה דורש מחשב של 32 RAM, ושטח דיסק עצום של כ-500 GB פנויים, ועדיין זה יהיה איטי מאוד, אבל עדיין מעניין מאוד למי שרוצה קצת לשחק עם המודל הפתוח החזק ביותר כיום.
תכננתי לנסות להתאים את הפרוייקט ל-Qwen 3.5 35B A3B, נראה אם יצא מזה משהו. במידה וכן, זה יתאים לכל מחשב חלש. -
@א.מ.ד. משום מה אני לא מקבל התראות על תיגויים.
בכל מקרה אכן, זה PoC,
אבל העובדה שהצליחו לעשות את זה מרשימה מאוד.לדעתי זה עניין של זמן עד שהמודלים הטובים ביותר יוכלו לרוץ על חומרה מקומית רגילה.
לדעתי זה עניין של זמן עד שהמודלים הטובים ביותר יוכלו לרוץ על חומרה מקומית רגילה.
למעשה זה לא מהירות שמישה, כן? במאגר ההוא כתוב שזו מהירות של 0.05-0.1 טוקנים לשניה. זה אומר בין 10 ל-20 שניות לטוקן! זה נחמד רק לצעצוע.
מה שיותר סביר שיקרה, זה שהמודלים הקטנים יהיו חכמים יותר. מודלי 3-4B של היום עולים על מודלי מאות מיליארדי פרמטרים של לפני 3 שנים...@א.מ.ד. משום מה אני לא מקבל התראות על תיגויים.
לא קשור להגדרות האישיות?
מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
לדעתי זה עניין של זמן עד שהמודלים הטובים ביותר יוכלו לרוץ על חומרה מקומית רגילה.
למעשה זה לא מהירות שמישה, כן? במאגר ההוא כתוב שזו מהירות של 0.05-0.1 טוקנים לשניה. זה אומר בין 10 ל-20 שניות לטוקן! זה נחמד רק לצעצוע.
מה שיותר סביר שיקרה, זה שהמודלים הקטנים יהיו חכמים יותר. מודלי 3-4B של היום עולים על מודלי מאות מיליארדי פרמטרים של לפני 3 שנים...@א.מ.ד. משום מה אני לא מקבל התראות על תיגויים.
לא קשור להגדרות האישיות?
למעשה זה לא מהירות שמישה, כן? במאגר ההוא כתוב שזו מהירות של 0.05-0.1 טוקנים לשניה. זה אומר בין 10 ל-20 שניות לטוקן! זה נחמד רק לצעצוע.
מה שיותר סביר שיקרה, זה שהמודלים הקטנים יהיו חכמים יותר. מודלי 3-4B של היום עולים על מודלי מאות מיליארדי פרמטרים של לפני 3 שנים...וודאי.
אבל אני משער שבעתיד זה יקרה.
אולי אפילו לפני שהמודלים הקטנים יהיו יותר חכמים מהגדולים..לא קשור להגדרות האישיות?
כמו שאתה רואה מסומן לי שכן... -
לקלוד יש עכשיו דפדפן פנימי
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}