מדריך | כמה דברים שלא אפשריים עם מודלים מקומיים!!!
-
@חובבן-מקצועי במה זה מתבטא ? בא נאמר אם יש לי קלוד חינמי ואני רוצה לעשות תוסף לאוצריא בלי שיגמר לי הטוקנים כל 2-3 תשובות מודל מקומי ידע לעשות את אותה עבודה באותה איכות ?
@חובבן-מקצועי במה זה מתבטא ? בא נאמר אם יש לי קלוד חינמי ואני רוצה לעשות תוסף לאוצריא בלי שיגמר לי הטוקנים כל 2-3 תשובות מודל מקומי ידע לעשות את אותה עבודה באותה איכות ?
אתה בהחלט יכול לתכנת עם QWEN 3.5 4B באיכות של GPT 4o, ואפילו יותר גבוהה, אבל לא יהיה לו את הידע הרחב על כל הספריות הרלוונטיות. אבל אם תחבר לו מנועי חיפוש חיצוניים וכדומה, זה ייפצה מאוד על הפער בידע.
אגב @חובבן-מקצועי , אני לא כ"כ אופטימי לגבי עתיד המודלים הקטנים, כי כרגע נראה שהם די נזנחו ע"י המעבדות הגדולות. חקרתי את זה לעומק ביום שישי, אולי אני ירחיב על זה בנושא חדש. ובלי קשר, יש גבול לפריצות הדרך במודלים קטנים, כל עוד נשארים עם הארכיטקטורה הנוכחית.
בנוסף, בעבר, אם היה לך את llama 2 7B, הרגשת שאתה חווה חלק משמעותי מתוך GPT 4 על המחשב שלך מקומית. היום, המודל הכי טוב שתוכל להריץ במחשב שלך, לכאורה QWEN 3.5 4B, אולי הוא חזק בהיגיון, אבל לא ממש מסוגל לתפקד כסוכן ולהשתמש בכלים וכו'...מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
@חובבן-מקצועי במה זה מתבטא ? בא נאמר אם יש לי קלוד חינמי ואני רוצה לעשות תוסף לאוצריא בלי שיגמר לי הטוקנים כל 2-3 תשובות מודל מקומי ידע לעשות את אותה עבודה באותה איכות ?
אתה בהחלט יכול לתכנת עם QWEN 3.5 4B באיכות של GPT 4o, ואפילו יותר גבוהה, אבל לא יהיה לו את הידע הרחב על כל הספריות הרלוונטיות. אבל אם תחבר לו מנועי חיפוש חיצוניים וכדומה, זה ייפצה מאוד על הפער בידע.
אגב @חובבן-מקצועי , אני לא כ"כ אופטימי לגבי עתיד המודלים הקטנים, כי כרגע נראה שהם די נזנחו ע"י המעבדות הגדולות. חקרתי את זה לעומק ביום שישי, אולי אני ירחיב על זה בנושא חדש. ובלי קשר, יש גבול לפריצות הדרך במודלים קטנים, כל עוד נשארים עם הארכיטקטורה הנוכחית.
בנוסף, בעבר, אם היה לך את llama 2 7B, הרגשת שאתה חווה חלק משמעותי מתוך GPT 4 על המחשב שלך מקומית. היום, המודל הכי טוב שתוכל להריץ במחשב שלך, לכאורה QWEN 3.5 4B, אולי הוא חזק בהיגיון, אבל לא ממש מסוגל לתפקד כסוכן ולהשתמש בכלים וכו'...אגב @חובבן-מקצועי , אני לא כ"כ אופטימי לגבי עתיד המודלים הקטנים, כי כרגע נראה שהם די נזנחו ע"י המעבדות הגדולות. חקרתי את זה לעומק ביום שישי, אולי אני ירחיב על זה בנושא חדש. ובלי קשר, יש גבול לפריצות הדרך במודלים קטנים, כל עוד נשארים עם הארכיטקטורה הנוכחית.
ואני כן אופטימי, ויש לי כמה סיבות להיות אופטימי..
- בנתיים זה ככה עובד, המודלים הפתוחים הקטנים (בעיקר הסיניים) לא מפסיקים להפתיע..
- מאמין שהמודלים המובילים בעצמם, יצליחו לבנות מודלים קטנים טובים. (נגיד פייבל 7 לכשייצא, יצליח לבנות מודל קטן באיכות של פייבל 5..)
(אבל אם אתה אומר, אז זו בהחלט סיבה להיות פסימי..)
-
אגב @חובבן-מקצועי , אני לא כ"כ אופטימי לגבי עתיד המודלים הקטנים, כי כרגע נראה שהם די נזנחו ע"י המעבדות הגדולות. חקרתי את זה לעומק ביום שישי, אולי אני ירחיב על זה בנושא חדש. ובלי קשר, יש גבול לפריצות הדרך במודלים קטנים, כל עוד נשארים עם הארכיטקטורה הנוכחית.
ואני כן אופטימי, ויש לי כמה סיבות להיות אופטימי..
- בנתיים זה ככה עובד, המודלים הפתוחים הקטנים (בעיקר הסיניים) לא מפסיקים להפתיע..
- מאמין שהמודלים המובילים בעצמם, יצליחו לבנות מודלים קטנים טובים. (נגיד פייבל 7 לכשייצא, יצליח לבנות מודל קטן באיכות של פייבל 5..)
(אבל אם אתה אומר, אז זו בהחלט סיבה להיות פסימי..)
בנתיים זה ככה עובד, המודלים הפתוחים הקטנים (בעיקר הסיניים) לא מפסיקים להפתיע..
המודלים הסיניים כן, המודלים הסיניים הקטנים פחות. הקפיצה מ-QWEN 2.5 3B ל-3 4B היתה עצומה, אבל מ-3 ל-3.5 4B פחות.
אבל לא על זה אני מתבסס, אלא על חוסר העניין של מעבדות להתעסק בזה.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
בנתיים זה ככה עובד, המודלים הפתוחים הקטנים (בעיקר הסיניים) לא מפסיקים להפתיע..
המודלים הסיניים כן, המודלים הסיניים הקטנים פחות. הקפיצה מ-QWEN 2.5 3B ל-3 4B היתה עצומה, אבל מ-3 ל-3.5 4B פחות.
אבל לא על זה אני מתבסס, אלא על חוסר העניין של מעבדות להתעסק בזה. -
חושב שזה אינטרס דיי מובהק של מייקרוסופט גוגל ודומיהם - שירוץ בעתיד על כל מחשב / פלאפון עם NPU מודל שפה קטן, והוא יהיה הסוכן AI של המשתמש..
אז ככה:
מיקרוסופט - דווקא עברו ממודלים פתוחים - PHI, שהיו חזית המודלים הפתוחים בזמנו, למודלים סגורים.
גוגל - דווקא משחררת מעת לעת מודלים פתוחים מעניינים וחזקים, אבל היא דואגת שהם לא ייפגעו בעיקר המיקוד שלה - מודלי ג'מיני הסגורים.
תפריד בין הרצון להריץ מודל חמוד שרץ ומפעיל דברים קלים בפלאפון, מחייג לאנשים ומסכם מיילים, לבין הרצון להפוך מודל קטן לפייבל 5 הבא. בעבר זה היה הכיוון של החברות שעסקו בתחום - לנסות להשתוות ל-GPT 4 עם 7B, והם די הצליחו, היום החוויה שונה לגמרי.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
חושב שזה אינטרס דיי מובהק של מייקרוסופט גוגל ודומיהם - שירוץ בעתיד על כל מחשב / פלאפון עם NPU מודל שפה קטן, והוא יהיה הסוכן AI של המשתמש..
אז ככה:
מיקרוסופט - דווקא עברו ממודלים פתוחים - PHI, שהיו חזית המודלים הפתוחים בזמנו, למודלים סגורים.
גוגל - דווקא משחררת מעת לעת מודלים פתוחים מעניינים וחזקים, אבל היא דואגת שהם לא ייפגעו בעיקר המיקוד שלה - מודלי ג'מיני הסגורים.
תפריד בין הרצון להריץ מודל חמוד שרץ ומפעיל דברים קלים בפלאפון, מחייג לאנשים ומסכם מיילים, לבין הרצון להפוך מודל קטן לפייבל 5 הבא. בעבר זה היה הכיוון של החברות שעסקו בתחום - לנסות להשתוות ל-GPT 4 עם 7B, והם די הצליחו, היום החוויה שונה לגמרי. -
@א.מ.ד. שכחת את החברה הכי עניינת בהקשר של השינוי כיוון,
מטא..
ממודלי הלאמה הפתוחים(?)..כתבתי על זה באישי ל @חובבן-מקצועי ...
בעבר מטא רצתה לפרסם את עצמה ולהידחף לשוק של OPEN AI, אז היא פתחה את המודלים. כיום כבר אין לה צורך בכך - היא הפכה למותג בפני עצמה בתחום, אז היא לא מפרסמת את המודלים שלה במשקל פתוח (למרות שצוקרברג מבטיח מודל פתוח בשביל לרצות את קהילת הקוד הפתוח, נו נו...)
אותו דבר עם QWEN, עד 2.5, הם ניסו לפרסם את עצמם, ניסו להתמקצע, ניסו לתפוס תשומת לב שהנה הם יכולים להריץ מודלים קטנים עם יכולות גבוהות, אבל מאז QWEN 3 הם כבר עסק ענק ומוכר שמריץ מודלי ענן ענקיים משלו בתשלום, ובזה הם משקיעים. המודלים הקטנים זה רצון להישאר רלוונטיים בקהילת ה-AI המקומי, קצת מחקר, וכדומה. לא עיקר המיקוד.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
@א.מ.ד. שכחת את החברה הכי עניינת בהקשר של השינוי כיוון,
מטא..
ממודלי הלאמה הפתוחים(?)..כתבתי על זה באישי ל @חובבן-מקצועי ...
בעבר מטא רצתה לפרסם את עצמה ולהידחף לשוק של OPEN AI, אז היא פתחה את המודלים. כיום כבר אין לה צורך בכך - היא הפכה למותג בפני עצמה בתחום, אז היא לא מפרסמת את המודלים שלה במשקל פתוח (למרות שצוקרברג מבטיח מודל פתוח בשביל לרצות את קהילת הקוד הפתוח, נו נו...)
אותו דבר עם QWEN, עד 2.5, הם ניסו לפרסם את עצמם, ניסו להתמקצע, ניסו לתפוס תשומת לב שהנה הם יכולים להריץ מודלים קטנים עם יכולות גבוהות, אבל מאז QWEN 3 הם כבר עסק ענק ומוכר שמריץ מודלי ענן ענקיים משלו בתשלום, ובזה הם משקיעים. המודלים הקטנים זה רצון להישאר רלוונטיים בקהילת ה-AI המקומי, קצת מחקר, וכדומה. לא עיקר המיקוד. -
@א.מ.ד. עיקר הקטע הוא שכיום הם ממש לא נחשבים ׳קוד פתוח׳ מקסימום משקלים פתוחים..
אבל הסיניים עוד לא היו בזירה והמפתחים שיוועו ללוקאלים..@א.מ.ד. עיקר הקטע הוא שכיום הם ממש לא נחשבים ׳קוד פתוח׳ מקסימום משקלים פתוחים..
אף פעם הם לא היו קוד פתוח. אין כמעט מודלים פתוחים באמת. אין מודל שעונה על ההגדרות של קוד פתוח, כמו יכולת לשחזר את הפרוייקט, יכולת לתרום לפרוייקט וכו'. כל נתוני האימון וקוד האימון חסויים. רק מודלים בודדים של מעבדות מטורללות, או של אנבידיה שרוצה להגביר ביקוש לשבבים שלה.
-
אא"כ תאמן אותו על כל המאגרים שפייבל התאמן עליהם
לא קשור, הכמות מידע שפייבל אומן היא כמות אדירה, טכנית זה לא נכנס במודלים קטנים. (כמובן שזה נכון לעכשיו, אני מאמין שעוד כמה שנים ישפרו ויזקקו היטב את התוכן, והלוגיקה תשתפר - ואז מודל 'חכם' כמו פייבל 5 (בדגש על חכם, לא בכמות ידע) יוכל לרוץ גם על מחשב ביתי)
@Nils-Sjoberg כתב במדריך | כמה דברים שלא אפשריים עם מודלים מקומיים!!!:
על איזה מחשב דיברת?
הוא דיבר על כל מחשב ביתי ממוצע, שאין לו כרטיס מסך עם מאות/עשרות ג'יגה.
הוא דיבר על כל מחשב ביתי ממוצע, שאין לו כרטיס מסך עם מאות/עשרות ג'יגה.
האמת גם בכימות הכי אגרסיבי זה לא נכנס המחשב הכי חזק מכיל 192
בעוד לזה צריך 250 של 2 ביט יש כמה קומבינות אבל זה יהיה מסורבל
אבל תכלס זה אפשרי
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}