מדריך | כמה דברים שלא אפשריים עם מודלים מקומיים!!!
-
(בדגש על חכם, לא בכמות ידע)
אלא ?!
וכבר אמרו חז"ל "אין חכמת אדם מגעת אלא עד מקום שספריו מגיעין"
אלא אם כן תחדש שAI מסוגל ליותר@חד-צורבא כבר היום מודלי שפה קטנים מגיעים לכמות ה'אינטליגנציה' של מודלי שפה גדולים של לפני שלוש שנים.. אבל זה לא אומר שיש להם את אותו כמות ידע.
-
@חד-צורבא כבר היום מודלי שפה קטנים מגיעים לכמות ה'אינטליגנציה' של מודלי שפה גדולים של לפני שלוש שנים.. אבל זה לא אומר שיש להם את אותו כמות ידע.
@חובבן-מקצועי במה זה מתבטא ? בא נאמר אם יש לי קלוד חינמי ואני רוצה לעשות תוסף לאוצריא בלי שיגמר לי הטוקנים כל 2-3 תשובות מודל מקומי ידע לעשות את אותה עבודה באותה איכות ?
-
(בדגש על חכם, לא בכמות ידע)
אלא ?!
וכבר אמרו חז"ל "אין חכמת אדם מגעת אלא עד מקום שספריו מגיעין"
אלא אם כן תחדש שAI מסוגל ליותראלא ?!
יש את הידע של המודלים, שזה בעצם לזכור את הטקסטים עצמם, ויש את יכולות ההיגיון וההסקה שהוא לומד מהם.
למודל של 4B פרמטרים, אין את הקיבולת הטכנית להכיל את כל הידע העולמי, ולכן מודל עדכני כזה לא ידע מי זה הח"כ הישראלי הספציפי שתשאל עליו, למרות שזה חזר על עצמו מאות פעמים בטקסטים שעליהם אומן, לעומת המודל של ה-175B מלפני 3 שנים שאמנם מבחינת יכולות היגיון הוא חלש יותר, אבל יש לו יותר מקום להכיל את הידע הזה. -
@חובבן-מקצועי במה זה מתבטא ? בא נאמר אם יש לי קלוד חינמי ואני רוצה לעשות תוסף לאוצריא בלי שיגמר לי הטוקנים כל 2-3 תשובות מודל מקומי ידע לעשות את אותה עבודה באותה איכות ?
בא נאמר אם יש לי קלוד חינמי ואני רוצה לעשות פרוייקט בלי שיגמר לי הטוקנים כל 2-3 תשובות מודל מקומי ידע לעשות את אותה עבודה באותה איכות ?
כיום, וודאי שלא!
אני מדבר או על העתיד, [על דרך "מתי יהיה לחם מהיום? מחר.." ]
או על העבר - שאם אתה רוצה לקודד באיכות של gpt 4o אז אתה מוזמן לתכנת עם qwen..להסבר, פשוט תסתכל על הפוסט הקודם, א.מ.ד. הסביר את זה הרבה יותר טוב ממני.
-
@חובבן-מקצועי במה זה מתבטא ? בא נאמר אם יש לי קלוד חינמי ואני רוצה לעשות תוסף לאוצריא בלי שיגמר לי הטוקנים כל 2-3 תשובות מודל מקומי ידע לעשות את אותה עבודה באותה איכות ?
@חובבן-מקצועי במה זה מתבטא ? בא נאמר אם יש לי קלוד חינמי ואני רוצה לעשות תוסף לאוצריא בלי שיגמר לי הטוקנים כל 2-3 תשובות מודל מקומי ידע לעשות את אותה עבודה באותה איכות ?
אתה בהחלט יכול לתכנת עם QWEN 3.5 4B באיכות של GPT 4o, ואפילו יותר גבוהה, אבל לא יהיה לו את הידע הרחב על כל הספריות הרלוונטיות. אבל אם תחבר לו מנועי חיפוש חיצוניים וכדומה, זה ייפצה מאוד על הפער בידע.
אגב @חובבן-מקצועי , אני לא כ"כ אופטימי לגבי עתיד המודלים הקטנים, כי כרגע נראה שהם די נזנחו ע"י המעבדות הגדולות. חקרתי את זה לעומק ביום שישי, אולי אני ירחיב על זה בנושא חדש. ובלי קשר, יש גבול לפריצות הדרך במודלים קטנים, כל עוד נשארים עם הארכיטקטורה הנוכחית.
בנוסף, בעבר, אם היה לך את llama 2 7B, הרגשת שאתה חווה חלק משמעותי מתוך GPT 4 על המחשב שלך מקומית. היום, המודל הכי טוב שתוכל להריץ במחשב שלך, לכאורה QWEN 3.5 4B, אולי הוא חזק בהיגיון, אבל לא ממש מסוגל לתפקד כסוכן ולהשתמש בכלים וכו'...מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
@חובבן-מקצועי במה זה מתבטא ? בא נאמר אם יש לי קלוד חינמי ואני רוצה לעשות תוסף לאוצריא בלי שיגמר לי הטוקנים כל 2-3 תשובות מודל מקומי ידע לעשות את אותה עבודה באותה איכות ?
אתה בהחלט יכול לתכנת עם QWEN 3.5 4B באיכות של GPT 4o, ואפילו יותר גבוהה, אבל לא יהיה לו את הידע הרחב על כל הספריות הרלוונטיות. אבל אם תחבר לו מנועי חיפוש חיצוניים וכדומה, זה ייפצה מאוד על הפער בידע.
אגב @חובבן-מקצועי , אני לא כ"כ אופטימי לגבי עתיד המודלים הקטנים, כי כרגע נראה שהם די נזנחו ע"י המעבדות הגדולות. חקרתי את זה לעומק ביום שישי, אולי אני ירחיב על זה בנושא חדש. ובלי קשר, יש גבול לפריצות הדרך במודלים קטנים, כל עוד נשארים עם הארכיטקטורה הנוכחית.
בנוסף, בעבר, אם היה לך את llama 2 7B, הרגשת שאתה חווה חלק משמעותי מתוך GPT 4 על המחשב שלך מקומית. היום, המודל הכי טוב שתוכל להריץ במחשב שלך, לכאורה QWEN 3.5 4B, אולי הוא חזק בהיגיון, אבל לא ממש מסוגל לתפקד כסוכן ולהשתמש בכלים וכו'...אגב @חובבן-מקצועי , אני לא כ"כ אופטימי לגבי עתיד המודלים הקטנים, כי כרגע נראה שהם די נזנחו ע"י המעבדות הגדולות. חקרתי את זה לעומק ביום שישי, אולי אני ירחיב על זה בנושא חדש. ובלי קשר, יש גבול לפריצות הדרך במודלים קטנים, כל עוד נשארים עם הארכיטקטורה הנוכחית.
ואני כן אופטימי, ויש לי כמה סיבות להיות אופטימי..
- בנתיים זה ככה עובד, המודלים הפתוחים הקטנים (בעיקר הסיניים) לא מפסיקים להפתיע..
- מאמין שהמודלים המובילים בעצמם, יצליחו לבנות מודלים קטנים טובים. (נגיד פייבל 7 לכשייצא, יצליח לבנות מודל קטן באיכות של פייבל 5..)
(אבל אם אתה אומר, אז זו בהחלט סיבה להיות פסימי..)
-
אגב @חובבן-מקצועי , אני לא כ"כ אופטימי לגבי עתיד המודלים הקטנים, כי כרגע נראה שהם די נזנחו ע"י המעבדות הגדולות. חקרתי את זה לעומק ביום שישי, אולי אני ירחיב על זה בנושא חדש. ובלי קשר, יש גבול לפריצות הדרך במודלים קטנים, כל עוד נשארים עם הארכיטקטורה הנוכחית.
ואני כן אופטימי, ויש לי כמה סיבות להיות אופטימי..
- בנתיים זה ככה עובד, המודלים הפתוחים הקטנים (בעיקר הסיניים) לא מפסיקים להפתיע..
- מאמין שהמודלים המובילים בעצמם, יצליחו לבנות מודלים קטנים טובים. (נגיד פייבל 7 לכשייצא, יצליח לבנות מודל קטן באיכות של פייבל 5..)
(אבל אם אתה אומר, אז זו בהחלט סיבה להיות פסימי..)
בנתיים זה ככה עובד, המודלים הפתוחים הקטנים (בעיקר הסיניים) לא מפסיקים להפתיע..
המודלים הסיניים כן, המודלים הסיניים הקטנים פחות. הקפיצה מ-QWEN 2.5 3B ל-3 4B היתה עצומה, אבל מ-3 ל-3.5 4B פחות.
אבל לא על זה אני מתבסס, אלא על חוסר העניין של מעבדות להתעסק בזה.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
בנתיים זה ככה עובד, המודלים הפתוחים הקטנים (בעיקר הסיניים) לא מפסיקים להפתיע..
המודלים הסיניים כן, המודלים הסיניים הקטנים פחות. הקפיצה מ-QWEN 2.5 3B ל-3 4B היתה עצומה, אבל מ-3 ל-3.5 4B פחות.
אבל לא על זה אני מתבסס, אלא על חוסר העניין של מעבדות להתעסק בזה. -
חושב שזה אינטרס דיי מובהק של מייקרוסופט גוגל ודומיהם - שירוץ בעתיד על כל מחשב / פלאפון עם NPU מודל שפה קטן, והוא יהיה הסוכן AI של המשתמש..
אז ככה:
מיקרוסופט - דווקא עברו ממודלים פתוחים - PHI, שהיו חזית המודלים הפתוחים בזמנו, למודלים סגורים.
גוגל - דווקא משחררת מעת לעת מודלים פתוחים מעניינים וחזקים, אבל היא דואגת שהם לא ייפגעו בעיקר המיקוד שלה - מודלי ג'מיני הסגורים.
תפריד בין הרצון להריץ מודל חמוד שרץ ומפעיל דברים קלים בפלאפון, מחייג לאנשים ומסכם מיילים, לבין הרצון להפוך מודל קטן לפייבל 5 הבא. בעבר זה היה הכיוון של החברות שעסקו בתחום - לנסות להשתוות ל-GPT 4 עם 7B, והם די הצליחו, היום החוויה שונה לגמרי.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
חושב שזה אינטרס דיי מובהק של מייקרוסופט גוגל ודומיהם - שירוץ בעתיד על כל מחשב / פלאפון עם NPU מודל שפה קטן, והוא יהיה הסוכן AI של המשתמש..
אז ככה:
מיקרוסופט - דווקא עברו ממודלים פתוחים - PHI, שהיו חזית המודלים הפתוחים בזמנו, למודלים סגורים.
גוגל - דווקא משחררת מעת לעת מודלים פתוחים מעניינים וחזקים, אבל היא דואגת שהם לא ייפגעו בעיקר המיקוד שלה - מודלי ג'מיני הסגורים.
תפריד בין הרצון להריץ מודל חמוד שרץ ומפעיל דברים קלים בפלאפון, מחייג לאנשים ומסכם מיילים, לבין הרצון להפוך מודל קטן לפייבל 5 הבא. בעבר זה היה הכיוון של החברות שעסקו בתחום - לנסות להשתוות ל-GPT 4 עם 7B, והם די הצליחו, היום החוויה שונה לגמרי. -
@א.מ.ד. שכחת את החברה הכי עניינת בהקשר של השינוי כיוון,
מטא..
ממודלי הלאמה הפתוחים(?)..כתבתי על זה באישי ל @חובבן-מקצועי ...
בעבר מטא רצתה לפרסם את עצמה ולהידחף לשוק של OPEN AI, אז היא פתחה את המודלים. כיום כבר אין לה צורך בכך - היא הפכה למותג בפני עצמה בתחום, אז היא לא מפרסמת את המודלים שלה במשקל פתוח (למרות שצוקרברג מבטיח מודל פתוח בשביל לרצות את קהילת הקוד הפתוח, נו נו...)
אותו דבר עם QWEN, עד 2.5, הם ניסו לפרסם את עצמם, ניסו להתמקצע, ניסו לתפוס תשומת לב שהנה הם יכולים להריץ מודלים קטנים עם יכולות גבוהות, אבל מאז QWEN 3 הם כבר עסק ענק ומוכר שמריץ מודלי ענן ענקיים משלו בתשלום, ובזה הם משקיעים. המודלים הקטנים זה רצון להישאר רלוונטיים בקהילת ה-AI המקומי, קצת מחקר, וכדומה. לא עיקר המיקוד.מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
@א.מ.ד. שכחת את החברה הכי עניינת בהקשר של השינוי כיוון,
מטא..
ממודלי הלאמה הפתוחים(?)..כתבתי על זה באישי ל @חובבן-מקצועי ...
בעבר מטא רצתה לפרסם את עצמה ולהידחף לשוק של OPEN AI, אז היא פתחה את המודלים. כיום כבר אין לה צורך בכך - היא הפכה למותג בפני עצמה בתחום, אז היא לא מפרסמת את המודלים שלה במשקל פתוח (למרות שצוקרברג מבטיח מודל פתוח בשביל לרצות את קהילת הקוד הפתוח, נו נו...)
אותו דבר עם QWEN, עד 2.5, הם ניסו לפרסם את עצמם, ניסו להתמקצע, ניסו לתפוס תשומת לב שהנה הם יכולים להריץ מודלים קטנים עם יכולות גבוהות, אבל מאז QWEN 3 הם כבר עסק ענק ומוכר שמריץ מודלי ענן ענקיים משלו בתשלום, ובזה הם משקיעים. המודלים הקטנים זה רצון להישאר רלוונטיים בקהילת ה-AI המקומי, קצת מחקר, וכדומה. לא עיקר המיקוד. -
@א.מ.ד. עיקר הקטע הוא שכיום הם ממש לא נחשבים ׳קוד פתוח׳ מקסימום משקלים פתוחים..
אבל הסיניים עוד לא היו בזירה והמפתחים שיוועו ללוקאלים..@א.מ.ד. עיקר הקטע הוא שכיום הם ממש לא נחשבים ׳קוד פתוח׳ מקסימום משקלים פתוחים..
אף פעם הם לא היו קוד פתוח. אין כמעט מודלים פתוחים באמת. אין מודל שעונה על ההגדרות של קוד פתוח, כמו יכולת לשחזר את הפרוייקט, יכולת לתרום לפרוייקט וכו'. כל נתוני האימון וקוד האימון חסויים. רק מודלים בודדים של מעבדות מטורללות, או של אנבידיה שרוצה להגביר ביקוש לשבבים שלה.
-
אא"כ תאמן אותו על כל המאגרים שפייבל התאמן עליהם
לא קשור, הכמות מידע שפייבל אומן היא כמות אדירה, טכנית זה לא נכנס במודלים קטנים. (כמובן שזה נכון לעכשיו, אני מאמין שעוד כמה שנים ישפרו ויזקקו היטב את התוכן, והלוגיקה תשתפר - ואז מודל 'חכם' כמו פייבל 5 (בדגש על חכם, לא בכמות ידע) יוכל לרוץ גם על מחשב ביתי)
@Nils-Sjoberg כתב במדריך | כמה דברים שלא אפשריים עם מודלים מקומיים!!!:
על איזה מחשב דיברת?
הוא דיבר על כל מחשב ביתי ממוצע, שאין לו כרטיס מסך עם מאות/עשרות ג'יגה.
הוא דיבר על כל מחשב ביתי ממוצע, שאין לו כרטיס מסך עם מאות/עשרות ג'יגה.
האמת גם בכימות הכי אגרסיבי זה לא נכנס המחשב הכי חזק מכיל 192
בעוד לזה צריך 250 של 2 ביט יש כמה קומבינות אבל זה יהיה מסורבל
אבל תכלס זה אפשרי
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}