מדריך | כמה דברים שלא אפשריים עם מודלים מקומיים!!!
-
כמה דברים שלא אפשריים עם מודלים מקומיים!!
-
אי אפשר להריץ מודל על המחשב אם אין לך 16 ראם וכרטיס מסך של אינבידיה, או שאתה משתמש בספארק MoE של @א.מ.ד.
-
אי אפשר להריץ מודל של מעל טריליון פרמטרים על המחשב לא דיפסיק לא glm 5 ולא שום דבר אחר.
-
אי אפשר לצפות ממודל מקומי שיהיה חכם כמו קלוד או gpt.
-
אי אפשר לצפות שתוכלו להריץ ברקע שני דפדפנים, אוצריא, וורד, vs code, וכלי קימפול של rust.
-
הוא לא יכול לפתוח לך דפדפן או כל דבר אחר אם לא תאפשר לו את זה באמצעות api של חיפוש או mcp לדפדפנים תומכים.
-
אי אפשר לדחוף לא את כל הידע עליך מאז שנולדת ובאותו צאט לצפות שיענה לך על חידת מסלולי המעגל המודולרי.
-
אי אפשר לעדכן אותו במידע חדש ולצפות שידע לענות על סמך המידע בלי לעשות אימון מחדש.
-
לזהות פרצות זרו דיי כמו פייבל 5.
-
לדעת איך קוראים לך ומה המידת נעליים של סבתא שלך.
-
לצפות שלשאול על זה במתמחים טופ יפתור את אחת הבעיות דלעיל.
@המלאך אני חושש שתפקידי פה הוא לחלוק עליך...
אי אפשר להריץ מודל על המחשב אם אין לך 16 ראם וכרטיס מסך של אינבידיה
כמובן תלוי בגודל המודל... יש מודלים מספיק שמישים של 4B, כמו Qwen 3.5 4B, ויש את Gemma 4 E4B/E2B ועוד... והם לא מפריעים גם לכרום שרץ במקביל עם מאות כרטיסיות... ויש את Qwen 3.5 9B שכן מצריך סגירת תוכנות אחרות אבל מהווה קפיצה ביכולות...
אבל צריך לזכור שמודל מקומי לא נועד להחליף את GPT או קלאוד, אלא למשימות שמתאימות לגודלו...או שאתה משתמש בספארק MoE של @א.מ.ד.
אי אפשר לעדכן אותו במידע חדש ולצפות שידע לענות על סמך המידע בלי לעשות אימון מחדש.
למה לא? תלוי אם המודל תומך בהנחיית מערכת, שזה הסטנדרט כיום (בניגוד למשל ל-Gemma 3).
אפשר גם לחבר למודל חיפוש אינטרנט, או ויקיפדיה/המכלול אופליין (עם הכלי שבניתי).מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
-
@המלאך אני חושש שתפקידי פה הוא לחלוק עליך...
אי אפשר להריץ מודל על המחשב אם אין לך 16 ראם וכרטיס מסך של אינבידיה
כמובן תלוי בגודל המודל... יש מודלים מספיק שמישים של 4B, כמו Qwen 3.5 4B, ויש את Gemma 4 E4B/E2B ועוד... והם לא מפריעים גם לכרום שרץ במקביל עם מאות כרטיסיות... ויש את Qwen 3.5 9B שכן מצריך סגירת תוכנות אחרות אבל מהווה קפיצה ביכולות...
אבל צריך לזכור שמודל מקומי לא נועד להחליף את GPT או קלאוד, אלא למשימות שמתאימות לגודלו...או שאתה משתמש בספארק MoE של @א.מ.ד.
אי אפשר לעדכן אותו במידע חדש ולצפות שידע לענות על סמך המידע בלי לעשות אימון מחדש.
למה לא? תלוי אם המודל תומך בהנחיית מערכת, שזה הסטנדרט כיום (בניגוד למשל ל-Gemma 3).
אפשר גם לחבר למודל חיפוש אינטרנט, או ויקיפדיה/המכלול אופליין (עם הכלי שבניתי).למה לא? תלוי אם המודל תומך בהנחיית מערכת, שזה הסטנדרט כיום (בניגוד למשל ל-Gemma 3).
כמובן, אבל אני לא מתכוון למידע שניתן להכניס בפרומפט סיסטם..
אפשר גם לחבר למודל חיפוש אינטרנט, או ויקיפדיה/המכלול אופליין (עם הכלי שבניתי).
כתבתי.
המלאך כתב:
באמצעות api של חיפוש
..
כמובן תלוי בגודל המודל... יש מודלים מספיק שמישים של 4B, כמו Qwen 3.5 4B, ויש את Gemma 4 E4B/E2B ועוד... והם לא מפריעים גם לכרום שרץ במקביל עם מאות כרטיסיות... ויש את Qwen 3.5 9B שכן מצריך סגירת תוכנות אחרות אבל מהווה קפיצה ביכולות...
זה נכון, אבל עם 8 ג'יגה ראם סביר להניח שכן יהיה איטי יחסית..
אחרי הכל המשאבים תפוסים..
כמובן שזה תלוי בכמות הליבות וכו',פעם ניסיתי להוסיף חישובים לפי כמות הליבות במודלי ביטנט,
פתחתי לזה pr בפרויקט ש @י.-פל. הביא,
כאן.. לצערי המפתח שכח/נגמר לו הכח/כל סיבה אחרת..
הוא הבטיח שיבדוק ויעדכן, אבל מה אפשר לצפות מגוי.. -
כמה דברים שלא אפשריים עם מודלים מקומיים!!
-
אי אפשר להריץ מודל על המחשב אם אין לך 16 ראם וכרטיס מסך של אינבידיה, או שאתה משתמש בספארק MoE של @א.מ.ד.
-
אי אפשר להריץ מודל של מעל טריליון פרמטרים על המחשב לא דיפסיק לא glm 5 ולא שום דבר אחר.
-
אי אפשר לצפות ממודל מקומי שיהיה חכם כמו קלוד או gpt.
-
אי אפשר לצפות שתוכלו להריץ ברקע שני דפדפנים, אוצריא, וורד, vs code, וכלי קימפול של rust.
-
הוא לא יכול לפתוח לך דפדפן או כל דבר אחר אם לא תאפשר לו את זה באמצעות api של חיפוש או mcp לדפדפנים תומכים.
-
אי אפשר לדחוף לא את כל הידע עליך מאז שנולדת ובאותו צאט לצפות שיענה לך על חידת מסלולי המעגל המודולרי.
-
אי אפשר לעדכן אותו במידע חדש ולצפות שידע לענות על סמך המידע בלי לעשות אימון מחדש.
-
לזהות פרצות זרו דיי כמו פייבל 5.
-
לדעת איך קוראים לך ומה המידת נעליים של סבתא שלך.
-
לצפות שלשאול על זה במתמחים טופ יפתור את אחת הבעיות דלעיל.
אי אפשר לצפות ממודל מקומי שיהיה חכם כמו קלוד או gpt.
כמובן שתלוי על איזה קלוד וGPT אתה מדבר.. המודלים הקטנים החדשים - מתקרבים ובחלק מהדברים עוקפים את gpt 3.5/4o (עוקפים בעיקר בלוגיקה, נשארים מאחור - בכל הנוגע לנתונים יבשים - שטכנית יש להם קצת ידע כי הם עם קצת פרמטרים)
חושב שלפטפוטים סתם - gemma E4b מצויין.. (אהה, סליחה - וגם הqwen המקביל לו..
) -
-
אי אפשר לצפות ממודל מקומי שיהיה חכם כמו קלוד או gpt.
כמובן שתלוי על איזה קלוד וGPT אתה מדבר.. המודלים הקטנים החדשים - מתקרבים ובחלק מהדברים עוקפים את gpt 3.5/4o (עוקפים בעיקר בלוגיקה, נשארים מאחור - בכל הנוגע לנתונים יבשים - שטכנית יש להם קצת ידע כי הם עם קצת פרמטרים)
חושב שלפטפוטים סתם - gemma E4b מצויין.. (אהה, סליחה - וגם הqwen המקביל לו..
)כמובן שתלוי על איזה קלוד וGPT אתה מדבר.. המודלים הקטנים החדשים - מתקרבים ובחלק מהדברים עוקפים את gpt 3.5/4o (עוקפים בעיקר בלוגיקה, נשארים מאחור - בכל הנוגע לנתונים יבשים - שטכנית יש להם קצת ידע כי הם עם קצת פרמטרים)
Qwen 3.5 4B עם חשיבה מופעלת עוקף את GPT 4o במדדים, ואפילו את GPT 4.1!
ולמי שמתעניין - זה המודלים הקטנים העדכניים שמשתווים במדדים למודלים הגדולים הראשונים:
כלומר, שיא האינטליגנציה של לפני פחות מ-3 שנים, מגולם במודל של 1B כיום! כמובן שזה לא בהכרח מרגיש אותו דבר, בפרט בעברית ובידע, אלא בעיקר מבחינת ההיגיון ויכולות הקידוד וכדומה.
מפתח אפליקציות אנדרואיד ויישומי ומודלי AI
-
כמובן שתלוי על איזה קלוד וGPT אתה מדבר.. המודלים הקטנים החדשים - מתקרבים ובחלק מהדברים עוקפים את gpt 3.5/4o (עוקפים בעיקר בלוגיקה, נשארים מאחור - בכל הנוגע לנתונים יבשים - שטכנית יש להם קצת ידע כי הם עם קצת פרמטרים)
Qwen 3.5 4B עם חשיבה מופעלת עוקף את GPT 4o במדדים, ואפילו את GPT 4.1!
ולמי שמתעניין - זה המודלים הקטנים העדכניים שמשתווים במדדים למודלים הגדולים הראשונים:
כלומר, שיא האינטליגנציה של לפני פחות מ-3 שנים, מגולם במודל של 1B כיום! כמובן שזה לא בהכרח מרגיש אותו דבר, בפרט בעברית ובידע, אלא בעיקר מבחינת ההיגיון ויכולות הקידוד וכדומה.
-
זה לא קשור לנושא
אבל אפשר לשאול (סתם כדי להבין) מה התועלת בלהתקין מודל מקומי
עם המודלים אונליין יותר חזקים?
-
@רוטב-שום בלי מגבלות שעתיות או שבועיות או חודשיות,
פרטיות,
מה שבמחשבך נשאר שלך,
ופרוגריסיבם ושנאת המערב. -
@רוטב-שום בלי מגבלות שעתיות או שבועיות או חודשיות,
פרטיות,
מה שבמחשבך נשאר שלך,
ופרוגריסיבם ושנאת המערב. -
@המלאך די מוזר לי שבפורום חרדי אתה לא מזכיר את היתרון בהימנעות מאינטרנט
ואל תגידו לי שהמודלים יותר בעיתיים - כי הם לא.ואל תגידו לי שהמודלים יותר בעיתיים - כי הם לא.
למה לא?
באונליין יש עליהם לכה"פ ניסיון סינון של נטפרי. -
ואל תגידו לי שהמודלים יותר בעיתיים - כי הם לא.
למה לא?
באונליין יש עליהם לכה"פ ניסיון סינון של נטפרי. -
כמה דברים שלא אפשריים עם מודלים מקומיים!!
-
אי אפשר להריץ מודל על המחשב אם אין לך 16 ראם וכרטיס מסך של אינבידיה, או שאתה משתמש בספארק MoE של @א.מ.ד.
-
אי אפשר להריץ מודל של מעל טריליון פרמטרים על המחשב לא דיפסיק לא glm 5 ולא שום דבר אחר.
-
אי אפשר לצפות ממודל מקומי שיהיה חכם כמו קלוד או gpt.
-
אי אפשר לצפות שתוכלו להריץ ברקע שני דפדפנים, אוצריא, וורד, vs code, וכלי קימפול של rust.
-
הוא לא יכול לפתוח לך דפדפן או כל דבר אחר אם לא תאפשר לו את זה באמצעות api של חיפוש או mcp לדפדפנים תומכים.
-
אי אפשר לדחוף לא את כל הידע עליך מאז שנולדת ובאותו צאט לצפות שיענה לך על חידת מסלולי המעגל המודולרי.
-
אי אפשר לעדכן אותו במידע חדש ולצפות שידע לענות על סמך המידע בלי לעשות אימון מחדש.
-
לזהות פרצות זרו דיי כמו פייבל 5.
-
לדעת איך קוראים לך ומה המידת נעליים של סבתא שלך.
-
לצפות שלשאול על זה במתמחים טופ יפתור את אחת הבעיות דלעיל.
-
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}