מה כדאי לעשות לפני חסימת מודלי ה-AI המקומיים?
-
@u88 מודל הוא לא כלי. כל מודל חייב רתמת סוכן בשביל לקבל גישה לקבצים וכלים.
אתה יכול להשתמש בסוכן שלי - סמארטי יחד עם מודל מקומי כמו Qwen 3.5 4B/9B. בבדיקות שלי התוצאות מפתיעות.
ממליץ לך לחכות לגרסה הבאה של סמארטי שעברה אופטימיזציה מיוחדת להאצת העיבוד במודלים מקומיים וחוסכת 70% מהזמן. -
-
@u88 זה לא המודל, זה הכלי. אין לי איך לדעת בדיוק מה הבעיה אצלך, אז מומלץ שתתייעץ בזה עם GPT. הוא מכיר את התוכנה הזאת כמו שצריך.
-
@א.מ.ד. השתמשתי לא בסמרטי מכיון שלוקח לו מלא זמן לחשוב לכן השתמשתי בתוכנה שלך sparkmoe
זה יעזור אם אני יעלה לך את הלוג שלו?
-
@u88 כמו שכתבתי, אין קשר בין סמארטי ל-SparkMoE. סמארטי לא מריץ מודלים, אלא משתמש במודלים שמורצים ע"י תוכנות אחרות או בענן.
-
@א.מ.ד. אז איך אפשר לקשר את סמרטי אליו על ידי ספק local. או שעדיף להשתמש עם sparkmoe
ואם כן איך אני מיעל אותו שלא יתקע? -
לפני כחודש כתבתי בפוסט שפרסמתי פה בפורום שבקהילת ה-AI המקומי מתחילים לחשוש מפני חסימה של Hugging Face, והמלצתי להוריד מודלים חשובים לגיבוי.
בזמנו זה היה נראה קונספירציה הזויה, אבל כתבתי שם שאצל טראמפ אי אפשר לדעת כלום, וגם חסימת פייבל 5 היתה נראית הזויה לפני שהתרחשה.
אז כמו שזה נראה, ומיום ליום זה רק מתחזק, הממשל האמריקאי עומד ככל הנראה לחסום גישה למודלים סיניים פתוחים - להורדה ולשימוש באמצעות ספקים (כמו Open Router). מאחר ו-Hugging Face היא חברה אמריקאית, היא תהיה מוכרחת לציית להוראות הממשל, ולחסום את הגישה למודלים הסיניים.
ככל הנראה, הגורם העיקרי לחסימה המסתמנת, הוא לחץ מסיבי שמפעילות ענקיות ה-AI האמריקאיות על הממשל (כולל כמעט-שוחד של סם אלטמן שהציע להעביר 5% ממניות OpenAI לרשות הממשל) ולובי חזק בתוך הממשל ובתי המחוקקים. הרווח ברור - אם מודלים סיניים יהיו חסומים עבור תושב המערב להורדה והרצה עצמית או ע"י ספקי צד ג', הוא יהיה חייב להשתמש אך ורק בשירותיהם, ולא זו בלבד - אלא הם גם יוכלו לשמור על המחירים הגבוהים במקום להתחרות במחירים הנמוכים משמעותית של חברות ה-AI הסיניות (50 מיליון טוקני פלט בפייבל 5 עולים 50$, לעומת 15$ בלבד ב-Kimi K3).
ככל שמתחזקת ההבנה שהמודלים הסיניים הפתוחים סגרו את הפער מול המערביים, כדוגמת GLM 5.2 שמשתווה לאופוס 4.8, ואחריו Kimi K3 שמשתווה לפייבל 5 במדדים רבים ואף עוקף אותו בחלקם, ובקרוב ממש גם Qwen 3.8 שבדרך, הלחץ רק הולך וגובר.
בקיצור, אם אי אפשר לנצח אותם, נחסום אותם.
מצד שני, די ברור שסין אכן משתמשת בזיקוקי מודלים מערביים ברמה מסוימת, וגם אם זה לא הכל (אחרי הכל אי אפשר לעקוף מודל ואפילו לא להתקרב אליו רק עם זיקוקים. הם עושים SFT ו-RL משלהם), ברור שזה ממלא תפקיד נרחב בעליית המודלים הסיניים.
בנוסף, מאוד שקוף שיש פה תכנית לאומית סינית לפוצץ את בועת ה-AI המערבית, שבה תלויה כרגע כל הכלכלה המערבית, באמצעות השקעת מיליארדים על גבי מיליארדים בפיתוח ואימון מודלים חזקים, ושחרורם במשקלים פתוחים ובמחירי הסקה מוזלים להחריד. אין לזה הסבר אחר, מה גם שהסינים ומנהיגיהם מצהירים על כך במפורש.
כשחושבים על זה ככה, זה מאוד הוגן: חברות אמריקאיות רוצות להרוויח כסף, ותפקידה של ממשלת ארה"ב הוא להגן על האינטרסים של אמריקה. אם השקת קמפיין יח"צ שלילי נגד מעבדות סיניות שטוען לזיקוק של מודלים אמריקאיים, הוא אמצעי להשגת יתרון, זה בדיוק מה שיקרה. סין הייתה עושה את אותו הדבר במצבה של ארה"ב, בדיוק כפי שהיא מסיטה את מבטה או אפילו נותנת חסות ממשלתית למגוון גניבות קניין רוחני שרבות מהתעשיות שלה חיות עליה, וכידוע לכל.
אסור לשכוח שבעצם סין נלחמת פה נגד המערב ונגדנו - אם בועת ה-AI תתפוצץ כמו שסין רוצה, הכלכלה המערבית עלולה להזדעזע, מחירים יעלו, ההשקעות שלנו בשוק האמריקאי יצנחו מטה וכו'.
הזעקות המרות נגד חסימת המודלים הפתוחים מגיעות בעיקר מהמטורללים הפרוגרסיביים ותרבות הווק, אויבי אמריקה מתוכה, ששונאים את ארצם ואת כל מה שקשור למערב, ועוצמים עיניים לעובדה שסין מנצלת אותם.
אז מצד אחד בטווח הקצר אנחנו משלמים קצת (הרבה) יותר על המנוי לאנתרופיק ו-OpenAI, אבל ככה הכלכלה המערבית שומרת יחסית על יציבותה וצמיחתה, וזה טוב לכולנו.אי לכך ובהתאם לזאת, נניח למצב להתגלגל בדרך הטבע, וכידוע לב מלכים ושרים ביד ה'.
אבל עכ"פ מבחינתנו, כדאי להתכונן ליום החסימה, שייתכן ותתרחש וייתכן שלא, וייתכן שתכלול רק מודלי ענק, כדי שלא נתחרט אחר כך.
לכן, מומלץ להוריד ולגבות את המודלים הסיניים המתקדמים ביותר, אלה שמתאימים לחומרה שיש לנו כרגע, וגם כאלה שמתאימים לחומרה קצת יותר חזקה שייתכן ותהיה זמינה לנו בעתיד (למרות שעד אז ייתכן והם כבר ייחשבו מודלים חלשים, אבל עדיף מכלום...) או באמצעות הקמת שרתים פרטיים מרוחקים. המודלים העצומים והמעניינים באמת, אלו שחסימתם תהיה באמת דרמטית, פחות רלוונטיים בשבילנו כמובן.אז יצרתי פה רשימה, כדי שמי שמעוניין יוכל להוריד את המודלים הרלוונטיים עבורו, ואז יוכל לנוח על זרי הדפנה ולצפות באדישות מופגנת בקרב בין המעצמות...
אז ככה:
ההמלצה שלי היא קודם כל להוריד את כל מודלי Qwen 3.5 הקטנים, שזה אומר 0.8B, 2B, 4B ו-9B. אלו המודלים השימושיים ביותר עבור חומרה קלאסית, כמו שמן הסתם יש לכם - 0.8B ו-2B מתאימים אפילו לטלפונים חלשים מאוד כמו F21 Pro ודומיו, ואף לחלק מנגני האנדרואיד, 4B מתאים לשימוש יומיומי למחשב סטנדרטי (16 RAM), בלי ללחוץ על תוכנות אחרות, בעברית, ובשילוב עם MCP של חיפוש הוא יכול לתפקד כתחליף ממשי עבור משימות פשוטות כמו ידע, היגיון, תרגום, חילוץ נתונים ועוד, ואפילו כסייען קידוד קטן הוא לא רע, ו-9B מתאים גם למחשב סטנדרטי אם סוגרים את כל התוכנות האחרות, ואז כבר מקבלים קפיצה משמעותית בביצועים, ודאי בשילוב עם כלי MCP מתאימים.
בנוסף, ישנם מודלים סיניים נוספים שכדאי לשמור, כמו MiniCPM5 1B, שמתאים אפילו לטלפונים חלשים אבל מחזיק ביכולות היגיון חזקות מאוד, VibeThinker 3B שמחזיק ביכולת מתקדמת של איתור דרך הפיתרון הטובה ביותר מבין מסלולי פיתרון רבים, Nanbeige 4.2 3B שעוקף מודלים הגדולים ממנו פי 4 באמצעות שיטה מיוחדת לדחיסת ידע בפרמטרים מעטים.
עד כאן מודלים רגילים וקטנים, עבור חומרה חלשה.
אבל אם נרצה בעתיד יכולות AI חזקות יותר בחינם, על חומרה קצת חזקה יותר (32 RAM), מומלץ להוריד גם את המודלים הבאים: Qwen 3.6 27B, שהוא מודל חזק מאוד לקידוד ולשימושים כלליים, ומסוגל להחליף אפילו את רוב השימוש שלכם במודלי ה-AI המערביים, ו-Qwen 3.6 35B A3B שגם הוא מודל מהיר חזק מאוד ומסוגל להחזיק רתמות סוכן לאורך זמן רב, וניתן אפילו להרצה על חומרה חלשה של 16 RAM באמצעות הפרוייקט שלי - SparkMoE. -
@א.מ.ד. הורדתי את המודל הזה DictaLM-3.0-1.7B-Thinking-Q5_K_M.gguf
כי הבנתי שהוא עובד גם בעברית האם יש מישהו פה שהצליח להפעיל את זה על f21 pro אם כן אשמח אם תעלה לי את האפליקציה המתאימה
תודה מראש -
@א.מ.ד. יש לי את זה אבל לא ניתן להתקין אותו על f21 pro לכן אני צריך מישהו שכן הצליח שייתן לי קישור לאפליקציה שלו ואם אסור אז שייתן רק את השם ואני כבר אמצא
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}