SmartiAI לווינדוס, סוכן AI שיכול לעשות הכל!
-
@א.מ.ד. איך במחשבי אפל זה עובד?
זה כנראה לא יהיה דוגמה, כי הם אלו שיצרו את המחשב והמערכת ההפעלה, אבל מעניין..עריכה: ג׳ימני פירט לי על הנושא, וגם הביא חצי פתרון, מעניין אם זה באמת נכון ויעיל..
התשובה שלו בספוילר:זה נראה כמו קסם – המחשב סגור או נמצא בצד, וברגע שאתה אומר "היי סירי", הוא מתעורר לחיים. מאחורי הקסם הזה עומדת הנדסת חומרה ותוכנה מאוד חכמה שמטרתה המובילה היא חיסכון באנרגיה.
כך המערכת הזו עובדת, וזה מה שצריך לדעת אם רוצים ליישם משהו דומה בווינדוס:
איך זה עובד ואיך זה לא זולל את הסוללה?
הסוד טמון בארכיטקטורה דו-שלבית (Two-Stage Architecture) שמפרידה בין "הקשבה למילת ההפעלה" לבין "הבנת הפקודה".
שלב 1: המעבד הקטן והחסכוני (החלק שלא זולל סוללה)
במחשבי אפל (במיוחד אלו עם מעבדי Apple Silicon כמו M1, M2 וכו'), המעבד הראשי (ה-CPU) והחזק פשוט ישן כשאתה לא משתמש במחשב. מי שמקשיב לך הוא שבב קטנטן, ייעודי ודל-הספק שמקבל זרם חשמלי מינימלי ביותר.
- המיקרופון מקליט את השניות האחרונות בלופ קבוע לתוך זיכרון זמני קטן ומבודד (Audio Buffer).
- המעבד הקטן מריץ מודל בינה מלאכותית פשוט מאוד שמכיר רק דבר אחד: את גלי הקול של המילים "היי סירי" בקול שלך.
- בגלל שהשבב הזה כל כך קטן והמשימה שלו ספציפית, הוא צורך מיליוואטים בודדים – כמות אנרגיה אפסית שלא מורגשת בסוללה.
שלב 2: ההתעוררות של המעבד הראשי
רק כאשר המעבד הקטן מזהה בוודאות גבוהה את מילת ההפעלה, הוא שולח אות "התעוררות" (Interrupt) למעבד הראשי (ה-CPU) ולמנוע הבינה המלאכותית החזק (Apple Neural Engine). רק אז המחשב באמת נדלק, מתחיל להקשיב להמשך המשפט ומפעיל את המערכות הכבדות שמנתחות את השפה ומבצעות את הפקודה.
איך נקראת המערכת הזאת?
באפל, רכיב החומרה האחראי על המשימות האלו נקרא AOP (Always-On Processor) – מעבד שנמצא תמיד במצב פעיל.
הקונספט התוכנתי הכללי בתעשייה נקרא Wake-Word Detection (זיהוי מילת הפעלה) או Voice Activation.האם אפשר לעשות את אותה שיטה במחשבי ווינדוס?
התשובה הקצרה היא: כן, אבל עם אתגר משמעותי בגזרת הסוללה.
כשאתה בונה תוכנה משלך בווינדוס (למשל בפייתון או C#), אתה נתקל בשתי בעיות מרכזיות שאין לאפל (כי אפל מייצרת גם את החומרה וגם את התוכנה):1. בעיית ה-CPU (זלילת הסוללה)
אם תכתוב תוכנה סטנדרטית שרצה ברקע ומקשיבה למיקרופון, היא תרוץ על המעבד הראשי של המחשב (Intel / AMD / Snapdragon). ברגע שהתוכנה שלך דורשת מהמעבד הראשי לנתח סאונד בכל שנייה, היא מונעת ממנו להיכנס למצבי שינה עמוקים (C-States). התוצאה: המעבד יישאר "ער" והסוללה של הלפטופ תתרוקן במהירות.
2. גישה לחומרה ייעודית
במחשבי ווינדוס מודרניים (במיוחד החדשים עם מעבדי Intel Core Ultra, AMD Ryzen סדרה 8000, או שבבי Snapdragon X Elite) יש רכיבי חומרה ייעודיים בדיוק לזה: NPU (יחידת עיבוד עצבית) או שבבי DSP (מעבדי אותות דיגיטליים) של כרטיס הקול. מיקרוסופט משתמשת בהם עבור הפיצ'רים שלה.
הבעיה היא שלמפתחים עצמאיים קשה מאוד לקבל גישה ישירה ברמת החומרה (Low-level driver) לשבבים החסכוניים האלה כדי להריץ עליהם קוד מותאם אישית בזמן שהמחשב ישן.איך בכל זאת עושים את זה בצורה הכי יעילה בווינדוס?
כדי לבנות עוזרת קולית משלך שלא תגמור את הסוללה לחלוטין, אתה צריך להשתמש בספריות Local Wake-Word Detection מתקדמות וממוטבות במיוחד, שמסוגלות לרוץ במינימום אחוזי ניצול מעבד (CPU Usage).
האפשרויות המובילות בתעשייה כיום הן:- Picovoice Porcupine: ספרייה מעולה ומסחרית (עם מסלול חינמי למפתחים) שנחשבת לחסכונית ביותר באנרגיה ומיועדת בדיוק לזיהוי מילת הפעלה מקומית על המעבד בלי לזלול משאבים.
- OpenWakeWord: ספריית קוד פתוח מבוססת Python, יעילה מאוד ומיועדת למערכות כמו Home Assistant.
- Snowboy או PocketSphinx: פתרונות ותיקים יותר, אך פחות מדויקים או חסכוניים מהחדשים.
באיזו שפת תכנות או ספרייה אתה מתכנן להשתמש כדי לבנות את העוזרת הקולית שלך בווינדוס?
@שניאור-שמח כתב בSmartiAI לווינדוס, סוכן AI שיכול לעשות הכל!:
זה כנראה לא יהיה דוגמה, כי הם אלו שיצרו את המחשב והמערכת ההפעלה, אבל מעניין..
זו אכן התשובה. הם מקצים חומרה מיוחדת וחסכונית שנועדה אך ורק לזה. יש את זה כמעט בהרבה מכשירים היום, לדוגמא ל-"OK גוגל", אבל זה בשימוש רק ע"י מערכת ההפעלה.
מפתח אפליקציות אנדרואיד
em0548438097@gmail.com -
@א.מ.ד. לא קראתי את כל ה140 פוסטים ויכול להיות שכתבו את זה אבל תוכל להגיד לי כמה ג'יגה ראם צריך מינימום בשביל הדבר הזה
-
@י.ר.ק כתב בSmartiAI לווינדוס, סוכן AI שיכול לעשות הכל!:
@א.מ.ד. לא קראתי את כל ה140 פוסטים ויכול להיות שכתבו את זה אבל תוכל להגיד לי כמה ג'יגה ראם צריך מינימום בשביל הדבר הזה
התוכנה עצמה צורכת עד 500MB RAM. רוב הזמן צורכת כ-30-50MB RAM.
-
@עזיז תנסה שוב, אולי זה חד פעמי.
אם לא עוזר, תחליף מודל.
תבדוק אם אישרת תאימות SSL בהגדרות מתקדמות כמובא למעלה. -
@א.מ.ד.
ניסיתי להתקין את https://clawhub.ai/ivangdavila/playwright
@tc כתב בSmartiAI לווינדוס, סוכן AI שיכול לעשות הכל!:
@א.מ.ד.
ניסיתי להתקין את https://clawhub.ai/ivangdavila/playwrightהוא כותב שזה לא בטוח לפי המידע ששרת הסקילים מספק. בינתיים חסמתי כל התקנה לא בטוחה.
-
@tc כתב בSmartiAI לווינדוס, סוכן AI שיכול לעשות הכל!:
@א.מ.ד.
ניסיתי להתקין את https://clawhub.ai/ivangdavila/playwrightהוא כותב שזה לא בטוח לפי המידע ששרת הסקילים מספק. בינתיים חסמתי כל התקנה לא בטוחה.
-
@עזיז כתב בSmartiAI לווינדוס, סוכן AI שיכול לעשות הכל!:
@א.מ.ד.
העתקתי את המפתח API מהאתר שהבאתזה מפתח של ג'מיני, לא של GPT.
@עזיז כתב בSmartiAI לווינדוס, סוכן AI שיכול לעשות הכל!:
ואיפוא אני מוצא את ההגדרה המדוברת בנטפרי?
זה לא משהו שאתה יכול לשנות בקלות לפי מה שידוע לי.
-
@עזיז כתב בSmartiAI לווינדוס, סוכן AI שיכול לעשות הכל!:
@א.מ.ד.
העתקתי את המפתח API מהאתר שהבאתזה מפתח של ג'מיני, לא של GPT.
@עזיז כתב בSmartiAI לווינדוס, סוכן AI שיכול לעשות הכל!:
ואיפוא אני מוצא את ההגדרה המדוברת בנטפרי?
זה לא משהו שאתה יכול לשנות בקלות לפי מה שידוע לי.
-
@עזיז כתב בSmartiAI לווינדוס, סוכן AI שיכול לעשות הכל!:
@א.מ.ד.
העתקתי את המפתח API מהאתר שהבאתזה מפתח של ג'מיני, לא של GPT.
@עזיז כתב בSmartiAI לווינדוס, סוכן AI שיכול לעשות הכל!:
ואיפוא אני מוצא את ההגדרה המדוברת בנטפרי?
זה לא משהו שאתה יכול לשנות בקלות לפי מה שידוע לי.
-
@א.מ.ד. כתב בSmartiAI לווינדוס, סוכן AI שיכול לעשות הכל!:
זה מפתח של ג'מיני, לא של GPT.
אבל להחליף מודל אין בגימני
-
@tc כתב בSmartiAI לווינדוס, סוכן AI שיכול לעשות הכל!:
זה הסקיל עם הכי הרבה התקנות שם
אני אבדוק את זה לגרסה הבאה.
אתה יכול בינתיים לנסות להוריד ולהתקין ידנית, לא ניסיתי בעצמי.
תכניס את הקבצים לתיקיה הזאת בתוך תת-תיקייה עם שם הסקיל (תדביק את הנתיב הזה בסייר הקבצים שלך):%APPDATA%\SmartiAI\skills -
@א.מ.ד. אני מנסה להבין מה היכולות וההגבלות שלו,
לדוגמא ביקשתי ממנו לפתוח קובץ וורד ולהקליד בו טקסט פשוט ולסגור אותו כPDF,
לפתוח וורד הצליח, להקליד טקסט רק אחרי הרבה פעמים וקומבינות שלו, ולסגור כPDF הוא לא יכול,
למה זה?@א.ל-0 כתב בSmartiAI לווינדוס, סוכן AI שיכול לעשות הכל!:
לדוגמא ביקשתי ממנו לפתוח קובץ וורד ולהקליד בו טקסט פשוט ולסגור אותו כPDF,
לפתוח וורד הצליח, להקליד טקסט רק אחרי הרבה פעמים וקומבינות שלו, ולסגור כPDF הוא לא יכול,
למה זה?על תוכנות אחרות השליטה שלו מוגבלת לפי האפשרויות שהתוכנות החיצוניות מספקות, אבל צריך לדעת לא לספק לו את הדרך להגיע לתוצאה, כלומר אם אתה רוצה קובץ PDF תכתוב לו לעשות לך PDF, והוא ייצר את זה בקלות כנראה (לא ניסיתי, אבל זה לא אמור להיות לו מסובך מידי)
-
@א.מ.ד. אתה פשוט אלוףףףףףףףףףףףףףףףףףףף
זה אחד הדברים המטורפים שראיתי בחיים שלי (כאחד שמשתמש מושבע של סמארטי באנדרואיד ועוזר לי המון ברכב אפילו שלאחרונה הפסיק לעבוד מחכים שיחזור...)
יש פה בעיה קטנה שמתי שהוא נותן קישורים לאינטרנט זה בכתב כחול ועל הרקע זה כמעט לא קריא מצורף תמונה
תודה רבה לך על הכל!!!!!!!!!
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}