שיתוף | הפכתי את Google AI Studio לסוכן אוטונומי מלא – שליטה במחשב ובדפדפן (Gemini Control)

[אחד מקצועי]

משתף פרויקט לדעתי אדיר בפוטנציאל, תכירו את Gemini Control.

הצלחתי לפתח תוסף שמצליח להפוך את ה-AI בגוגל סטודיו(BUILD) לסוכן על מלא.

Spoiler

גילוי נאות נעזרתי בAI לניסוח חלק מהפוסט אבל זה תוכן שלי

עד היום גוגל AI סטודיו היה כלי עם מלא קרדיטים חינמיים וחלון הקשר ענק, אבל הוא היה תקוע בתוך הסביבה ולא יכול באמת לבצע פעולות סוכן.
אמרתי לעצמי: אם לקלוד יש תוסף שנותן לו את הכלים, למה לג'מיני לא יכול להיות כזה דבר?
אז פיתחתי תוסף שנותן לו שליטה מלאה על הדפדפן, ושליטה על המחשב[כרגע רק בווינדוס].

בקצרה?
המערכת מורכבת מ-3 חלקים שמתחברים יחד באופן אוטונומי:
המוח (AI Studio): סביבת העבודה שבה רץ המודל מדובר בסוכן המקודד(על בסיס המכסה הרגילה/החינמית שלכם בסטודיו – ללא צורך במפתח API בתשלום לפי טוקן!).
התוסף ששולט על הדפדפן ומתקשר אם הAI בלייב: , מקליד, לוחץ ומנווט שקט מבלי לגנוב את הפוקוס .
תוכנה מקומית לשליטה על המחשב : שכולל שרת שקט ומאובטח המאזין מקומית בלבד וממשק לשליטה ובקרה , ומאפשר לסוכן להריץ פקודות טרמינל, לפתוח תוכנות, ללחוץ על אלמנטים ולערוך קבצים ועוד .

עכשיו לשאלה שמיד צצה: מה העניין בזה, יש כבר את אנטי גרוויטי ואת קלוד?

• דבר ראשון, הבשורה בעיקר היא לכל מי שלא בא לו לשלם כסף על הסוכן [וזה לא בא להתחרות בהם בשום מצב].
• מול אנטי גרוויטי וגם מול קלוד יש יתרונות: מכסה גבוהה משמעותית מול המכסה החינמית של אנטי גרוויטי, ולקלוד כידוע אין בכלל מכסה חינמית לסוכן ובנוסף מי שרוצה בתשלום אין הגבלת מכסה 5 שעות כמו באנטי גרוויטי.
• הוא יכול לפעול על הדפדפן שלך ולא צריך לפתוח לו חשבון נפרד [מי שרוצה שיפתח לו חשבון, אבל מי שלא – צריך קצת להיזהר שלא יעשה לו שטויות].
• זה לא מצריך סביבה וירטואלית [כמובן שנבנו לו הגנות רבות לגבי קבצי וינדוס וקבצים רגישים, עיין ערך אבטחה, גם במצב גישה מלאה].
• לא צריך לאשר לו כל אתר [אלא אם כן תגדירו לו שכן].
• יש עוד כמה מעלות, אבל גם אם לא – תמיד זה לא רע במקרה שנגמרו הטוקנים אצל קלוד או בכל מקום אחר.

בנוסף לכל היכולת הסוכנית, יש פה משהו ייחודי נראה לי במוצר של גוגל [בקלוד זה קיים כבר]:
זה אמור לעזור בסיטואציה שאתם רואים שהמודל קצת הבין את המשימה לא נכון או שחסר לו מידע, ואז אתה מוכרח לעצור את המשימה ונשרפים סתם טוקנים.

כאן יש אפשרות להקליד לו הנחיה שנכנסת לו ממש בתוך הלולאה – הוא רואה את זה וממשיך הלאה [חשוב לציין שהוא יראה את זה רק אם הוא ביצע פעולה חיצונית ואז זה מצורף לו].
הוא גם יכול, במקרה של ספק מצידו באמצע לולאה, להקפיץ באנר של שאלה. כנ"ל הוא יכול להקפיץ סיכום של המשימה ומה בוצע [תלוי מה הגדרתם בהגדרות].

איך זה עובד מול המחשב ומצבי הפעלה:
התוכנה שמותקנת על המחשב נותנת לסוכן לתקשר עם המחשב. בצורה כזו התוכנה מפעילה שרת מקומי, ואז דרך התוסף הוא שולט.
מצבי הפעלה
מצב חופשי (שימו לב!! - זה מצב ברירת המחדל): הסוכן פועל באופן עצמאי ומבצע את המשימה מקצה לקצה.
מצב בטוח : ניתן להגדרה דרך התוכנה. במצב זה הסוכן מחויב לחקור, להציג לכם תוכנית עבודה מפורטת, לחכות לאישור שלכם, ורק לאחר שאישרתם להתחיל לבצע.

בכל מצב, ניתן לראות בתוכנה יומן של כל פעולה שהוא ביצע על המחשב.
מי שמעונין בקוד הפתוח[למען הסר חשש] אז בקבצי התקנה צורף גם הקוד הפתוח של התוכנה .

מבחינת כלים ויכולות שיש לתוסף ולמחשב: השתדלתי לבנות לפי הכלים הידועים שיש לתוסף של קלוד על המחשב ואנטי גרוויטי [מבוסס על תיעוד ועוד כלים שהתבררו כמוצלחים].
אני אכתוב בספוילר בסוף את היכולות שיש לו, וכנ"ל הרחבה על אבטחה

---

מדריך להתקנה:
מדריך התקנה מהיר (4 שלבים):

1. הורדת קובץ ה-ZIP:

קישור להורדה ישירה:
https://drive.google.com/file/d/1IZaBJV3PcWxI0jwPkWez7TxzOoyGrgna/view?usp=sharing

2. פתיחת הפרויקט ב-Google AI Studio
   פותחים פרויקט חדש ב-Google AI Studio (בסביבת Build).

מומלץ להקליד בפרומפט הראשון: "אל תבנה כלום, אני מעוניין להעלות קבצים קודם".
מעלים את קובץ ה-ZIP לפרויקט וממתינים לטעינת הסביבה.
3. הורדת התוסף המותאם אישית:
במסך התצוגה המקדימה (Preview) של האפליקציה שנפתחה, לוחצים על "הורד תוסף".לגבי התקנת התוסף יש שם מדריך ברור
שימו לב התוסף יורד כשהוא כבר כולל אוטומטית את כתובת השרת הספציפית וקוד הצימוד (PIN) של הפרויקט שלכם!
[כמובן שלכל אחד זה שונה]

4. התקנת תוכנת המחשב (Windows):
   מורידים את קובץ ההתקנה (Setup_GeminiControl.exe) ישירות מהכפתור באפליקציה .
   מפעילים את ההתקנה.
   אישור ראשוני: בפעם הראשונה שהתוסף ינסה לתקשר עם התוכנה, יקפוץ לכם חלון אישור רשמי של Windows. שהתוסף מבקש להתחבר פעם ראשונה לוחצים "כן" / "אישור" – וזהו! מהרגע הזה שני האייקונים (גלובוס ומסך) יהפכו לירוקים פועמים, והסוכן מוכן לעבודה.

לגבי השרת וקוד הפין שיופיע שם:
השרת משתנה לפי פרויקט, כלומר כל פעם שתעלו את קובץ הזיפ ותפתחו פרויקט חדש תקבלו כתובת שרת חדשה – זה מתעדכן אוטומטית באפליקציה.
לגבי קוד הפין, גם הוא מתקבל כקוד רנדומלי בעת ההפעלה.

---

תמונות של הפרויקט:

זה התמונה של גוגל סטודיו שמשם מנהלים את הסוכן:

זה התמונה של התוכנה:

התוסף:

---

רשימת הכלים ויכולות הסוכן בלי להיכנס לפרטים [יש גם כלים נוספים שהושמטו כי אלה כלים טכניים]:

Spoiler

.
יכולות דפדפן:

בפועל 26 כלי ליבה (המתפצלים ל-36 פקודות פעולה ספציפיות)

• מיפוי וניווט: סריקת עץ הנגישות המלא (Accessibility Tree) ומיפוי סמנטי של כל האלמנטים הלחיצים בעמוד לפי כוונת המשתמש.
• אינטראקציה מלאה: תמיכה בכל פעולות המשתמש – קליקים (בודד/כפול/ימני), הקלדה (כולל שדות Autocomplete ו-Enter), גלילה ושיגור צירופי מקשים.
• טיפול בטפסים וקבצים: זיהוי והזנת שדות מאומתת, כולל העלאה ישירה של קבצים לשדות קלט (ללא תלות בדיאלוג המערכת) והורדת קבצים.
• שליטה בלשוניות (Tabs): פתיחה, מעבר וריצה שקטה ברקע, עם מעבר לפוקוס רק בסיום משימה או בדרישת אימות (2FA).
• מעקף CSP והרצת קוד: הרצת סקריפטים של JS בקונטקסט של הדף תוך עקיפת הגבלות אבטחת תוכן (CSP).
• אוטומציה וניפוי: ניטור קונסול ורשת (Network Logs) בזמן אמת, סגירה אוטומטית של פופ-אפים והמתנה חכמה לטעינת רשת מלאה (Network Idle).

יכולות מחשב (OS / Desktop):
בפועל 27 כלי ליבה (המתפצלים ל-38 פקודות פעולה)

• שליטה כפולה (עץ UI + ראייה ממוחשבת): שילוב של סריקת UI Automation ב-Windows כברירת מחדל משתמש בעץ ובקנבסים ומשחקים משתמש בראיה ממוחשבת, אם יכולת חיתוך (Crop) וזום לצורך ניתוח אזורים קטנים.
• התאמת DPI ודיוק מיקומים: המרת קואורדינטות יחסיות המותאמות אוטומטית לכל קנה מידה ורזולוציה פיזית.
• מנגנון Delta Check: אימות חזותי אוטומטי לפני ואחרי כל פעולה לוודא שהמסך אכן הגיב (שימושי לקנבס, משחקים ותוכנות כבדות).
• שליטה היקפית מלאה: הדמיית עכבר מלאה (גרירות, לחיצות מרובות), מקלדת עם תמיכה מלאה ביוניקוד ובעברית, קיצורי דרך מורכבים וסנכרון לוח גזירים (Clipboard).

כלי קבצים, מערכת ופיתוח:

• עריכה כירורגית מוגנת: שינוי מדויק של שורות קוד וטקסט בקבצים קיימים, לצד מנגנון גיבוי אוטומטי (.bak) ואפשרות Rollback מיידית במקרה של שגיאה.
• ניהול תהליכי רקע: הרצת פקודות טרמינל סינכרוניות, לצד הפעלת תהליכים ממושכים ברקע (כמו שרתי Dev) כולל קריאת Logs בזמן אמת ושליחת קלט.
• חיפוש וניהול קבצים: חיפוש טקסט ממוקד (Grep), איתור שמות קבצים תוך התעלמות מתיקיות כבדות (node_modules וכו'), יצירה ומחיקה מבוקרת.
• שליטה ביישומים: פתיחה וסגירה יזומה של תוכנות, וקריאת נתוני חומרה ומערכת הפעלה
  וביתר הרחבה זה נמצא בקובץ "סוכנים" שבזיפ

מנגנון האבטחה
חשוב לי לציין מראש: כל הדברים לא מצריכים שום פעולה מצד המשתמש, מלבד אישור חד-פעמי להתחברות התוסף בעת ההתקנה – כל השאר אוטומטי.

Spoiler

מערך האבטחה וההגנה של המערכת

מנגנון האבטחה בשרת המקומי

1. בידוד רשת

• האזנה מקומית בלבד: השרת מאזין אך ורק לכתובת ה-Loopback הפנימית 127.0.0.1 (בפורט 9988).
• משמעות מעשית: אין שום אפשרות להתחבר לשרת ממחשב אחר ברשת הביתית/משרדית (LAN), ובוודאי שלא מרשת האינטרנט החיצונית.

2. סינון מקורות

• חסימת אתרי אינטרנט מהדפדפן: כאשר דפדפן גולש לאתר כלשהו, האתר עלול לנסות לפנות ברקע ל-localhost:9988. השרת בודק את כותרות ה-Origin וה-Referer בכל בקשה:
  • פניות מדפי אינטרנט רגילים (כולל אתרים של גוגל, שרתי ענן או אתרים עצמאיים) נחסמות מיידית בקוד שגיאה 403 Forbidden.
  • השרת מאשר תקשורת אך ורק לתוספי דפדפן מוכרים (chrome-extension://, edge-extension://, moz-extension://) או לאפליקציית הדסקטופ המקומית המזוהה לפי חתימת סוכן ייעודית.

3. אישור פיזי של המשתמש על גבי שולחן העבודה

• חובת אישור אנושי: כדי שתוסף חדש יוכל לתקשר עם השרת, נדרש אישור פיזי של המשתמש.
• חלון מערכת ישיר: השרת מפעיל ישירות דרך ה-Win32 API חלון הודעה רשמי של מערכת ההפעלה .
• משמעות: החלון קופץ פיזית מעל כל החלונות במחשב, והחיבור נבלם לחלוטין עד שהמשתמש לוחץ בעצמו על "כן".
• מניעת הצפות (Debounce): מנגנון נעילה ייעודי בקוד מונע הקפצה של חלונות מרובים ומאחד בקשות מקבילות לחלון אחד כדי למנוע הטרדה של המשתמש.

4. אימות באמצעות טוקנים קריפטוגרפיים

• מפתח גישה חד-פעמי: בעת אישור החיבור על ידי המשתמש, מונפק טוקן אקראי מאובטח .
• אימות בכל פעולה: כל פעולה על המחשב (עכבר, מקלדת, קבצים, טרמינל) מחייבת העברת הטוקן בכותרות הבקשה . בקשות ללא טוקן תואם נדחות ב-401 Unauthorized.
• ערפול בדיסק: קובץ הטוקנים המקומי נשמר כשהוא מוצפן

5. הגנה על תהליכי מערכת קריטיים

• רשימה מוגנת קשיחה: בפעולות סגירת יישומים, מוטמעת בקוד רשימת הגנה סגורה הכוללת עשרות תהליכי ליבה של Windows (כמו explorer.exe, dwm.exe, services.exe, svchost.exe, lsass.exe וכו').
• הגנה עצמית: המערכת חוסמת מראש ניסיונות לסגור את שרת הפייתון עצמו, את חלונות הפקודה הפעילים או את תהליך האב של התוכנה.

6. גיבוי קבצים אוטומטי ומניעת נזק

• גיבוי מבודד לפני כל עריכה: לפני כל פעולת שינוי קובץ , השרת מייצר אוטומטית עותק גיבוי מלא עם חותמת זיהוי חד-חד-ערכית (Hash של הנתיב המלא).
• שמירה בתיקייה ייעודית: הגיבויים נשמרים בתיקיית גיבויים מרכזית ומבודדת , כדי לא ללכלך את תיקיית הפרויקט של המשתמש בקובצי .bak.
• שחזור מהיר: המערכת כוללת פקודת שחזור ייעודית, המאפשרת להחזיר את הקובץ המקורי במקרה של טעות בעריכה בלחיצה אחת.

---

מנגנון האבטחה בתוסף הדפדפן

1. צימוד סגור מבוסס PIN

• התוסף אינו מתחבר לכל שרת ברשת. בעת ההורדה וההתקנה מהסטודיו, מוטמעים בו כתובת השרת הייעודית וקוד צימוד אקראי שנוצרו במיוחד לאותו פרויקט, מה שמונע "זליגת פקודות" ממופעים אחרים.

2. פעילות מבודדת בלשוניות רקע

• פעולות הדפדפן של הסוכן מתבצעות בלשוניות רקע ייעודיות, מבלי לגנוב את פוקוס המקלדת או העכבר של המשתמש בזמן שהוא עובד על לשוניות אחרות. פוקוס מועבר רק כאשר נדרשת התערבות אנושית מפורשת (כמו פתרון קפצ'ה או הזנת 2FA).

3. חומת אש מפני הזרקת פקודות

• בהגדרות הסוכן מוגדרת הפרדה מוחלטת בין פקודות משתמש לבין תוכן אתרים:
  • כל מידע הנקרא מדפי אינטרנט, קבצים חיצוניים או לוגים מוגדר כמידע פסיבי בלבד.
  • לסוכן יש הוראה מפורשת להתעלם לחלוטין מכל טקסט באתר שטוען שהוא "הוראת מערכת", "התראת אבטחה" או מנסה לשנות את מטרת המשימה.

ספוילר הצצה לגרסה הבאה שבשלבי פיתוח:

Spoiler

יכלול צ'אט ודפדפן בתוכנה ועוד המון הוספות בל"נ

---

אשמח לשמוע חוות דעת, רעיונות לשיפור ושיתוף איך זה עובד.

הבהרה: מדובר בפיתוח אישי. מומלץ מאוד להתחיל בזהירות, להכיר את המערכת ולוודא שאתם מבינים את הפעולות (במיוחד במצב החופשי)

## ובבקשה, למען יעמדו הדברים ימים רבים – נא לא להפיץ את זה, אלא להשתמש כל אחד לעצמו וד"ל.

[דוד משה 1]

אשמח אם תפרסם בגיטאב שם תוכל גם לקבל PR ולהפוך את זה למשהו יותר מוצלח

[מוקד המערכות]

@אחד-מקצועי

אפשרי בנטפרי ?

[צול גאה]

@מוקד-המערכות כן

[הידען]

לא הבנתי איך מתיקינים במחשב יש לי נטפרי הורדתי את הקובץ מה עכשיו? אני לא רואה שום קובץ התקנה שם?

[אחד מקצועי]

@הידען
אתה מדבר על הזיפ?
[או שכבר פתחת פרויקט בגוגל סטודיו]
אם לא פתחת
אתה צריך לפתוח פרויקט חדש בגוגל סטודיו
ומשם יש הסבר ברור באפליקציה [שתופיע בתצוגה המקדימה]

[אחד מקצועי]

@דוד-משה-1
עובד על זה

[הידען]

@אחד-מקצועי לא הבנתי מה הקשר בין פתיחת פוריקט בסטודיו לזה?

[מטען נייד]

@אחד-מקצועי לא‌​‌‌​‌​​​​​‌ הצלחתי להבין איפה לפתוח פרויקט בAI סטודיו

[הידען]

@מטען-נייד והוא לא נותן לעלות לשם את הקובץ?

[מטען נייד]

זה‌​‌‌​‌​​​​​‌ מה שהוא עושה

[אחד מקצועי]

@הידען
@מטען-נייד
כדי שהAI יוכל להפוך לסוכן הוא חייב את הקבצים שבזיפ
||[אם זה לא היה ברור הסוכן הולך להתנהל מהפרויקט שתפתח]||
לפתוח כאן

ואז כאן וזהו

[הידען]

@אחד-מקצועי ממש מסובך יש סיכוי שתתן הסבר מפורט על כל שלב!

נגיד מה עכשיו עושים

שרת הגישור המרכזי וה-AI: server.ts (ניהול WebSockets, חיבורי סשנים לדפדפן ולמחשב, אינטגרציית Gemini).
כלי ה-CLI והאוטומציה: scripts/browser.cjs, scripts/pc.cjs, scripts/deploy_pc_server.cjs.
ממשק המשתמש וההגדרות: src/App.tsx, GuideModal.tsx, ErrorBoundary.tsx, ו-config.json.
הנחיות הפעולה והבטיחות: AGENTS.md.
המערכת מהודקת, נבדקה ועוברת קומפילציה מלאה בהצלחה.
במה תרצה שנתמקד כעת או איזו פעולה נרצה להריץ?

[מטען נייד]

@אחד-מקצועי עדיין‌​‌‌​‌​​​​​‌ הוא לא יכול להעלות לא זיפ ולא תיקיות

[אחד מקצועי]

@הידען
עכשיו תכנס לתצוגה מקדימה שם
משם נראה שיהיה די ברור
תתקין תוסף [וזה לכשעצמו יתן לך שליטה על הדפדפן לשליטה על המחשב תתקין משם גם את התוכנה]

[מטען נייד]

@אחד-מקצועי אפשרי‌​‌‌​‌​​​​​‌ בנטפרי?
התצוגה מקדימה חסום...

[צדיק וטוב לו 0]

@צול-גאה כתב:

@מוקד-המערכות כן

איך?
תצוגה מקדימה חסומה בנטפרי.

[אחד מקצועי]

@מטען-נייד
קצת בעיה, כי התוסף צריך לרדת דווקא דרך שם. בנוסף אם התצוגה המקדימה לא עובדת, אז גם התוסף לא יוכל לתקשר
(התוסף מתקשר דרך השרת של התצוגה המקדימה). בעברית, אם התצוגה המקדימה לא עובדת, אז לא נראה לי שהוא יכול לעבוד. מתברר כנראה שבנטפרי זה פחות עובד. אולי תנסה לבקש מנטפרי שיפתחו את כתובת השרת? תשאל את ה-AI מה כתובת השרת שלך, ושלח אותה לבדיקה.

[הידען]

אין תכלס אפשרות לעשות את התוכנה בלי כל הבלאגן הזה?

[אחד מקצועי]

@הידען
בפועל זה רק 3פעולות
לפתוח פרויקט
להתקין תוסף
להתקין תוכנה
[התוכנה לא חובה ]
אבל כל אחד הוא נצרך תאמין לי ניסיתי לקצר תהליכים
אגב היה תקיעה נוספת או משהו לא ברור חוץ מנטפרי?