שיתוף | הפכתי את Google AI Studio לסוכן אוטונומי מלא – שליטה במחשב ובדפדפן (Gemini Control)
-
@אחד-מקצועי הכפתור להורדת התוסף לא עובד תוכל להעלות אותו לכאן?
תודה@המתכנת-הצעיר
בבקשהזה קישור שיפתח לך ישר פרויקט רק תלחץ על "רימקס" והפרויקט יהפוך ליהות זמין [ושם זה גרסה יותר מתקדמת והתוסף עובד ]
https://ai.studio/apps/1993db78-e593-4b27-9086-7d6af017496c -
עדכון
בהודעת הפתיחה שינתי את מדריך התקנה
מהיום לא צריך להוריד את הזיפ ואז לפתוח פרויקט באופן מסובך
עכשיו זה בפעולה פשוטה אחת כניסה לקישור ולחיצה על רימקס
https://ai.studio/apps/1993db78-e593-4b27-9086-7d6af017496c -
עדכון
בהודעת הפתיחה שינתי את מדריך התקנה
מהיום לא צריך להוריד את הזיפ ואז לפתוח פרויקט באופן מסובך
עכשיו זה בפעולה פשוטה אחת כניסה לקישור ולחיצה על רימקס
https://ai.studio/apps/1993db78-e593-4b27-9086-7d6af017496c@אחד-מקצועי משהו לא הבנתי בתוכנה כתוב מחובר אבל היא לא מגיבה כלום...
ובתוסף לא הבנתי מה להגדיר... הכנסתי את https://aistudio.google.com/apps/ והוא לא מזהה
אני מרגיש טיפש מוחלט
-
@אחד-מקצועי משהו לא הבנתי בתוכנה כתוב מחובר אבל היא לא מגיבה כלום...
ובתוסף לא הבנתי מה להגדיר... הכנסתי את https://aistudio.google.com/apps/ והוא לא מזהה
אני מרגיש טיפש מוחלט
-
@נוחעם-FM
זה מוזר
כי אתה ברעיון לא צריך להגדיר כלום קוד השרת והפין מגיעם אוטומטי אם התוסף שיורד
התוסף צריך ליראות כמו בתמונה
בדקתי את זה הרגע עשיתי את התהליך מחדש וזה עבד רגיל
נכנסת אם הקישור לרימקס?
אם לא תיכנס משם ואז תוריד את התוסף
@אחד-מקצועי לא, עשיתי את הישן מהפוסט הראשון. חסום לי התצוגה אז שאלתי אותו האם יש דרך לעקוף את זה והוא נתן לי סקריפט לפאוארשל שהוריד לי את התיקייה ואותה טענתי כתוסף.
זה השיחה איתו - תבקש גישה -
משתף פרויקט לדעתי אדיר בפוטנציאל, תכירו את Gemini Control.
הצלחתי לפתח תוסף שמצליח להפוך את ה-AI בגוגל סטודיו(BUILD) לסוכן על מלא.
*עדכון ניתן לפתוח פרויקט באופן פשוט הרבה יותר מפורט במדריך ההתקנה *
גילוי נאות נעזרתי בAI לניסוח חלק מהפוסט אבל זה תוכן שלי
עד היום גוגל AI סטודיו היה כלי עם מלא קרדיטים חינמיים וחלון הקשר ענק, אבל הוא היה תקוע בתוך הסביבה ולא יכול באמת לבצע פעולות סוכן.
אמרתי לעצמי: אם לקלוד יש תוסף שנותן לו את הכלים, למה לג'מיני לא יכול להיות כזה דבר?
אז פיתחתי תוסף שנותן לו שליטה מלאה על הדפדפן, ושליטה על המחשב[כרגע רק בווינדוס].בקצרה?
המערכת מורכבת מ-3 חלקים שמתחברים יחד באופן אוטונומי:
המוח (AI Studio): סביבת העבודה שבה רץ המודל מדובר בסוכן המקודד(על בסיס המכסה הרגילה/החינמית שלכם בסטודיו – ללא צורך במפתח API בתשלום לפי טוקן!).
התוסף ששולט על הדפדפן ומתקשר אם הAI בלייב: , מקליד, לוחץ ומנווט שקט מבלי לגנוב את הפוקוס .
תוכנה מקומית לשליטה על המחשב : שכולל שרת שקט ומאובטח המאזין מקומית בלבד וממשק לשליטה ובקרה , ומאפשר לסוכן להריץ פקודות טרמינל, לפתוח תוכנות, ללחוץ על אלמנטים ולערוך קבצים ועוד .עכשיו לשאלה שמיד צצה: מה העניין בזה, יש כבר את אנטי גרוויטי ואת קלוד?
- דבר ראשון, הבשורה בעיקר היא לכל מי שלא בא לו לשלם כסף על הסוכן [וזה לא בא להתחרות בהם בשום מצב].
- מול אנטי גרוויטי וגם מול קלוד יש יתרונות: מכסה גבוהה משמעותית מול המכסה החינמית של אנטי גרוויטי, ולקלוד כידוע אין בכלל מכסה חינמית לסוכן ובנוסף מי שרוצה בתשלום אין הגבלת מכסה 5 שעות כמו באנטי גרוויטי.
- הוא יכול לפעול על הדפדפן שלך ולא צריך לפתוח לו חשבון נפרד [מי שרוצה שיפתח לו חשבון, אבל מי שלא – צריך קצת להיזהר שלא יעשה לו שטויות].
- זה לא מצריך סביבה וירטואלית [כמובן שנבנו לו הגנות רבות לגבי קבצי וינדוס וקבצים רגישים, עיין ערך אבטחה, גם במצב גישה מלאה].
- לא צריך לאשר לו כל אתר [אלא אם כן תגדירו לו שכן].
- יש עוד כמה מעלות, אבל גם אם לא – תמיד זה לא רע במקרה שנגמרו הטוקנים אצל קלוד או בכל מקום אחר.
בנוסף לכל היכולת הסוכנית, יש פה משהו ייחודי נראה לי במוצר של גוגל [בקלוד זה קיים כבר]:
זה אמור לעזור בסיטואציה שאתם רואים שהמודל קצת הבין את המשימה לא נכון או שחסר לו מידע, ואז אתה מוכרח לעצור את המשימה ונשרפים סתם טוקנים.כאן יש אפשרות להקליד לו הנחיה שנכנסת לו ממש בתוך הלולאה – הוא רואה את זה וממשיך הלאה [חשוב לציין שהוא יראה את זה רק אם הוא ביצע פעולה חיצונית ואז זה מצורף לו].
הוא גם יכול, במקרה של ספק מצידו באמצע לולאה, להקפיץ באנר של שאלה. כנ"ל הוא יכול להקפיץ סיכום של המשימה ומה בוצע [תלוי מה הגדרתם בהגדרות].איך זה עובד מול המחשב ומצבי הפעלה:
התוכנה שמותקנת על המחשב נותנת לסוכן לתקשר עם המחשב. בצורה כזו התוכנה מפעילה שרת מקומי, ואז דרך התוסף הוא שולט.
מצבי הפעלה
מצב חופשי (שימו לב!! - זה מצב ברירת המחדל): הסוכן פועל באופן עצמאי ומבצע את המשימה מקצה לקצה.
מצב בטוח : ניתן להגדרה דרך התוכנה. במצב זה הסוכן מחויב לחקור, להציג לכם תוכנית עבודה מפורטת, לחכות לאישור שלכם, ורק לאחר שאישרתם להתחיל לבצע.בכל מצב, ניתן לראות בתוכנה יומן של כל פעולה שהוא ביצע על המחשב.
מי שמעונין בקוד הפתוח[למען הסר חשש] אז בקבצי התקנה צורף גם הקוד הפתוח של התוכנה .מבחינת כלים ויכולות שיש לתוסף ולמחשב: השתדלתי לבנות לפי הכלים הידועים שיש לתוסף של קלוד על המחשב ואנטי גרוויטי [מבוסס על תיעוד ועוד כלים שהתבררו כמוצלחים].
אני אכתוב בספוילר בסוף את היכולות שיש לו, וכנ"ל הרחבה על אבטחה
מדריך להתקנה:
מדריך התקנה מהיר (3 שלבים):1.פתיחת פרויקט:
פתיחת פרויקט על ידי כניסה לקישור המצורף ולחיצה על רימקס
https://ai.studio/apps/1993db78-e593-4b27-9086-7d6af017496c-
הורדת התוסף המותאם אישית:
במסך התצוגה המקדימה (Preview) של האפליקציה שנפתחה, לוחצים על "הורד תוסף".לגבי התקנת התוסף יש שם מדריך ברור
שימו לב התוסף יורד כשהוא כבר כולל אוטומטית את כתובת השרת הספציפית וקוד הצימוד (PIN) של הפרויקט שלכם!
[כמובן שלכל אחד זה שונה] -
התקנת תוכנת המחשב (Windows):
מורידים את קובץ ההתקנה (Setup_GeminiControl.exe) ישירות מהכפתור באפליקציה .
מפעילים את ההתקנה.
אישור ראשוני: בפעם הראשונה שהתוסף ינסה לתקשר עם התוכנה, יקפוץ לכם חלון אישור רשמי של Windows. שהתוסף מבקש להתחבר פעם ראשונה לוחצים "כן" / "אישור" – וזהו! מהרגע הזה שני האייקונים (גלובוס ומסך) יהפכו לירוקים פועמים, והסוכן מוכן לעבודה.
לגבי השרת וקוד הפין שיופיע שם:
השרת משתנה לפי פרויקט, כלומר ברגע שאתם לוחצים על רימקס תקבלו כתובת שרת חדשה – זה מתעדכן אוטומטית באפליקציה.
גם קוד הפין, גם הוא מתקבל כקוד רנדומלי בעת ההפעלה הראשונית.
תמונות של הפרויקט:
זה התמונה של גוגל סטודיו שמשם מנהלים את הסוכן:
זה התמונה של התוכנה:
התוסף:
רשימת הכלים ויכולות הסוכן בלי להיכנס לפרטים [יש גם כלים נוספים שהושמטו כי אלה כלים טכניים]:
.
יכולות דפדפן:בפועל 26 כלי ליבה (המתפצלים ל-36 פקודות פעולה ספציפיות)
- מיפוי וניווט: סריקת עץ הנגישות המלא (Accessibility Tree) ומיפוי סמנטי של כל האלמנטים הלחיצים בעמוד לפי כוונת המשתמש.
- אינטראקציה מלאה: תמיכה בכל פעולות המשתמש – קליקים (בודד/כפול/ימני), הקלדה (כולל שדות Autocomplete ו-Enter), גלילה ושיגור צירופי מקשים.
- טיפול בטפסים וקבצים: זיהוי והזנת שדות מאומתת, כולל העלאה ישירה של קבצים לשדות קלט (ללא תלות בדיאלוג המערכת) והורדת קבצים.
- שליטה בלשוניות (Tabs): פתיחה, מעבר וריצה שקטה ברקע, עם מעבר לפוקוס רק בסיום משימה או בדרישת אימות (2FA).
- מעקף CSP והרצת קוד: הרצת סקריפטים של JS בקונטקסט של הדף תוך עקיפת הגבלות אבטחת תוכן (CSP).
- אוטומציה וניפוי: ניטור קונסול ורשת (Network Logs) בזמן אמת, סגירה אוטומטית של פופ-אפים והמתנה חכמה לטעינת רשת מלאה (Network Idle).
יכולות מחשב (OS / Desktop):
בפועל 27 כלי ליבה (המתפצלים ל-38 פקודות פעולה)- שליטה כפולה (עץ UI + ראייה ממוחשבת): שילוב של סריקת UI Automation ב-Windows כברירת מחדל משתמש בעץ ובקנבסים ומשחקים משתמש בראיה ממוחשבת, אם יכולת חיתוך (Crop) וזום לצורך ניתוח אזורים קטנים.
- התאמת DPI ודיוק מיקומים: המרת קואורדינטות יחסיות המותאמות אוטומטית לכל קנה מידה ורזולוציה פיזית.
- מנגנון Delta Check: אימות חזותי אוטומטי לפני ואחרי כל פעולה לוודא שהמסך אכן הגיב (שימושי לקנבס, משחקים ותוכנות כבדות).
- שליטה היקפית מלאה: הדמיית עכבר מלאה (גרירות, לחיצות מרובות), מקלדת עם תמיכה מלאה ביוניקוד ובעברית, קיצורי דרך מורכבים וסנכרון לוח גזירים (Clipboard).
כלי קבצים, מערכת ופיתוח:
- עריכה כירורגית מוגנת: שינוי מדויק של שורות קוד וטקסט בקבצים קיימים, לצד מנגנון גיבוי אוטומטי (.bak) ואפשרות Rollback מיידית במקרה של שגיאה.
- ניהול תהליכי רקע: הרצת פקודות טרמינל סינכרוניות, לצד הפעלת תהליכים ממושכים ברקע (כמו שרתי Dev) כולל קריאת Logs בזמן אמת ושליחת קלט.
- חיפוש וניהול קבצים: חיפוש טקסט ממוקד (Grep), איתור שמות קבצים תוך התעלמות מתיקיות כבדות (node_modules וכו'), יצירה ומחיקה מבוקרת.
- שליטה ביישומים: פתיחה וסגירה יזומה של תוכנות, וקריאת נתוני חומרה ומערכת הפעלה
וביתר הרחבה זה נמצא בקובץ "סוכנים" שבזיפ
מנגנון האבטחה
חשוב לי לציין מראש: כל הדברים לא מצריכים שום פעולה מצד המשתמש, מלבד אישור חד-פעמי להתחברות התוסף בעת ההתקנה – כל השאר אוטומטי.
מערך האבטחה וההגנה של המערכתמנגנון האבטחה בשרת המקומי
1. בידוד רשת
- האזנה מקומית בלבד: השרת מאזין אך ורק לכתובת ה-Loopback הפנימית
127.0.0.1(בפורט 9988). - משמעות מעשית: אין שום אפשרות להתחבר לשרת ממחשב אחר ברשת הביתית/משרדית (LAN), ובוודאי שלא מרשת האינטרנט החיצונית.
2. סינון מקורות
- חסימת אתרי אינטרנט מהדפדפן: כאשר דפדפן גולש לאתר כלשהו, האתר עלול לנסות לפנות ברקע ל-
localhost:9988. השרת בודק את כותרות ה-Originוה-Refererבכל בקשה:- פניות מדפי אינטרנט רגילים (כולל אתרים של גוגל, שרתי ענן או אתרים עצמאיים) נחסמות מיידית בקוד שגיאה
403 Forbidden. - השרת מאשר תקשורת אך ורק לתוספי דפדפן מוכרים (
chrome-extension://,edge-extension://,moz-extension://) או לאפליקציית הדסקטופ המקומית המזוהה לפי חתימת סוכן ייעודית.
- פניות מדפי אינטרנט רגילים (כולל אתרים של גוגל, שרתי ענן או אתרים עצמאיים) נחסמות מיידית בקוד שגיאה
3. אישור פיזי של המשתמש על גבי שולחן העבודה
- חובת אישור אנושי: כדי שתוסף חדש יוכל לתקשר עם השרת, נדרש אישור פיזי של המשתמש.
- חלון מערכת ישיר: השרת מפעיל ישירות דרך ה-Win32 API חלון הודעה רשמי של מערכת ההפעלה .
- משמעות: החלון קופץ פיזית מעל כל החלונות במחשב, והחיבור נבלם לחלוטין עד שהמשתמש לוחץ בעצמו על "כן".
- מניעת הצפות (Debounce): מנגנון נעילה ייעודי בקוד מונע הקפצה של חלונות מרובים ומאחד בקשות מקבילות לחלון אחד כדי למנוע הטרדה של המשתמש.
4. אימות באמצעות טוקנים קריפטוגרפיים
- מפתח גישה חד-פעמי: בעת אישור החיבור על ידי המשתמש, מונפק טוקן אקראי מאובטח .
- אימות בכל פעולה: כל פעולה על המחשב (עכבר, מקלדת, קבצים, טרמינל) מחייבת העברת הטוקן בכותרות הבקשה . בקשות ללא טוקן תואם נדחות ב-
401 Unauthorized. - ערפול בדיסק: קובץ הטוקנים המקומי נשמר כשהוא מוצפן
5. הגנה על תהליכי מערכת קריטיים
- רשימה מוגנת קשיחה: בפעולות סגירת יישומים, מוטמעת בקוד רשימת הגנה סגורה הכוללת עשרות תהליכי ליבה של Windows (כמו
explorer.exe,dwm.exe,services.exe,svchost.exe,lsass.exeוכו'). - הגנה עצמית: המערכת חוסמת מראש ניסיונות לסגור את שרת הפייתון עצמו, את חלונות הפקודה הפעילים או את תהליך האב של התוכנה.
6. גיבוי קבצים אוטומטי ומניעת נזק
- גיבוי מבודד לפני כל עריכה: לפני כל פעולת שינוי קובץ , השרת מייצר אוטומטית עותק גיבוי מלא עם חותמת זיהוי חד-חד-ערכית (Hash של הנתיב המלא).
- שמירה בתיקייה ייעודית: הגיבויים נשמרים בתיקיית גיבויים מרכזית ומבודדת , כדי לא ללכלך את תיקיית הפרויקט של המשתמש בקובצי
.bak. - שחזור מהיר: המערכת כוללת פקודת שחזור ייעודית, המאפשרת להחזיר את הקובץ המקורי במקרה של טעות בעריכה בלחיצה אחת.
מנגנון האבטחה בתוסף הדפדפן
1. צימוד סגור מבוסס PIN
- התוסף אינו מתחבר לכל שרת ברשת. בעת ההורדה וההתקנה מהסטודיו, מוטמעים בו כתובת השרת הייעודית וקוד צימוד אקראי שנוצרו במיוחד לאותו פרויקט, מה שמונע "זליגת פקודות" ממופעים אחרים.
2. פעילות מבודדת בלשוניות רקע
- פעולות הדפדפן של הסוכן מתבצעות בלשוניות רקע ייעודיות, מבלי לגנוב את פוקוס המקלדת או העכבר של המשתמש בזמן שהוא עובד על לשוניות אחרות. פוקוס מועבר רק כאשר נדרשת התערבות אנושית מפורשת (כמו פתרון קפצ'ה או הזנת 2FA).
3. חומת אש מפני הזרקת פקודות
- בהגדרות הסוכן מוגדרת הפרדה מוחלטת בין פקודות משתמש לבין תוכן אתרים:
- כל מידע הנקרא מדפי אינטרנט, קבצים חיצוניים או לוגים מוגדר כמידע פסיבי בלבד.
- לסוכן יש הוראה מפורשת להתעלם לחלוטין מכל טקסט באתר שטוען שהוא "הוראת מערכת", "התראת אבטחה" או מנסה לשנות את מטרת המשימה.
ספוילר הצצה לגרסה הבאה שבשלבי פיתוח:
יכלול צ'אט ודפדפן בתוכנה ועוד המון הוספות בל"נ
אשמח לשמוע חוות דעת, רעיונות לשיפור ושיתוף איך זה עובד.
הבהרה: מדובר בפיתוח אישי. מומלץ מאוד להתחיל בזהירות, להכיר את המערכת ולוודא שאתם מבינים את הפעולות (במיוחד במצב החופשי)
## ובבקשה, למען יעמדו הדברים ימים רבים – נא לא להפיץ את זה, אלא להשתמש כל אחד לעצמו וד"ל.
@אחד-מקצועי
אני לא מצליח כלל להגיע לתוסף ולתוכנה -
@אחד-מקצועי לא, עשיתי את הישן מהפוסט הראשון. חסום לי התצוגה אז שאלתי אותו האם יש דרך לעקוף את זה והוא נתן לי סקריפט לפאוארשל שהוריד לי את התיקייה ואותה טענתי כתוסף.
זה השיחה איתו - תבקש גישה@נוחעם-FM
כאמור בנטפרי התברר שזה לא עובדמהסיבה שאם התצוגה מקדימה לא עובדת אז החיבור בין התוסף לAI נקטע
כי החיבור מושתת על השרת שמפעיל את התצוגה המקדימה וברגע שנטפרי חסמו את השרת אין תקשורת בין הAI לתוסףכך שזה לא יעזור גם אם תתקין את התוסף
-
@אחד-מקצועי
אני לא מצליח כלל להגיע לתוסף ולתוכנה@בא-נלמד
כנ"ל בנטפרי זה לא עובד
אלא אם כן תבקשו מנטפרי לפתוח את כתובת השרת
[אתה יכול לשואל את הAI מה כתובת השרת שלך ולשלוח לבדיקה ואז זה יעבוד] -
@בא-נלמד
כנ"ל בנטפרי זה לא עובד
אלא אם כן תבקשו מנטפרי לפתוח את כתובת השרת
[אתה יכול לשואל את הAI מה כתובת השרת שלך ולשלוח לבדיקה ואז זה יעבוד]@אחד-מקצועי שלחתי לנטפרי לבדיקה
אע"פ שאני מאמין שהם יחסמו את זה, ניסיתי למכור להם איזה תירוץ...
זה יותר טוב מסמרטי?
https://mitmachim.top/post/1221079 -
@אחד-מקצועי שלחתי לנטפרי לבדיקה
אע"פ שאני מאמין שהם יחסמו את זה, ניסיתי למכור להם איזה תירוץ...
זה יותר טוב מסמרטי?
https://mitmachim.top/post/1221079@בא-נלמד
האם זה יותר טוב מסמרטי אני לא יודע כי לא השתמשתי בסמרטי
אני רק יודע שזה לא עובד על API ויש לך לכל מודל בנפרד מכסה ענקית כל יום גם אם גמרת אם גימני 3.8 [שאגב אתמול רץ לי למעלה משעה חינם ] אז אפשר לעבור ל 3.7
מבחינת ביצועים הכלים שלי לסוכן נבנו על פי תיעודים של קלוד ואנטי גרוויטי ועוד כמה דברים שראיתי שעזרו
יש לו יכולת להפנות לסוכנים אחרים בAPI בלי שתצטרך להגדיר שום מפתח כי זה על חשבון גוגל סטודיו שנותנת API חינם[כל עוד זה בפרויקט בתצוגה מקדימה]
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}