ת ג'מיני רובוטיקס ER 2
מערכת Gemini Robotics ER 2 מייצגת שינוי משמעותי בהפעלת רובוטים באמצעות הבנת וידאו, תזמור משימות ושיתוף פעולה מרובי רובוטים - מה שמאפשר לרובוטים להיות מועילים יותר בעולם הפיזי.
כדי שרובוטים יוכלו לסייע לבני אדם בסביבות יומיומיות, חשיבה מרחבית מדויקת אינה מספיקה. רובוטים חייבים גם לחשוב מהר, לתזמן את החלטותיהם ולהגות את החשיבה שלהם במהירות בזמן אמת של העולם הפיזי.
זו הסיבה שאנחנו משיקים היוםג'מיני רובוטיקס ER 2, מודל "החשיבה המגולמת" המסוגל ביותר שלנו לרובוטיקה. חשבו על Gemini Robotics ER 2 כמוח ברמה גבוהה עבור רובוטים. הוא מאפשר לרובוטים לשוחח עם בני אדם, להבין את העולם הפיזי ולתכנן משימות מרובות שלבים. לאחר מכן הוא מעביר את הביצוע המוטורי לכל מודל ראייה-שפה-פעולה (VLA) ברמה נמוכה יותר. Gemini Robotics ER 2 יכול גם לקרוא באופן טבעי לכלים כמו חיפוש גוגל כדי למצוא מידע, או כל פונקציה אחרת המוגדרת על ידי המשתמש. העיצוב של Gemini Robotics ER 2 מאפשר לרובוט "לחשוב" על מה שיבוא אחר כך תוך ביצוע פעולותיו בו זמנית.
ג'מיני רובוטיקס ER 2 מייצג שדרוג משמעותי לעומתג'מיני רובוטיקס ER 1.6על ידי צפייה בעדכוני וידאו רציפים, רובוטים יכולים כעת לעקוב אחר ההתקדמות שלהם, להסתגל אם משהו משתבש, ולדעת בדיוק מתי לעבור לשלב הבא. אנו גם מציגים שיתוף פעולה בין רובוטים מרובים, המאפשר לרובוטים לעבוד יחד בחללים משותפים ולהשלים זרימות עבודה מורכבות שרובוט יחיד לא יוכל לבצע לבד.
Gemini Robotics ER 2 זמין כעת לציבור למפתחים דרךממשק ה-API של ג'מיני,סטודיו גוגל בינה מלאכותית, ובתצוגה מקדימה פרטית בפלטפורמת סוכני ארגוניים של ג'מיניכדי לעזור לך להתחיל, אנו משתפיםדוגמאותכיצד להגדיר את המודל ולגרום לו להפעיל משימות בינה מלאכותית פיזיות שימושיות יותר.
קידום יכולות סוכנות פיזית
רוב המשימות בעולם הפיזי הן מורכבות ודורשות מספר שלבים להשלמה. Gemini Robotics ER 2 הוא סוכן פיזי, המתזמר שלבים עבור הרובוט ומאפשר לו לתקן את עצמו, ולהכליל למצבים חדשים יותר. כדי לבנות מערך סוכני, מפתחים יכולים להכריז על ממשקי בקרה ברמה נמוכה - כמו מודלים של Vision-Language-Action (VLA) או ממשקי API לניווט - ככלים, ולהזרים וידאו, אודיו או טקסט רב-מודאליים ישירות לתוך המודל.
ג'מיני רובוטיקס ER 2 משפר את תהליך העבודה של תזמור כלים זה. אנו יכולים להעריך את ביצועיו עם רובוטים בסימולציה, באמצעות בקרת רובוטים בעולם האמיתי, ואפילו לשלב אותו עם אדם השולט ברובוט מרחוק.
ברובוטיקה, חשיבה ברמה גבוהה תלויה במהירות הביצוע. ג'מיני רובוטיקס ER 2 משתלב ב...ממשק API של ג'מיני לייב, תוך שימוש בנקודת קצה דו-כיוונית של סטרימינג, המותאמת למשימות רגישות להשהייה. התוצאה היא תזמור זורם: Gemini Robotics ER 2 מצווה על מודלי פעולה וממשקי API של רובוטיקה להשלים משימות מרובות שלבים ללא הפסקות "עצור וחשוב" מטרידות.
כדי להמחיש זאת, בנינו הדגמה עםלְזַהוֹתמהשותפים שלנו בבוסטון דיינמיקסאנו משתמשים ב-Gemini Robotics ER 2 לתזמורממשקי API של Spot, כגון ניווט ותנועת מניפולטור, ויוצרים רובוט אינטראקטיבי שיאסוף עבורך חפצים.
לא ניתן היה להפעיל את המדיה.
הקוד זמין בגיטהאבעם דוגמאות אחרות.
פתיחת אינטליגנציה זמנית להשלמת משימות בצורה איתנה
אחד האתגרים הקשים ביותר של הרובוטיקה הוא לדעת מתי משימה הסתיימה. מכשיר Gemini Robotics ER 2 מביא שינוי משמעותי בהבנת וידאו ומעקב אחר ההתקדמות כדי לוודא שמשימות מורכבות - כמו הידוק נורה או קשירת שקית אשפה - הושלמו לפי המפרט לפני המעבר למשימה הבאה.
בעדכון זה, התקדמנו בשתי יכולות בסיסיות להבנת התקדמות משימות: סיווג התקדמות ומציאת רגעים.
סיווג התקדמות מתמשכת
סיווג התקדמות מתייחס ליכולתו של רובוט לעקוב אחר התקדמות לקראת השלמת משימה. בהערכות שלנו, אנו מקצים כל פריים בשידור וידאו לחמש רמות התקדמות (0-20%, 20-40%, 40-60%, 60-80%, 80-100%). על ידי כימות התקדמות המשימה, Gemini Robotics ER 2 מספק לרובוטים מודעות מצבית בזמן אמת, ומאפשר להם להתאים פעולות תוך כדי תנועה או לנסות שוב שלבים שנכשלו מבלי להפעיל מחדש זרימת עבודה שלמה.
מציאת מומנטים מדויקת
איתור מומנטים מודד את יכולתו של מודל לזהות את פריים הווידאו המדויק שבו מתרחש אירוע קריטי (כלומר, מתי להפסיק למזוג קפה לספל). מערכת Gemini Robotics ER 2 משיגה שיפורים משמעותיים בביצועים באיתור מומנטים, ומאפשרת לרובוטים לעבור במדויק בין משימות, לאמת הצלחה ולהציע תיקונים.
שיתוף פעולה בין רובוטים מרובים
אין רובוט יחיד שמתאים לכל משימה - רכב גלגלים מצטיין בתוך מבנים, בעוד שרובוט דמוי אדם עשוי להצטיין בשטח לא אחיד. Gemini Robotics 2 מאפשר שיתוף פעולה בין רובוטים מרובים, ומאפשר למכונות מגוונות לתקשר באמצעות הבנה סמנטית משותפת כדי להעביר ולהשלים משימות מורכבות. ראו כיצד Gemini Robotics ER 2 מאפשר...אפטרוניקשלאפולו 2ופרנקה F3 דואולשתף פעולהכָּאן.
שיפור האינטליגנציה המרחבית הכללית
מערכת Gemini Robotics ER 2 משפרת את יכולות החשיבה המרחבית הבסיסיות שלנו, כפי שנמדד על ידי שלושה מדדים:
זיהוי הצלחה/כשל: כעת פועל על הזנות וידאו גולמיות במקום תמונות מצב סטטיות כדי לזהות כשלים באמצע ביצוע כמו דליפות, החלקות או חוסר יישור.
קריאת מכשירים כללית: משתרעת מעבר לחוגות עגולות וכוסות ראייה וכוללת צגים דיגיטליים, סולמות ליניאריים, סרגלים ומדחומים נוזליים. בדקנו זאת על פני 10 סוגים שונים של מכשירים.
VQA מרחבי משופר: משפר את מענה השאלות החזותיות באמצעות ההתקדמות של ג'מיני בהבנה רב-מודאלית.
קידום בטיחות עבור בינה מגולמת
Gemini Robotics ER 2 הוא המודל הבטוח ביותר שלנו, ומשיג שיפורים משמעותיים בבדיקות בטיחות וקירבה אנושית, אשר מעריכים כיצד מודל דבק באילוצים פיזיים במהלך משימות חשיבה ומודעות מרחבית לגילוי בני אדם. מצאנו ש-Gemini Robotics ER 2 עוצר בהצלחה רובוט דמוי אדם כאשר אדם נמצא בקרבת מקום ומחדש את עבודתו באופן אוטונומי רק לאחר שהאזור פנוי. כדי לקדם את הבטיחות עבור סוכנים פיזיקליים, אנו מציגים מדד שמעריך את יכולתו של מודל בסיס לפעול כמתזמר VLA בטוח על ידי בדיקת יכולתו לאכוף אילוצי בטיחות, לנטר את הסביבה, להעריך היתכנות פיזית ולבקש הבהרות אנושיות.
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}