GitHub הוסיף ל-Copilot ניהול של אפליקציות דסקטופ, אך עדיין ממליץ על כלים אחרים

ב-1 באוקטובר GitHub שיחררה את הפונקציה החדשה computer use ב-Copilot, כרגע במצב תצוגה מקדימה ציבורית. היא מאפשרת ל-Copilot CLI ולאפליקציית הדסקטופ לעבוד בתוכנות macOS ו-Windows: הסוכן יכול לקרוא תוכן, ללחוץ, להקליד, לגלול ולגרור. זה עובד גם בתוכנות ישנות, שאין להן לא API, לא שורת פקודה ולא אינטגרציית MCP.

בהדגמת ההשקה GitHub הראתה מילוי חשבון הוצאות ב-Safari, אך מזכירה גם תרחישים אחרים: סיכום מידע באפליקציה ישנה, עדכון מצגת, הזנת נתונים והעברת מידע בין תוכנות. הפונקציה זמינה מהטרמינל או מאפליקציית Copilot.

למה GitHub ממליץ על כלים ישירים

הפעלת computer use ב-Copilot CLI מפעילה תוסף מובנה עם שרת MCP משלו. הפונקציה עובדת בסשנים מקומיים: היא קוראת את תוכן האפליקציה דרך גישת מערכת ההפעלה, ולקבלת הקשר חזותי היא לוכדת תמונות מסך.

GitHub עדיין ממליצה להשתמש תחילה בכלים ישירים: API, שרת MCP, פקודת טרמינל, כלי קבצים או כלי דפדפן מספקים תוצאה מובנית וצפויה יותר מאינטראקציה עם דסקטופ. נשיא OpenAI, גרג ברוקמן, שמר בחודש שעבר על גישה רחבה: לסוכנים צריך להיות ממשקי אדם, כדי שהתעשייה לא תצטרך לבנות מחבר לכל תוכנה.

הרשאות ובקרה ארגונית

הפונקציה מופעלת ב-Copilot CLI באמצעות הפקודה /computer, ובאפליקציה מהגדרות Computer Use. ב-macOS נדרשת בנוסף הרשאת Accessibility לניהול אלמנטים והרשאת Screen Recording לצפייה בחלונות. מצב ההרשאות של סשן CLI קובע אם Copilot ישאל את המשתמש לפני גישה לאפליקציה. בעת בקשה ניתן לאשר גישה לסשן הנוכחי, לבחור „אשר תמיד" לסשנים עתידיים או לדחות; כללי החסימה גבוהים על אוטומטיים ועל הרשאות שמורות.

ההרשאות השמורות ב-CLI עוברות גם לאפליקציית הדסקטופ באותו מחשב. הסרת אפליקציה מרשימת „מאושר תמיד" מבטלת את ההרשאות לסשנים עתידיים, אך לא משפיעה על גישה שניתנה בסשן הנוכחי. מדיניות ארגונית גבוהה מהגדרה המקומית של המפתח: אם הגדרות הניהול חוסמות את computer use, Copilot CLI מצהיר שהפונקציה אינה זמינה. באמצעות managed-settings.json הבעלים שולטים אם מפתחים יכולים לעקוף את בקשות ההרשאות באפליקציית Copilot, ב-CLI וב-VS Code. מדיניות ברירת המחדל של GitHub על חבילות Business ו-Enterprise לא משנה את תנאי התצוגה המקדימה: היא תיכנס לתוקף ב-22 באוקטובר ואינה כוללת פונקציות תצוגה מקדימה.

האמינות תלויה בממשק

GitHub מזהירה: שינוי בזמן או במצב החלון עלול לאלץ את Copilot לחזור על פעולות או לעצור את התהליך. הסוכן עלול לבחור אלמנט לא נכון, להקליד בשדה לא נכון או לא להתמודד עם ממשקים דינמיים.