GitHub додав керування десктопними додатками до Copilot, хоча поки радить інші інструменти

1 жовтня GitHub випустив нову функцію computer use в Copilot, поки в режимі публічного прев'ю. Вона дозволяє Copilot CLI та десктопному додатку працювати в програмах macOS і Windows: агент може читати вміст, клікати, друкувати, прокручувати та перетягувати. Це працює також у старих програмах, які не мають ні API, ні командного рядка, ні MCP інтеграції.

На демонстрації запуску GitHub показав заповнення рахунку витрат у Safari, хоча згадує й інші сценарії: узагальнення інформації в старому додатку, оновлення презентації, введення даних та перенесення інформації між програмами. Функція доступна з терміналу або з додатку Copilot.

Чому GitHub радить прямі інструменти

Увімкнення computer use в Copilot CLI активує вбудований плагін з власним MCP сервером. Функція працює в локальних сесіях: вміст додатку читається через міст доступності операційної системи, а для візуального контексту робляться знімки екрана.

GitHub все ж радить насамперед використовувати прямі інструменти: API, MCP сервер, команду терміналу, інструмент файлів або інструмент браузера дають більш структурований і передбачуваний результат, ніж взаємодія з десктопом. Президент OpenAI Грег Брокман минулого місяця також зайняв широку позицію: агентам слід використовувати людські інтерфейси, щоб індустрії не довелося створювати конектор для кожної програми.

Дозволи та корпоративний контроль

Функція в Copilot CLI вмикається командою /computer, а в додатку — з налаштувань Computer Use. На macOS додатково потрібен дозвіл Accessibility для керування елементами та дозвіл Screen Recording для перегляду вікон. Режим дозволів сесії CLI визначає, чи запитуватиме Copilot користувача перед доступом до додатку. За запиту доступ можна дати для поточної сесії, обрати «Завжди дозволяти» для майбутніх сесій або відмовити; правила заборони мають вищий пріоритет за автоматичні та збережені дозволи.

Збережені в CLI дозволи переносяться на десктопний додаток на тому ж комп'ютері. Видалення додатку зі списку «Завжди дозволено» скасовує дозволи для майбутніх сесій, але не впливає на доступ, наданий у поточній сесії. Корпоративна політика має вищий пріоритет за локальний параметр розробника: якщо керовані параметри блокують computer use, Copilot CLI повідомляє, що функція недоступна. За допомогою managed-settings.json власники контролюють, чи можуть розробники обходити запити дозволів у додатку Copilot, CLI та VS Code. Політика увімкнення за замовчуванням в GitHub для пакетів Business та Enterprise не змінює ці умови прев'ю: вона набирає чинності 22 жовтня і не включає функції прев'ю.

Надійність залежить від інтерфейсу

GitHub попереджає: зміна часу або стану вікна може змусити Copilot повторювати дії або зупиняти процес. Агент може вибрати неправильний елемент, ввести текст у неправильне поле або не впоратися з динамічними інтерфейсами.