Open Computer Use — кроссплатформенный open-source MCP-сервер, дающий агентам доступ к графическому интерфейсу ОС через accessibility API. Это позволяет агентам управлять курсором, нажимать кнопки и считывать состояние приложений, расширяя автоматизацию за пределы терминала.
open-computer-use: открытая альтернатива Codex Computer Use через MCP
полный разбор ролика · 5 глав ↓
Введение в проблему
Современные агенты работают только в терминале и не видят графику, что ограничивает автоматизацию.
Доступ к графическому интерфейсу даст агентам «глаза и руки», открывая новые возможности для разработки и тестирования.
Проблемы и решение Open Computer Use
Open AI Compute доступен только на Mac и заблокирован в Европе, что ограничивает универсальность.
Open Computer Use — открытый, кроссплатформенный MCP-сервер, который работает на Mac, Linux и Windows без ограничений.
Технический принцип MCP
MCP использует accessibility API для получения структурированной информации об интерфейсе, а не сырые пиксели.
Агенты могут управлять курсором, вводить текст, делать скриншоты и запрашивать состояние приложений, сохраняя стабильность и предсказуемость.
Установка и интеграция
Установка через npm и выдача прав на Mac обязательны для работы.
Интеграция в агенты происходит одной командой, поддерживаются Cloud MCP, Codex, Gemini и NPX Skills AD для удобства.
Практические кейсы и ограничения
Агенты могут визуально проверять UI, воспроизводить баги и извлекать состояние приложений без сложных скриптов.
Для стабильной работы цепочек действий нужен пакетный режим с сохранением состояния.
Безопасность критична: не давать агентам доступ к приложениям с конфиденциальной информацией, чтобы избежать ошибок и рисков.