Автономные агенты: риски и проверяемость
Обзор недели: единое приложение, объединяющее чат, написание кода, браузер и агентов с удалённым доступом к машинам; режим, в котором алгоритм сутками сам идёт к поставленной цели; подключение к финансовым данным напрямую через протокол. Главный поднятый риск — неточно поставленная цель: система без человеческого здравого смысла может выбрать разрушительный, но формально оптимальный путь. Отдельно отмечено, как меняется восприятие, когда алгоритм получает физическое тело.
ИИ становится автономным: сам пишет код, управляет серверами и рынками, но это несёт риски и страх общества.
Практический вывод про доступы: агенту, который работает у заказчика, выдавать права ровно под задачу и вести журнал действий, а не давать полный доступ к базе, потому что так быстрее настроить. Формулировка задачи для автономного прогона должна содержать запреты, а не только цель — иначе он однажды удалит лишнее, а отвечать перед клиентом придётся исполнителю.