Безопасность агентов: разделяй генератор и валидатор
Доклад Маной Наира из Snyk о безопасности агентного ИИ: главная идея — разделять генератор и валидатор, не доверять LLM как единственному источнику истины. Показаны реальные данные о росте уязвимостей, токсичных скиллах и MCP-серверах. Практический вывод: использовать LLM для поиска новых поверхностей, а детерминированные проверки — для известных проблем.
Разделяй генератор и валидатор: LLM ненадежен, нужны детерминированные проверки и контроль агентов.
Для оператора входа в AI это прямое руководство: при построении оркестрации моделей и автоматизации внедрять разделение генерации и валидации, проверять сторонние скиллы и MCP-серверы, использовать детерминированные проверки для известных уязвимостей и LLM для новых. Конкретные инструменты Snyk (Studio, Evo) можно интегрировать в пайплайны для автоматического контроля безопасности.