Promptfoo: от eval-инструмента к платформе безопасности AI
Иан Уэбстер, создатель Promptfoo, рассказывает о переходе от eval-инструмента к платформе безопасности для AI. Ключевой инсайт: eval — это товар, а настоящая ценность в управлении рисками приложений, особенно на стыке приложения и модели. Он подчеркивает важность ручного контекста, а не только черного ящика, и видит будущее за безопасностью агентов и MCP.
Promptfoo превратился из eval-инструмента в security-платформу, генерирующую атаки под конкретное приложение,
Видео полезно для понимания, как строить систему оценки и безопасности для AI-приложений. Можно применить подход Promptfoo: генерировать атаки на основе бизнес-контекста, использовать side-by-side сравнения, и встраивать проверки в CI/CD. Для оператора входа в AI это значит, что при оркестрации моделей нужно предусмотреть механизмы оценки и безопасности, а не только функциональность.