Modal создал runtime для AI с фокусом на простоту разработчика и агентов, отказавшись от сложного Kubernetes. Ключ — коллокация инфраструктуры с кодом через декораторы и поддержка самопровизирования, что ускоряет работу агентов и упрощает оркестрацию моделей.
The Future of AI Infra: from Kubernetes to Agent Sandboxes — Akshat Bubna, Modal CTO
полный разбор ролика · 5 глав ↓
Фокус на опыте агентов
Modal изменил подход с фокуса на разработчиков к фокусу на опыт агентов (AX), чтобы сделать управление инфраструктурой проще и быстрее.
Использование декораторов вместо громоздких YAML позволяет агентам быстро вносить изменения и видеть их в действии без сложного Kubernetes.
Проблемы Kubernetes и идея Modal
Kubernetes плохо подходит для bursty, ресурсоёмких AI задач из-за медленного масштабирования и сложной настройки.
Modal создает runtime, оптимизированный под такие нагрузки с возможностью быстро масштабироваться и поддержкой специализированных сред.
Инфраструктура как код через декораторы
Декораторы позволяют описывать требования к инфраструктуре рядом с бизнес-логикой, сокращая время на конфигурацию.
Это облегчает управление и обновление окружения, делает процесс более выразительным и динамичным.
Наблюдаемость и взаимодействие человека с агентами
Наблюдаемость важнее прямого просмотра кода, так как агенты работают на абстрактном уровне.
CLI и дашборды помогают людям быстро понимать состояние системы и корректировать поведение агентов.
Sandbox и итерации агентов
Modal внедрил sandbox-окружения для безопасного запуска агентов, позволяя им итеративно улучшать свои действия.
Это критично для работы с моделями, которые плохо справляются с длинными циклами и требуют постоянной проверки результатов.