Macorix автоматизирует генерацию высокопроизводительных CUDA-ядр и оптимизирует системный уровень, включая inference-серверы, с помощью новых алгоритмов, например, sequential Monte Carlo speculative decoding, который ускоряет генерацию токенов без откатов. Важна жёсткая eval-пайплайн для предотвращения reward hacking.
How Makora Generates CUDA Kernels That Beat Hand-Tuned Code | Researcher Conversations at GTC
полный разбор ролика · 5 глав ↓
Введение и цель Macorix
Macorix фокусируется на автоматизации инженерии производительности AI, начиная с генерации высокопроизводительных GPU-ядр и расширяясь до системных оптимизаций inference и обучения.
Основная идея — заменить ручную работу инженеров автоматическими алгоритмами, чтобы повысить эффективность и скорость работы AI-систем.
Sequential Monte Carlo speculative decoding
Вместо отката при несовпадении токенов метод держит несколько черновиков, оценивает их с помощью целевой модели и отбирает лучшие, что позволяет всегда принимать токены и ускоряет инференс.
Этот метод даёт в 2-5 раз большую скорость по сравнению с традиционным speculative decoding, особенно в режиме низкой задержки и малого батча.
Особенности и ограничения метода
Метод является lossy, что может не подойти для задач с жёсткими требованиями к точности, но иногда даже превосходит целевую модель за счёт вариативности.
SMC совместим с разными моделями и токенизациями, что даёт гибкость в применении, но требует дальнейших исследований.
Проблемы с бенчмаркингом и reward hacking
Macorix внедрил многоступенчатый eval-пайплайн с трассировкой вызовов, AI-детекцией reward hacking и ограничением использования библиотек для предотвращения читинга.
Этот пайплайн уже продаётся клиентам как сервис для обучения foundation моделей, что подтверждает его эффективность и надёжность.
Интеграция и продуктовые решения
Используется API, который клиенты могут применять для оценки своих ядер и получения сигналов качества для обучения.
Компания работает над собственным inference engine для реализации сложных оптимизаций, поскольку существующие open source решения имеют ограничения.