Makora развивает платформу для автоматизации и оптимизации генерации и валидации низкоуровневого кода с помощью LLM, фокусируясь на end-to-end решениях для эффективного деплоя моделей и управления инфраструктурой. Основная задача — не просто кодогенерация, а создание комплексной платформы с валидацией и оптимизацией.
Waleed Atallah (Makora) x Dylan Patel | Researcher Conversations at GTC
полный разбор ролика · 5 глав ↓
Введение и контекст
Makora меняет фокус с улучшения генерации кода на создание платформы, которая облегчает работу с высокопроизводительным кодом, используя LLM.
Вся индустрия переосмысливает кодогенерацию, и Makora движется к созданию продукта, который решает реальные задачи инженеров, а не просто генерирует код.
Переход к платформе
Makora не отказывается от кодогенерации, а строит платформу, которая использует улучшения в LLM как базу для создания комплексных решений.
Платформа должна обеспечивать автоматизацию и интеграцию, делая кодогенерацию частью более широкой системы с валидацией и оптимизацией.
Оптимизация деплоя и валидация
Для каждого случая использования нужно учитывать доступные GPU, облако и SLA, чтобы оптимально развернуть модель.
Используют автоматический отбор конфигураций с помощью LLM, исключая неэффективные, и проводят тесты для построения кривой производительности.
Автоматизация и партнерство
Процесс пока частично ручной, но автоматизация быстро прогрессирует, включая поддержку новых моделей и функций.
Проект открыт, с бесплатным доступом к GPU от партнеров, что ускоряет развитие и расширение платформы.
Важность валидации и производительности
Валидация показывает значительные колебания производительности даже на одном оборудовании из-за различий в ядрах и оптимизациях.
Использование быстрых режимов и закрытых моделей дает преимущество в скорости и качестве, что важно для коммерческого успеха.