Lucas Atkins объясняет, что для создания конкурентоспособных AI-моделей важен полный контроль над стеком и открытые веса для кастомизации, прозрачности и безопасности. Это позволяет лучше адаптировать модели под задачи клиентов и вести исследовательскую работу, недоступную в закрытых экосистемах.
Training a 400B Model on 2,048 Blackwell GPUs for $20M | Researcher Conversations at GTC
полный разбор ролика · 5 глав ↓
Введение и опыт
Лукас Аткинс — CTO и глава исследований RCAI, с опытом в open-source AI, начиная с пост-тренировки моделей и переходом к предобучению.
С 2025 года они работают над собственными предобученными моделями, стремясь к контролю над стеком.
Почему предобучение и полный стек
Ограничения работы с чужими базовыми моделями и требования клиентов, особенно по безопасности и соответствию.
Отсутствие в Западе компаний, полностью зависящих от качества предобученных моделей, снижает конкурентоспособность.
Владение стеком позволяет лучше кастомизировать модели и улучшать пост-тренировку, что важно для клиентов.
Значение открытых весов
Прежде всего — суверенитет и полный контроль над продуктом и процессом разработки, что критично для корпоративных клиентов.
Открытые веса позволяют самостоятельно дообучать модели под новые задачи и снижать издержки.
Открытость способствует прозрачности, безопасности и позволяет большему числу исследователей анализировать и улучшать модели.
Роль открытого сообщества и исследований
Открытое исследование и open-source проекты, как AlexNet и PyTorch, сыграли ключевую роль в развитии AI.
Коммерциализация и гонка капиталов замедляют прогресс и ограничивают доступ к передовым технологиям.
Важно сохранять открытость для ускорения инноваций и обеспечения безопасности.
Конкуренция за ресурсы и таланты
Талант легче привлечь, если дать возможность работать с открытыми весами и видеть результаты своего труда.
Конкуренция в вычислительных ресурсах сложнее, так как зависит от финансирования и доходов.
Предоставление исследовательской свободы и открытости — ключ к удержанию специалистов.