Создатель Claude: экономика будет без людей
Экспоненциальный рост AI-моделей продолжается, и ключ к успеху — масштабирование вычислительной мощности, объёма и качества данных, времени обучения и целевых функций. Обучение с подкреплением пока не даёт принципиально нового, а модели достигают обобщения через широкий и разнообразный датасет. Предобучение и обучение в контексте — разные уровни, приближающиеся к человеческому обучению, но с уникальными особенностями.
полный разбор ролика · 5 глав ↓
Оценка прогресса AI
Рост вычислительных мощностей и качества моделей соответствует ожиданиям, но общественное понимание близости к концу экспоненты отсутствует.
Экспоненциальный рост ведёт к переходу от моделей уровня студента к профессионалам и экспертам.
Гипотеза масштабирования
Выделено 7 важных факторов: вычислительная мощность, объём и качество данных, время обучения, масштабируемая целевая функция, нормализация и стабильность обучения.
Гипотеза подтверждается текущими законами масштабирования и остаётся актуальной.
Связь предобучения и обучения с подкреплением
Фаза предобучения и RL показывают схожие закономерности улучшения с увеличением времени обучения.
RL не является принципиально новым методом, а скорее продолжением предобучения с другими целями.
Обобщение через разнообразные данные
Обучение на узких датасетах не даёт обобщения, только широкий и разнообразный корпус (весь интернет) позволяет моделям обобщать.
Обучение на триллионах токенов — это неэффективно, но даёт модели априорные знания, аналогичные эволюции.
Иерархия обучения и адаптация в контексте
Предобучение — это не прямое обучение человека, а нечто среднее между эволюцией и обучением.
Длинный контекст позволяет моделям быстро адаптироваться без переобучения, что важно для гибкости агентов.