разбор · дистилляция
3.0
из 10
смотреть не обязательно — забрать выжимку и пункты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал
Обучение модели предсказания правок на данных пользователей
How We Built Zeta2: Training an Edit Prediction Model in Production — Ben Kunkle, Zed
Zed 2 обучается на данных реальных пользователей: снимки кода вокруг курсора, дистилляция от frontier-моделей с шагом ремонта, фильтрация шума через settled data и дешевые проверки студентом. Ключевое: итеративный пайплайн JSONL, эксперименты на 15% трафика, метрики вроде Levenshtein и reversal ratio.
Zed 2 обучают на дистиллированных данных, фильтруя шум через генерацию и сравнение с устоявшимся кодом.
что из этого моё
Можно применить подход к сбору данных и итеративному обучению для своих моделей: снапшоты контекста, дистилляция с ремонтом, фильтрация через settled data и A/B-тесты. Особенно ценна идея кэширования промежуточных данных и дешевой проверки студентом вместо дорогого учителя.
Что забрать
отметь, что берёшь в работу → или отбрось как не своёмоё →
собирать снапшоты кода вокруг курсора с контекстом для обучения модели предсказания правок
кэшировать результаты дистилляции и переиспользовать для разных экспериментов, меняя форматирование промпта
запускать A/B-тесты в проде: выкатывать модель на 15% трафика и сравнивать acceptance rate
о чём говорят, по времени
главы доводят до 06:30 · дальше по ролику меток нет
01
Введение и суть00:00 ↗
Ben Kunkel представляет задачу предсказания правок и модель Zed 2.
02
Пайплайн данных01:30 ↗
Описание сбора данных и дистилляции от frontier-модели.
03
Форматирование и эксперименты03:00 ↗
Как превращают предсказания учителя в промпты для студента и варьируют эксперименты.
04
Settled data04:30 ↗
Использование итогового состояния кода после правок для фильтрации шума.
05
Оценка и прод06:30 ↗
Метрики и A/B-тестирование в продакшене.