разбор · оркестрациятема-фронтир · H 1.49
2.0
из 10
смотреть не обязательно — забрать выжимку и пункты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал
Длинный контекст не решает память: нужны картриджи знаний
The AI Memory Problem: Why Long Context Isn’t Enough — Dan Biderman, Engram Co-founder & CEO
Длинный контекст в LLM не решает проблему понимания и памяти модели. Нужно создавать компактные, обученные заранее «картриджи» знаний, которые сжимают и структурируют информацию для быстрой и точной работы моделей с меньшим числом токенов. Это повышает эффективность и точность AI-систем.
Обучение на данных компании в веса модели решает проблему контекста: дешевле, точнее и масштабируется на…
что из этого моё
Аргумент про 80 гигабайт состояния модели на одну статью из Википедии — готовый ответ заказчику, который просит просто загрузить все документы компании в чат: длинный контекст дорожает и теряет точность, а не решает задачу. Практический вывод скромнее — корпус клиента надо сжимать заранее, а не подавать сырым.
Что забрать
отметь, что берёшь в работу → или отбрось как не своёмоё →
сжать корпус клиента в компактный картридж знаний перед подачей в модель
замерить стоимость и точность длинного контекста на своей задаче
настроить предобучение на специфичных данных для создания картриджей
о чём говорят, по времени
главы доводят до 11:30 · дальше по ролику меток нет
01
Введение и знакомство00:00 ↗
Представление гостя и начало разговора о кулинарии как метафоре.
02
Путь в AI и образование02:00 ↗
История становления Дэна от спецназа до исследователя AI.
03
Проблема контекста и эффективность данных07:00 ↗
Почему длинный контекст недостаточен и важна эффективность обучения.
04
Концепция «картриджей» знаний09:30 ↗
Создание компактных, обученных представлений знаний для моделей.
05
От текстовых данных к интуиции моделей11:30 ↗
Почему простое чтение текстов не дает глубины понимания.