Длинный контекст в LLM не решает проблему понимания и памяти модели. Нужно создавать компактные, обученные заранее «картриджи» знаний, которые сжимают и структурируют информацию для быстрой и точной работы моделей с меньшим числом токенов. Это повышает эффективность и точность AI-систем.
The AI Memory Problem: Why Long Context Isn’t Enough — Dan Biderman, Engram Co-founder & CEO
наведи и нажми на цифру — раскроется глава
полный разбор ролика · 5 глав ↓
Введение и знакомство
Дэн Бидерман рассказывает о своем увлечении кулинарией, которая помогает ему расслабиться и мыслить.
Обсуждается, как кулинария связана с его подходом к работе и исследованиям в AI.
Путь в AI и образование
Опыт службы в израильском спецназе дал навыки исследования, аргументации и командной работы.
Образование в области когнитивной нейронауки и вычислительной нейронауки сформировало фундамент для работы с нейросетями и LLM.
Проблема контекста и эффективность данных
Дэн объясняет, что задача — научить модели работать эффективно с ограниченным количеством данных (semi-supervised learning).
Текущие модели тратят слишком много токенов на чтение, что снижает точность и увеличивает затраты.
Концепция «картриджей» знаний
Картриджи — это сжатые, обученные представления, которые можно загружать в модель для быстрого доступа к знаниям.
Они позволяют модели работать точнее и быстрее, используя меньше токенов, и создавать интуицию, а не просто повторять текст.
От текстовых данных к интуиции моделей
Модели сейчас работают как новички, которые каждый раз заново читают рецепты, не имея интуиции.
Обучение с помощью картриджей помогает моделям делать новые выводы и создавать уникальные решения, выходящие за рамки простого повторения.