В 2023 году контекстная инженерия быстро развивается, ключевые тренды — переход к agentic RAG с подагентами, ограничение итераций и параллелизация запросов для повышения эффективности. Малые модели теряют долю, средние и большие растут, а переобучение и точечная настройка под задачи становятся важными.
[State of Context Engineering] Agentic RAG, Context Rot, MCP, Subagents — Nina Lopatina, Contextual
наведи и нажми на цифру — раскроется глава
полный разбор ролика · 5 глав ↓
Введение и тренды моделей
Обсуждается снижение доли малых моделей (<15 млрд параметров) и рост средних (15-70 млрд) и больших моделей, что отражает текущие рыночные тенденции.
Малые модели сохраняют актуальность в узких задачах с низкой задержкой, например, для ранжирования, но общий тренд — рост средних и больших.
Ранжирование и instruction-following re-rankers
Instruction-following re-rankers помогают повысить точность отбора данных для контекста, что критично при работе с большими базами.
Хотя считается, что для instruction-following нужны большие модели, на практике небольшие модели показывают приемлемую латентность.
Agentic RAG и подагенты
Agentic RAG с разбиением запросов на подзапросы улучшает качество поиска и позволяет параллелить запросы, что повышает производительность.
Лимиты по числу ходов и проверок подагентов необходимы, чтобы избежать бесконечных циклов и излишней нагрузки, особенно на больших данных.
Практика на примере хакатона
Подагенты склонны к многократным проверкам и обходу всех данных, что требует жестких ограничений по итерациям.
Использование динамических агентов и ограничений по времени помогает эффективно работать с большими и разнородными наборами данных.
Будущее контекстной инженерии
Контекстная инженерия находится в стадии прототипирования, но скоро появятся оптимизации по кешированию и управлению токенами для масштабирования.
Ожидается рост сложности решаемых задач и улучшение архитектур с учетом параллелизма и ограничений агентов.