← Материалы разборы Yersham
разбор · агентытема-фронтир · H 1.50
2.0
из 10
смотреть не обязательно — забрать выжимку и пункты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал

Малые LLM до 9B: баланс возможностей и ограничений в агентских задачах

Small LLMs as Agents - A Test of Local Models up to 8B

Тест малых локальных LLM (3-9B) в агентских задачах: работа с кодом, websearch и tool calling. Лучшие: Omnicoder 9B, Ministral 3.8B, Qwen 9B. Многие модели ломаются на вызове тулов или записи JSON. Для практики лучший баланс у Nemotron 3 Nano 4B.

Тест малых локальных LLM (3-9B) в агентских задачах: работа с кодом, websearch и tool calling. Лучшие: Omnicoder 9B, Ministral 3.8B, Qwen 9B. Многие модели ломаются на вызове тулов или записи JSON. Для практики лучший баланс у Nemotron 3 Nano 4B.

что из этого моё

Можно использовать результаты для выбора локальных моделей в оркестрации агентов: отдавать предпочтение Omnicoder 9B и Ministral 3.8B для задач с кодом, а для tool calling — Nemotron 3 Nano 4B. Также полезно внедрить бенчмарк tool calling для оценки моделей перед интеграцией.

Тезисы ролика
применимого к своей работе линза здесь не нашла
Для агентских задач с кодом выбирайте модели 8B+ (Omnicoder 9B, Ministral 3.8B) — они стабильнее и реже зацикливаются.
Проверяйте модели на бенчмарке tool calling: Nemotron 3 Nano 4B показал лучший Agent Score 0.8 среди малых.
Если модель зацикливается или не вызывает тулы, пробуйте менять jinja-шаблон и температуру, но это не всегда помогает.
В websearch-сценариях следите за количеством запросов: Sera 8B сожгла 200 запросов и не завершила задачу.
о чём говорят, по времени
главы доводят до 10:18 · дальше по ролику меток нет
01
Введение и методология00:00
Обзор теста: малые модели, локальный запуск, критерии оценки.
02
Тест 1: Работа с кодом00:31
Модели решают задачу в существующем проекте Focusboard.
03
Тест 2: Websearch05:08
Модели ищут новости и сохраняют результат в JSON.
04
Тест 3: Tool calling бенчмарк08:16
Оценка точности вызова инструментов на 12 промптах.
05
Итоги и выводы10:18
Обобщение результатов и практические рекомендации.
дальше в дело
Собрать это в маршрут
все маршруты →
не хочешь разбираться сам
Сделаю это под задачу
форматы и цены →
ещё разборы