Создать samples.jsonl с парами input/ideal для проверки ответов агента

«росток» · 2 карт. · 2 голос.(-а/-ов) корпуса · в пределах одного дня

2 карточек корпуса (2 голос.(-а/-ов) с учётом повторов внутри карточки) независимо друг от друга подошли к одному и тому же действию, в пределах одного дня.

Как формулировали

• создать samples.jsonl с парами input-ideal для проверки ответов агента (2026-08-17)
• создать samples.jsonl с chat-промптами и полем ideal для каждого примера (2026-08-17)

Источники

• Создание eval-наборов: формат, регистрация, запуск · 2026-08-17 · частично
• Сборка eval для LAMBADA через oaieval · 2026-08-17 · забрать

Соседние темы

• Объявить eval в YAML-реестре с классом Match и метрикой accuracy — 1 общих карточек, 6 общих тега(ов)
• Зарегистрировать eval в YAML и запустить через oaieval — 1 общих карточек, 5 общих тега(ов)
• Создать samples.jsonl и few_shot.jsonl для своего eval-набора — 4 общих тега(ов)
• Вынести ключи и настройки в переменные окружения — 3 общих тега(ов)
• Запустить oaieval с ограничением по числу примеров для проверки качества — 3 общих тега(ов)