Объявить eval в YAML-реестре с классом Match и метрикой accuracy

«росток» · 2 карт. · 2 голос.(-а/-ов) корпуса · в пределах одного дня

2 карточек корпуса (2 голос.(-а/-ов) с учётом повторов внутри карточки) независимо друг от друга подошли к одному и тому же действию, в пределах одного дня.

Как формулировали

• объявить eval в YAML-реестре с классом Match и метрикой accuracy (2026-08-17)
• описать eval в YAML с метрикой accuracy и классом Match, затем запустить oaieval gpt-3.5-turbo lambada --max_samples 20 (2026-08-17)

Источники

• Сборка eval для MMLU через OpenAI Evals · 2026-08-17 · частично
• Сборка eval для LAMBADA через oaieval · 2026-08-17 · забрать

Соседние темы

• Создать samples.jsonl и few_shot.jsonl для своего eval-набора — 1 общих карточек, 6 общих тега(ов)
• Создать samples.jsonl с парами input/ideal для проверки ответов агента — 1 общих карточек, 6 общих тега(ов)
• Зарегистрировать eval в YAML и запустить через oaieval — 5 общих тега(ов)
• Запустить oaieval с ограничением по числу примеров для проверки качества — 4 общих тега(ов)
• Настроить автоматическую оценку ответов агента: LLM-судью или эталонный набор вместо ручной проверки — 3 общих тега(ов)