Разбирать трассировку или логи агента, чтобы найти узкое место

«росток» · 2 карт. · 2 голос.(-а/-ов) корпуса · в пределах одного дня

2 карточек корпуса (2 голос.(-а/-ов) с учётом повторов внутри карточки) независимо друг от друга подошли к одному и тому же действию, срок не определён — не у всех источников есть дата.

Как формулировали

• настроить визуализацию спанов в трассировке агента для поиска узких мест
• проанализировать логи траекторий своих агентов для поиска узких мест

Источники

• Оценка AI-продуктов: LLM-as-judge с текстовыми метками и A/B-тесты промптов · забрать
• SWE-Marathon: бенчмарк агентов на миллиард токенов · частично

Соседние темы

• Настроить автоматическую оценку ответов агента: LLM-судью или эталонный набор вместо ручной проверки — 4 общих тега(ов)
• Настроить трассировку и логирование вызовов агента и токенов — 4 общих тега(ов)
• Вынести список ролей, команд и инструментов агента в конфиг — 4 общих тега(ов)
• Подключать MCP-сервер к своему конвейеру разборов или к Claude Code — 3 общих тега(ов)
• Завести файл с правилами проекта для агента (CLAUDE.md, AGENTS.md, KNOWLEDGE.md) — 3 общих тега(ов)