Замерить скорость генерации своей модели в токенах в секунду

«побег» · 3 карт. · 3 голос.(-а/-ов) корпуса · 16 дн. между первым и последним

3 карточек корпуса (3 голос.(-а/-ов) с учётом повторов внутри карточки) независимо друг от друга подошли к одному и тому же действию, за 16 дн. (2026-06-08 — 2026-06-24).

Как формулировали

• замерить скорость генерации своей модели в токенах в секунду (2026-06-24)
• замерить скорость генерации токенов в быстром режиме на своих задачах (2026-06-08)
• замерить скорость генерации своей модели в токенах в секунду на GPU и CPU

Источники

• Qwen 3.5 27B: локальный запуск с квантованием Q8 и гибридным вниманием · частично
• Opus 4.8: быстрый режим дешевле втрое при удвоенной скорости · 2026-06-08 · мимо
• Эра агентов: управление контекстом и командой личных экспертов · 2026-06-24 · мимо

Соседние темы

• Выносить настраиваемый параметр или правило в конфиг конвейера, а не хардкодить — 6 общих тега(ов)
• Настроить автоматическую оценку ответов агента: LLM-судью или эталонный набор вместо ручной проверки — 4 общих тега(ов)
• Поставить новый агентный инструмент или плагин и прогнать его на своём проекте — 4 общих тега(ов)
• Завести файл с правилами проекта для агента (CLAUDE.md, AGENTS.md, KNOWLEDGE.md) — 4 общих тега(ов)
• Подключать сервисы и модели через MCP-протокол вместо отдельных API — 4 общих тега(ов)