Замерить задержку (TTFT) или скорость инференса и сравнить с облаком

«росток» · 2 карт. · 2 голос.(-а/-ов) корпуса · 101 дн. между первым и последним

2 карточек корпуса (2 голос.(-а/-ов) с учётом повторов внутри карточки) независимо друг от друга подошли к одному и тому же действию, за 101 дн. (2026-05-08 — 2026-08-17).

Как формулировали

• замерить скорость инференса MLX на своей модели и сравнить с облачным API (2026-08-17)
• измерить TTFT на своей модели и сравнить с облачным API (2026-05-08)

Источники

• DGX Spark: локальный запуск LLM с FP4 и 128 ГБ памяти · 2026-05-08 · частично
• MLX: локальный запуск LLM на Apple Silicon · 2026-08-17 · частично

Соседние темы

• Запустить и адаптировать примеры MLX для своей модели — 1 общих карточек, 5 общих тега(ов)
• Подключать MCP-сервер к своему конвейеру разборов или к Claude Code — 4 общих тега(ов)
• Выносить настраиваемый параметр или правило в конфиг конвейера, а не хардкодить — 4 общих тега(ов)
• Настроить автоматическую оценку ответов агента: LLM-судью или эталонный набор вместо ручной проверки — 4 общих тега(ов)
• Автоматизировать рутинные задачи агента по расписанию (крон, таймер) — 4 общих тега(ов)