Замерить скорость генерации локальной модели на своём устройстве

«росток» · 2 карт. · 2 голос.(-а/-ов) корпуса · в пределах одного дня

2 карточек корпуса (2 голос.(-а/-ов) с учётом повторов внутри карточки) независимо друг от друга подошли к одному и тому же действию, в пределах одного дня.

Как формулировали

• замерить скорость генерации Gemma 4 8-bit в 4-bit на своём iPhone
• замерить скорость генерации кода на Gemma 2 12B на своей машине (2026-06-17)

Источники

• Запуск LLM на iPhone: 40 ток/с через MLX Swift LM · мимо
• Gemma 2 12B: локальная модель для кода с балансом скорости и качества · 2026-06-17 · мимо

Соседние темы

• Выносить настраиваемый параметр или правило в конфиг конвейера, а не хардкодить — 2 общих тега(ов)
• Настроить автоматическую оценку ответов агента: LLM-судью или эталонный набор вместо ручной проверки — 2 общих тега(ов)
• Автоматизировать рутинные задачи агента по расписанию (крон, таймер) — 2 общих тега(ов)
• Завести файл с правилами проекта для агента (CLAUDE.md, AGENTS.md, KNOWLEDGE.md) — 2 общих тега(ов)
• Явно ограничивать агента: права, число итераций, размер контекста — 2 общих тега(ов)