Скачать GGUF-модель и запустить через llama.cpp

«росток» · 2 карт. · 2 голос.(-а/-ов) корпуса · 12 дн. между первым и последним

2 карточек корпуса (2 голос.(-а/-ов) с учётом повторов внутри карточки) независимо друг от друга подошли к одному и тому же действию, за 12 дн. (2026-08-05 — 2026-08-17).

Как формулировали

• скачать квантованную модель в формате GGUF и запустить через llama.cpp на своём MacBook (2026-08-05T04:02:15+00:00)
• скачать GGUF-модель с Hugging Face и запустить через llama cli -hf (2026-08-17)

Источники

• Llama.cpp и vLLM: два пути для локальных LLM · 2026-08-05T04:02:15+00:00 · частично
• llama.cpp: локальный запуск GGUF-моделей с OpenAI-совместимым сервером · 2026-08-17 · забрать

Соседние темы

• Выносить настраиваемый параметр или правило в конфиг конвейера, а не хардкодить — 5 общих тега(ов)
• Настроить speculative decoding для ускорения инференса — 5 общих тега(ов)
• Подключать MCP-сервер к своему конвейеру разборов или к Claude Code — 4 общих тега(ов)
• Настроить автоматическую оценку ответов агента: LLM-судью или эталонный набор вместо ручной проверки — 4 общих тега(ов)
• Поставить новый агентный инструмент или плагин и прогнать его на своём проекте — 4 общих тега(ов)