разбор · amd

из 10

смотреть не обязательно — забрать выжимку и пункты

оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал

Сравнение AMD MI100 и R9700 в llama.cpp и vLLM

Comparing the AMD Radeon Instinct MI100 and Radeon AI PRO R9700 AI TOP in llama.cpp and vLLM

Сравнение AMD Radeon Instinct MI100 и Radeon AI PRO R9700 в llama.cpp и vLLM. MI100 быстрее в llama.cpp, но R9700 стабильнее и поддерживает vLLM. llama.cpp в целом производительнее и стабильнее vLLM для локального инференса.

что из этого моё

Видео даёт конкретные цифры производительности для двух AMD GPU в двух движках, что полезно при выборе железа для инференса. Для оператора входа в AI это релевантно, если планируется локальный запуск моделей: можно использовать эти данные для оптимизации оркестрации и выбора подходящего GPU под задачи.

Тезисы ролика

применимого к своей работе линза здесь не нашла

▸Используйте llama.cpp для максимальной производительности на AMD GPU, если не нужны специфические функции vLLM.

▸Проверяйте официальную поддержку GPU в vLLM: MI100 не поддерживается, что ограничивает его применение.

▸Для стабильности и совместимости выбирайте R9700, даже если он медленнее в некоторых тестах.

▸При выборе GPU учитывайте не только скорость, но и экосистему поддержки (vLLM, стабильность).

о чём говорят, по времени

главы доводят до 04:11 · дальше по ролику меток нет

Введение и тест llama.cpp00:00 ↗

Представлены GPU и движки, начат тест llama.cpp с GPT-OSS.

llama.cpp: Qwen и LLaMA01:04 ↗

Тесты Qwen 2.5 14B и LLaMA 3.2 3B в llama.cpp.