DGX Spark: локальный запуск LLM с FP4 и 128 ГБ памяти
DGX Spark от Nvidia предлагает локальное решение для запуска больших языковых моделей ИИ без облачных задержек. Система использует суперчип GB100 и 128 ГБ общей памяти, а также технологию квантования FP4 для сжатия моделей, что позволяет уменьшить потребность в памяти и быстро запускать модели. Исследование показало, что DGX Spark может предложить производительность, близкую к облачным серверам, с минимальными изменениями рабочего процесса.
DGX Spark с FP4 даёт 21 ток/с на 14B-модели локально, заменяя облако и ускоряя разработку.
Оператору входа в AI buyanov.io может применить опыт DGX Spark для оптимизации локальных рабочих станций, оркестрации моделей и автоматизации рабочих процессов, уменьшая затраты на облачные платформы и ускоряя итерации разработки.