NVIDIA DGX Spark: реальный опыт использования, тонкости настройки и подводные камни для локального AI

Зачем вам эта махина? Или когда облако бесит

Представьте: вы месяц тренируете модель на облачных инстансах. Счет прилетает на пять нулей. А потом - бац - политика компании меняется, и все данные должны жить внутри периметра. Знакомо? Вот тут и появляется DGX Spark. Не та рекламная картинка с идеальными стойками, а реальный железный ящик, который стоит в углу серверной и гудит как пылесос из 90-х.

Я расскажу не про маркетинговые буклеты, а про то, как эта штука работает вживую. Где спотыкается, сколько на самом деле ест электричества и почему иногда хочется швырнуть в нее монитор. Но сначала - зачем это вообще нужно.

Распаковка и первое разочарование: железо против софта

Коробка приезжает. Внутри - сам сервер, документация и чувство, что сейчас вы станете повелителем AI. Включаете. Загружается DGX OS - специализированная операционка от NVIDIA. И вот тут начинается первая засада.

Я не шучу. Первые два дня ушли на борьбу с системой, а не на запуск моделей. В итоге, я сделал то, что делает любой уважающий себя инженер - поставил чистую Ubuntu. Да, пришлось повозиться с драйверами, но зато система стала предсказуемой. Подробнее об этом процессе я писал в статье DGX OS умер, да здравствует Ubuntu.

1Шаг первый: убить родную ОС

Не бойтесь. Скачайте последний LTS Ubuntu Server. Запишите на флешку. Загрузитесь с нее. Во время установки выберите опцию минимальной установки. После - установите драйверы NVIDIA через официальный репозиторий. Не через стандартный менеджер драйверов Ubuntu - там версии отстают на год.

Настройка стека: где собака зарыта

Драйверы стоят. Теперь нужно поставить все эти библиотеки для AI: CUDA, cuDNN, TensorRT, PyTorch с поддержкой GPU. И вот здесь - второй подводный камень.

NVIDIA предлагает свой контейнерный стек - NGC. Контейнеры с предсобранным софтом. Удобно? В теории да. На практике - версии библиотек внутри контейнеров могут не совпадать с тем, что требует ваш код. Особенно если вы используете свежие фичи из PyTorch.

Я предпочитаю собирать все нативно. Да, дольше. Зато контроль полный. Установите CUDA Toolkit той версии, которая нужна. Потом cuDNN. Потом PyTorch через pip с флагом --index-url, указывающим на репозиторий NVIDIA. Не используйте conda, если не хотите потом разгребать конфликты пакетов.

2Шаг второй: собрать PyTorch вручную

Скачайте исходники PyTorch с GitHub. Соберите с поддержкой CUDA, cuDNN и TensorRT. Это гарантирует, что все библиотеки будут линковаться корректно. Да, сборка займет час. Но зато вы избежите ошибок типа "undefined symbol" в самый неподходящий момент.

128 GB VRAM: мечта или головная боль?

Главный козырь DGX Spark - объединенная память на 128 ГБ. Звучит как рай для больших моделей. И да, и нет.

Да, вы можете загрузить модель, которая не влезет ни в одну потребительскую карту. Нет, скорость доступа к этой памяти не будет одинаковой. Архитектура NVLink соединяет GPU, но задержки есть. Если ваша модель плохо распараллеливается, прирост будет незначительным.

Как исправить? Придется лезть в настройки распределения данных. Использовать стратегии шардинга модели, такие как FSDP (Fully Sharded Data Parallel). Это не тривиально. Если вы не готовы к глубокому погружению в распределенные вычисления, DGX Spark будет работать вхолостую. Подробнее о проблемах с обучением Llama 3.2 я писал здесь.

Энергопотребление: счетчик крутится как сумасшедший

Вы думали, что облако дорого? Посчитайте, сколько стоит держать DGX Spark включенным 24/7. Система с восемью GPU под нагрузкой ест под 4 кВт. В месяц - это сотни долларов только на электричество. Плюс охлаждение. Серверная комната с кондиционером - обязательна.

И нет, вы не можете просто воткнуть его в розетку в офисе. Проводка должна быть рассчитана на такую нагрузку. ИБП обязателен. Иначе первое же отключение света убьет несохраненные веса модели.

Альтернативы: облако vs другие железки

Стоит ли покупать DGX Spark? Зависит от вашего workflow.

• Облачные инстансы с GPU: Гибко, нет капитальных затрат. Но долгосрочно дороже. И вы зависите от провайдера.
• Сборка своего сервера: Можно взять несколько RTX 4090 или ждать RTX 2000 Pro Blackwell. Дешевле, но нет объединенной памяти. Масштабирование сложнее.
• Mac Studio с 128 ГБ ОЗУ: Тише, экономичнее. Но GPU слабее для тренировки. Только для инференса и мелкого дообучения. Сравнение есть в статье GB10 vs RTX vs Mac Studio.
• Китайские аналоги: Huawei Ascend. Но софтовая экосистема сырая. Только если вы готовы страдать. Опыт разработчиков тут.

Подводные камни, о которых молчат

А теперь - самое вкусное. Проблемы, которые вылезают через месяц эксплуатации.

1. Перегрев одного из GPU: Система охлаждения спроектирована идеально. Но пыль никто не отменял. Через пару месяцев один вентилятор может засориться. Температура взлетает, троттлинг. Решение - регулярная чистка.
2. Просадки напряжения: DGX Spark чувствителен к качеству питания. При скачке может уйти в ребут. Решение - стабилизатор.
3. Обновления драйверов: Вы обновили драйвер. А система перестала видеть два GPU. Потому что новая версия конфликтует с ядром. Решение - тестировать обновления на тестовой системе. Или не обновляться без острой необходимости.
4. Софтовая несовместимость: Ваша любимая библиотека для квантования моделей не поддерживает multi-GPU. Придется писать обертки самому.

Итог: кому это нужно?

DGX Spark - не для всех. Это инструмент для тех, кто точно знает, что делает. Для исследовательских лабораторий, где данные нельзя выносить в облако. Для компаний, которые считают долгосрочную стоимость владения и готовы инвестировать в инженеров.

Если вы стартап с парой моделей - берите облако. Если вы энтузиаст - собирайте стенд на потребительских картах, как в гайде RTX 5060 Ti vs RX 9060 XT. Если вам нужно много памяти, но не нужна супер-скорость тренировки - посмотрите на Mac.

DGX Spark - это как спортивный Ferrari. Быстро, мощно, но ездить на нем за хлебом - мучение. И да, готовьтесь к тому, что большую часть времени вы будете не моделями заниматься, а тем, чтобы эта махина просто работала.