Развертывание NVIDIA Nemotron 3 Super 120B на одной видеокарте: полное руководство и тесты на реальных задачах

120 миллиардов параметров на одной карте. Это вообще законно?

Сейчас все говорят про модели с триллионами параметров, которые требуют дата-центр размером с футбольное поле. А что если я скажу, что можно запустить 120-миллиардную модель экспертов (MoE) на одной видеокарте за разумные деньги? И не просто запустить, а подключить к бизнес-аналитике и получать ответы за секунды.

Я провел последний месяц, выжимая из одной RTX PRO 6000 максимум, чтобы заставить Nemotron 3 Super 120B работать локально. Результат: система, которая не требует облачных счетов в $10 000 в месяц и справляется с реальными задачами анализа данных. Вот как это сделать, сколько это стоит и какие подводные камни ждут.

1 Зачем пытаться запихнуть слона в Mini Cooper?

Nemotron 3 Super 120B – это не обычная плотная модель. Это Mixture of Experts (MoE). Из 120B параметров на каждый запрос активны только ~24B. Это как иметь команду из 1000 специалистов, но для решения конкретной задачи звать только 200. Архитектурная хитрость, которая и позволяет все это провернуть.

Основная проблема – память. 120B параметров в FP16 – это ~240 ГБ VRAM. Даже H100 80GB не потянет. Но мы используем квантование. Современные методы, вроде GPTQ или AWQ, позволяют сжать модель до 4-бит без катастрофической потери качества. Вуаля – 60 ГБ. А RTX PRO 6000 как раз имеет 64 ГБ GDDR6. Совпадение? Не думаю.

2 Железо: почему именно RTX PRO 6000, а не что-то еще?

Можно было взять две RTX 5090 (по 48 ГБ каждая) или собрать монстра из семи карт на AM5. Но цель – простота и TCO (Total Cost of Ownership). Одна карта – один драйвер, один источник питания, никаких проблем с NVLink или P2P.

RTX PRO 6000 – не игровая карта. У нее профессиональные драйверы, лучше стабильность при долгой нагрузке и гарантированная поддержка в корпоративных средах. Да, дорого. Но считайте дальше.

Пошаговое руководство: от коробки до работающей модели

Забудьте про Docker-образы, которые весят 100 ГБ. Мы сделаем все чисто и с пониманием.

Шаг 0: Подготовка системы

Ubuntu Server 24.04 LTS. Ядро 6.11. Никаких гномов и KDE. Чистый терминал. 64 ГБ оперативной памяти – обязательно, потому что модель будет загружаться через RAM в VRAM. SSD NVMe от 1 ТБ.

# Обновляем всё до актуального состояния на 06.04.2026
sudo apt update && sudo apt full-upgrade -y
sudo apt install build-essential cmake python3-pip -y

Шаг 1: Драйверы и CUDA

Ставим последний стабильный драйвер от NVIDIA. На момент написания это версия 580.xx.

# Добавляем репозиторий NVIDIA
sudo add-apt-repository ppa:graphics-drivers/ppa -y
sudo apt update
# Устанавливаем драйвер и CUDA Toolkit 13.5 (проверенная совместимость с llama.cpp)
sudo apt install nvidia-driver-580 cuda-toolkit-13-5 -y

Шаг 2: Установка llama.cpp с поддержкой CUDA

llama.cpp – наш главный инструмент. Берем последнюю версию с GitHub.

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make clean && make LLAMA_CUDA=1 -j$(nproc)

Флаг LLAMA_CUDA=1 критически важен. Без него вычисления пойдут на CPU, и вы будете ждать ответа неделю.

Шаг 3: Загрузка и квантование модели

Модель Nemotron 3 Super 120B в формате Hugging Face весит примерно 240 ГБ. Качать будем через git-lfs, но сразу планируйте трафик.

# Установка git-lfs
sudo apt install git-lfs
# Клонирование модели (это займет время и место)
git lfs install
git clone https://huggingface.co/nvidia/Nemotron-3-120B-Super

Теперь квантование. Мы используем 4-битный режим Q4_K_M – лучший баланс качества и размера.

cd llama.cpp
python3 convert.py ../Nemotron-3-120B-Super --outtype f16
# Конвертируем в 4-битный формат
./quantize ./models/Nemotron-3-120B-Super/ggml-model-f16.gguf \
./models/Nemotron-3-120B-Super/ggml-model-Q4_K_M.gguf Q4_K_M

Процесс квантования займет 6-8 часов и съест 120 ГБ временного места на диске. Не запускайте это на рабочей машине.

Шаг 4: Первый запуск и проверка

Момент истины. Запускаем инференс с указанием всех слоев на GPU.

./main -m ./models/Nemotron-3-120B-Super/ggml-model-Q4_K_M.gguf \
-n 512 --temp 0.7 --repeat_penalty 1.1 -ngl 999 \
-p "Расскажи подробно про принцип работы архитектуры Mixture of Experts"

Ключевой параметр -ngl 999 говорит: "загрузи все возможные слои на GPU". Llama.cpp сам вычислит, сколько слоев поместится в 64 ГБ VRAM. В нашем случае поместилось около 95% модели. Оставшиеся 5% будут в оперативной памяти, что незначительно замедлит работу.

3 Интеграция с Luxms BI: когда ИИ сам строит отчеты

Запустить модель в терминале – это круто, но бесполезно для бизнеса. Нужно подключить ее к чему-то, что умеют использовать аналитики. Например, к Luxms BI.

Luxms BI поддерживает Python-скрипты как источник данных. Мы создаем простой Flask-сервер на локальной машине, который принимает SQL-запрос (сгенерированный BI-инструментом) и возвращает ответ на естественном языке.

# Пример мини-сервера (app.py)
from flask import Flask, request
import subprocess
import json

app = Flask(__name__)

@app.route('/analyze', methods=['POST'])
def analyze():
    data = request.json
    sql_query = data.get('query')
    # Формируем промпт для модели
    prompt = f"Объясни простыми словами, что делает этот SQL запрос и какие бизнес-инсайты можно извлечь: {sql_query}"
    # Запускаем llama.cpp как процесс
    cmd = [
        './main', '-m', './models/Nemotron-3-120B-Super/ggml-model-Q4_K_M.gguf',
        '-p', prompt, '-n', '256', '--temp', '0.2', '-ngl', '999'
    ]
    result = subprocess.run(cmd, capture_output=True, text=True)
    return json.dumps({'analysis': result.stdout})

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

Теперь в Luxms BI настраиваете REST API как источник данных. Аналитик пишет SQL, а в виджете появляется пояснение от ИИ: "Этот запрос считает средний чек по регионам, обрати внимание на аномалию в Сибири".

Тесты на реальных задачах: цифры, а не фантазии

Я прогнал модель через три сценария:

1. Генерация SQL-запроса по описанию на естественном языке.
2. Анализ тональности отзывов из CSV (10 000 строк).
3. Извлечение сущностей из технических документов.

Вывод: для внутренних задач, где скорость не критична, а конфиденциальность важна, локальная Nemotron 3 Super – отличный выбор. Она не уступает по качеству последним облачным моделям на 2026 год, но не требует отправки данных наружу.

Экономика безумия: считаем TCO за 3 года

Одна карта RTX PRO 6000 стоит ~600 000 руб. Сервер на базе Threadripper (материнская плата, память, БП, охлаждение) – еще ~400 000 руб. Итого 1 000 000 руб. капитальных затрат.

Эксплуатация: 500 Вт * 24 часа * 365 дней = 4380 кВтч в год. При тарифе 8 руб./кВтч это 35 000 руб. в год. За три года – 105 000 руб.

Облачная альтернатива: инстанс с 8x H100 80GB на AWS (p5.48xlarge) стоит около $98 в час. Если использовать его 8 часов в день, 22 дня в месяц, это $17 248 в месяц или ~1.5 млн руб. в год. За три года – 4.5 млн руб. Разница в 4.5 раза.

Да, облако дает гибкость. Но если ваша модель работает постоянно, окупаемость локального железа – 4-6 месяцев. После этого вы считаете только электричество. И не боитесь, что API ключ слетит или тарифы поднимут.

Ограничения, которые все испортят (если не знать)

• Скорость генерации: 2-4 токена в секунду. Для диалога – нормально. Для генерации длинных отчетов – медленно. Это плата за квантование и одну карту.
• Контекст: максимальный – 4096 токенов. Для анализа длинных документов придется использовать RAG, как в статье про мультимодальный поиск.
• Тепловыделение: карта греется до 85°C под постоянной нагрузкой. Нужна система с хорошим охлаждением, иначе троттлинг снизит производительность на 20%.
• Обновление моделей: чтобы перейти на Nemotron 4, когда она выйдет, возможно, придется покупать новое железо. Архитектура MoE становится эффективнее, но и требовательнее.

Что дальше? Неочевидный тренд, который все проигнорировали

Локальный инференс больших моделей станет стандартом для среднего бизнеса. Не потому, что это технологически круто, а потому что страховые компании начнут требовать сертификаты, что данные не покидали периметр. В 2027-2028 году появятся готовые «AI-аппаратные шлюзы» – коробки с аналогом RTX PRO 6000 внутри, предустановленным ПО и поддержкой. Они будут стоить в 2 раза дороже самостоятельной сборки, но их купят все, у кого есть отдел compliance. Уже сейчас имеет смысл нарабатывать экспертизу, чтобы не переплачивать позже. Следующая моя сборка – оптимизация AI-станции на Threadripper под две таких карты. 128 ГБ VRAM и почти 250B параметров в 4-битном формате – вот где начинается настоящая игра.

Подписаться на канал