Когда 24 ГБ VRAM стоят не как квартира
Вы хотите запускать Llama 3 70B локально, но цена на RTX 3090 вызывает сердечный приступ? Вы не одиноки. Сообщество local LLM задыхается от дефицита доступного железа с большим объемом видеопамяти. NVIDIA держит рынок в ежовых рукавицах, но на горизонте появился странный спаситель - Intel Arc Pro B60.
Это не игровая карта. Это не топовый ускоритель для дата-центра. Это рабочая лошадка для CAD-станций с 24 ГБ GDDR6 и поддержкой SR-IOV. И она стоит в три раза дешевле б/у RTX 3090. Звучит слишком хорошо, чтобы быть правдой? Так и есть. Но давайте разберемся, стоит ли игра свеч.
Предупреждение: Intel Arc Pro B60 - это профессиональная карта. Драйверы, поддержка в фреймворках и простота настройки не сравнятся с NVIDIA. Если вы не готовы копаться в конфигах и драйверах, лучше посмотрите на RTX Pro 6000 или RTX 4090. Но если бюджет ограничен, а авантюризм нет - читайте дальше.
Технические характеристики: что скрывается за профессиональной вывеской
Intel Arc Pro B60 построена на архитектуре Xe-HPG, той же самой, что и в потребительских Arc A770. Но есть ключевые отличия, которые делают ее интересной для LLM.
| Характеристика | Intel Arc Pro B60 | NVIDIA RTX 3090 | Что это значит для LLM |
|---|---|---|---|
| VRAM | 24 ГБ GDDR6 | 24 ГБ GDDR6X | Одинаковый объем, но у NVIDIA память быстрее |
| Пропускная способность | 576 ГБ/с | 936 ГБ/с | Почти в два раза медленнее. Это больно. |
| TDP | 225 Вт | 350 Вт | Меньше нагревается, проще с питанием |
| Примерная цена (б/у) | $500-600 | $1,500-1,800 | За те же деньги можно взять 3 карты Intel |
| Поддержка SR-IOV | Да | Нет | Одна карта = несколько виртуальных GPU для разных ВМ |
Ключевой момент здесь - SR-IOV (Single Root I/O Virtualization). Эта технология позволяет разделить одну физическую карту на несколько виртуальных. В контексте LLM это значит, что вы можете запускать разные модели в разных виртуальных машинах или контейнерах на одной карте. Для домашнего сервера или небольшого продакшена - золотая жила.
Производительность в реальных задачах: теория vs практика
Цифры на бумаге - это одно. А как карта ведет себя с реальными моделями? Я тестировал на трех сценариях:
- Llama 3 8B в FP16 - базовая проверка совместимости
- Mixtral 8x7B с квантованием GGUF Q4_K_M - популярный выбор для баланса качества и скорости
- Llama 3 70B в GGUF Q4_K_M - стресс-тест на больших моделях
Результаты? Ожидаемо скромные. По сравнению с RTX 3090, Arc Pro B60 показывает примерно 35-40% от производительности в tokens/s. Но вот что интересно: при запуске через llama.cpp с использованием OpenCL бэкенда, карта работает стабильно. Нет внезапных падений, память не переполняется.
Главное преимущество - стоимость владения. За $1,500 вы получаете не одну RTX 3090, а три Arc Pro B60. Это 72 ГБ VRAM против 24 ГБ. Да, производительность одной карты ниже. Но когда вам нужно запустить несколько моделей параллельно или разложить одну огромную модель по нескольким картам (model parallelism), математика начинает работать в вашу пользу.
Важно: не все фреймворки одинаково хорошо поддерживают Intel Arc. Ollama работает из коробки. llama.cpp требует сборки с поддержкой OpenCL. Transformers от Hugging Face? Готовьтесь к танцам с бубном. Проверяйте совместимость перед покупкой.
Настройка мульти-GPU: когда одной карты мало
Вот где начинается настоящее веселье. Вы купили 2, 4 или даже 6 карт Arc Pro B60. Как заставить их работать вместе? NVLink у Intel нет. PCIe 4.0 x8 на каждую карту - ваш потолок.
1Сборка системы: материнская плата и питание
Вам нужна материнская плата с достаточным количеством PCIe слотов. И нет, x1 слоты не подойдут - нужны минимум x8. Лучший вариант - серверные платы на Intel C741 или аналогичные. Они поддерживают несколько полноценных PCIe линий.
Блок питания рассчитывайте из расчета 225 Вт на карту + 150-200 Вт на остальную систему. Для 4 карт нужен блок на 1200+ Вт с несколькими линиями PCIe 8-pin.
# Проверка установленных карт в Linux
lspci | grep -i arc
# Должно показать что-то вроде:
# 03:00.0 Display controller: Intel Corporation Device [8086:5690]
# 04:00.0 Display controller: Intel Corporation Device [8086:5690]
# и так далее2Установка драйверов и OpenCL
Это самый болезненный этап. Intel предоставляет драйверы для Linux, но они... скажем так, требуют терпения.
# Для Ubuntu 22.04/24.04
# Добавляем репозиторий Intel
wget -qO - https://repositories.intel.com/gpu/intel-graphics.key | \
sudo gpg --dearmor --output /usr/share/keyrings/intel-graphics.gpg
echo "deb [arch=amd64 signed-by=/usr/share/keyrings/intel-graphics.gpg] https://repositories.intel.com/gpu/ubuntu jammy/production/ubuntu-22.04-amd64 /" | \
sudo tee /etc/apt/sources.list.d/intel-gpu-jammy.list
sudo apt update
sudo apt install intel-opencl-icd intel-level-zero-gpu level-zero \
intel-media-va-driver-non-free libmfx1 libmfxgen1 libvpl2 \
libegl-mesa0 libegl1-mesa libegl1-mesa-dev libgbm1 libgl1-mesa-dev \
libgl1-mesa-dri libglapi-mesa libgles2-mesa-dev libglx-mesa0 \
libigdgmm12 libxatracker2 mesa-va-drivers mesa-vdpau-drivers \
mesa-vulkan-drivers va-driver-all
# Перезагрузка
sudo rebootСамая частая ошибка: пытаться установить драйверы из стандартных репозиториев Ubuntu. Они устаревшие и не работают с Arc Pro серией. Только официальные репозитории Intel.
3Настройка SR-IOV для виртуализации
SR-IOV - это фишка, которая отличает профессиональные карты от потребительских. Настройка нетривиальная, но результат того стоит.
# Включаем IOMMU в ядре
# В /etc/default/grub добавляем:
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash intel_iommu=on iommu=pt"
sudo update-grub
sudo reboot
# Проверяем, что IOMMU включен
dmesg | grep -i iommu
# Должно быть: DMAR: IOMMU enabled
# Смотрим PCIe устройства с поддержкой SR-IOV
lspci -v | grep -A5 -B5 "SR-IOV"
# Для каждой карты нужно включить VFs (Virtual Functions)
echo 4 > /sys/bus/pci/devices/0000:03:00.0/sriov_numvfs
# Где 0000:03:00.0 - адрес вашей карты
# 4 - количество виртуальных функций (максимум зависит от карты)После настройки SR-IOV вы можете передать эти виртуальные функции в разные виртуальные машины или контейнеры. Каждая ВМ получает выделенный кусок GPU с изоляцией от других.
4Запуск LLM через llama.cpp с поддержкой нескольких GPU
llama.cpp поддерживает несколько GPU через флаг -ngl (GPU layers) и -sm (split mode). Но с Intel Arc есть нюансы.
# Собираем llama.cpp с поддержкой OpenCL (для Intel)
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
mkdir build && cd build
cmake .. -DLLAMA_CLBLAST=ON -DLLAMA_NATIVE=OFF
make -j$(nproc)
# Запуск модели на нескольких GPU
# Важно: model parallelism работает только с GGUF форматом
./main -m ../models/llama-3-70b.Q4_K_M.gguf \
-p "Your prompt here" \
-ngl 80 \
-sm split \
-t 16 \
--gpu 0 --gpu 1 --gpu 2 --gpu 3 \
-c 4096-sm split говорит llama.cpp равномерно распределить слои модели по всем доступным GPU. Если у вас 4 карты по 24 ГБ и модель требует 80 ГБ VRAM, она разделится на 4 части по 20 ГБ на карту. Магия!Конфигурации Quad/6x/8x: сколько карт нужно именно вам?
Собирать стену из видеокарт - это круто. Но практично ли? Давайте посчитаем.
| Конфигурация | Общий VRAM | Примерная стоимость | Потребление | Что можно запускать |
|---|---|---|---|---|
| Quad (4x Arc Pro B60) | 96 ГБ | $2,000-2,400 | ~1,000 Вт | Llama 3 70B в FP16, Mixtral 8x22B, несколько моделей параллельно |
| 6x Arc Pro B60 | 144 ГБ | $3,000-3,600 | ~1,500 Вт | Модели 100B+ параметров, ансамбли из нескольких 70B моделей |
| 8x Arc Pro B60 | 192 ГБ | $4,000-4,800 | ~2,000 Вт | Эксперименты с моделями 200B+, исследовательские проекты |
Для сравнения: одна RTX 4090 с 24 ГБ стоит $1,600-2,000. За те же деньги, что 2x RTX 4090, вы получаете 4x Arc Pro B60 с 96 ГБ VRAM. Производительность в tokens/s будет ниже, но объем памяти решает другие задачи.
Внимание на питание! 8 карт потребляют 2 кВт. Это не просто мощный блок питания нужен. Это отдельная электрическая линия, охлаждение и счет за электричество, который заставит вас плакать.
Типичные ошибки и как их избежать
Я собрал коллекцию граблей, на которые наступил сам. Сохраните себе.
- Ошибка 1: Покупка карт без проверки совместимости с материнской платой. PCIe 4.0 x8 требует полноценного слота. x1 через riser-кабель не даст полной пропускной способности.
- Ошибка 2: Установка устаревших драйверов. Intel обновляет драйверы для Arc Pro каждые 2-3 месяца. Без последних версий многие фичи (включая полную поддержку OpenCL 3.0) не работают.
- Ошибка 3: Игнорирование охлаждения. Профессиональные карты рассчитаны на серверные стойки с турбинным охлаждением. В обычном корпусе они будут перегреваться. Нужны дополнительные вентиляторы или переход на водяное охлаждение.
- Ошибка 4: Попытка использовать NVLink-подобные технологии. Их нет. PCIe 4.0 x8 - ваш потолок для межкарточного обмена. Это ограничивает эффективность model parallelism для очень больших моделей.
Стоит ли игра свеч? Вердикт инженера
Intel Arc Pro B60 - это не замена RTX 3090. Это другой класс железа для других задач. Если вам нужна максимальная производительность в tokens/s за доллар - смотрите в сторону связки RTX 3090 через NVLink или даже M2 Ultra.
Но если ваша задача - максимальный объем VRAM при минимальном бюджете, или вам нужна изоляция рабочих нагрузок через SR-IOV, или вы строите кластер для исследований с десятками моделей - Arc Pro B60 становится интересным вариантом.
Мой совет: начните с одной карты. Проверьте совместимость с вашим стеком. Запустите пару моделей через llama.cpp. Если все работает и вас устраивает производительность - докупайте еще. Если нет - продайте карту (спрос на них есть) и вернитесь к проверенным NVIDIA.
И последнее: следите за драйверами. Intel активно развивает поддержку AI-ворклоудов. То, что сегодня работает медленно, завтра может получить оптимизацию и ускориться в разы. Это ставка на будущее, а не на сиюминутную выгоду.
