Оптимизация llama.cpp под AMD видеокарты: Vulkan vs ROCm — полный гайд 2025

Проблема: AMD видеокарты и мир локальных LLM

Если вы владелец AMD видеокарты и пытались запустить локальные языковые модели через llama.cpp, вы наверняка сталкивались с разочарованием. В то время как владельцы NVIDIA наслаждаются отлаженной экосистемой CUDA, пользователи AMD долгое время оставались на вторых ролках. Но ситуация меняется: сегодня у нас есть два полноценных бэкенда — Vulkan и ROCm, каждый со своими преимуществами и недостатками.

Vulkan vs ROCm: архитектурные различия

Прежде чем переходить к настройке, давайте разберемся, что представляют собой эти два подхода.

Пошаговый план: настройка Vulkan бэкенда

1 Установка драйверов и зависимостей

Для Vulkan бэкенда вам потребуются драйверы Mesa с поддержкой Vulkan. В большинстве современных дистрибутивов Linux они уже установлены, но давайте проверим:

# Проверяем поддержку Vulkan
vulkaninfo | grep "GPU"

# Устанавливаем зависимости для сборки llama.cpp
sudo apt update
sudo apt install build-essential cmake git libvulkan-dev vulkan-tools

# Для Arch Linux
sudo pacman -S base-devel cmake git vulkan-devel vulkan-tools

2 Сборка llama.cpp с поддержкой Vulkan

# Клонируем репозиторий
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# Собираем с Vulkan поддержкой
mkdir build && cd build
cmake .. -DLLAMA_VULKAN=ON
make -j$(nproc)

# Проверяем, что Vulkan поддержка включена
./bin/main --help | grep -i vulkan

3 Запуск модели с Vulkan

# Конвертируем модель в GGUF формат (если нужно)
python3 convert.py /путь/к/модели --outtype f16

# Квантуем модель для лучшей производительности
./bin/quantize /путь/к/модели.gguf /путь/к/модели-q4_k_m.gguf q4_k_m

# Запускаем с Vulkan бэкендом
./bin/main -m /путь/к/модели-q4_k_m.gguf \
  --n-gpu-layers 99 \
  --ctx-size 4096 \
  --temp 0.7 \
  --repeat-penalty 1.1 \
  -p "Расскажи о преимуществах Vulkan API"

Пошаговый план: настройка ROCm бэкенда

1 Установка стека ROCm

Это самый сложный этап. Поддержка ROCm сильно зависит от дистрибутива и версии ядра. Для Ubuntu 22.04+:

# Добавляем репозиторий ROCm
wget https://repo.radeon.com/amdgpu-install/latest/ubuntu/jammy/amdgpu-install_6.1.60100-1_all.deb
sudo apt install ./amdgpu-install_6.1.60100-1_all.deb

# Устанавливаем ROCm (минимальная установка для llama.cpp)
sudo amdgpu-install --usecase=rocm

# Добавляем пользователя в группу video и render
sudo usermod -a -G video $USER
sudo usermod -a -G render $USER

# Перезагружаемся
sudo reboot

2 Проверка установки ROCm

# Проверяем, что ROCm видит вашу карту
rocminfo | grep "Agent"

# Проверяем работу HIP (аналог CUDA для AMD)
hipconfig --full

# Тестируем простой пример
cd /opt/rocm/share/hip/samples/0_Intro/square
make
./square

3 Сборка llama.cpp с ROCm

# Устанавливаем зависимости для ROCm
sudo apt install rocm-dev hipblas hipsparse

# Собираем llama.cpp с поддержкой HIPBLAS
cd llama.cpp
mkdir build-rocm && cd build-rocm

# Конфигурация для ROCm
cmake .. -DLLAMA_HIPBLAS=ON -DCMAKE_C_COMPILER=/opt/rocm/llvm/bin/clang -DCMAKE_CXX_COMPILER=/opt/rocm/llvm/bin/clang++

# Альтернативно, если предыдущая не работает
cmake .. -DLLAMA_HIPBLAS=ON -DCMAKE_PREFIX_PATH="/opt/rocm"

make -j$(nproc)

4 Запуск с ROCm бэкендом

# Запускаем модель с полной загрузкой на GPU
./bin/main -m /путь/к/модели.gguf \
  --n-gpu-layers 99 \
  -ngl 99 \
  --gpu-layers-draft 8 \
  --ctx-size 8192 \
  --batch-size 512 \
  --ubatch-size 512 \
  --flash-attn \
  --no-mmap \
  -t 8 \
  -c 4096 \
  -b 512 \
  --mlock \
  --color \
  -p "Сравни производительность ROCm и CUDA"

Бенчмарки и сравнение производительности

Я провел тестирование на RX 7900 XTX (24GB) с моделью Llama 3.1 8B Q4_K_M:

Выводы: ROCm показывает производительность на уровне 60-70% от аналогичной NVIDIA карты, что является отличным результатом. Vulkan отстает, но предлагает гораздо более простую установку. Для сравнения производительности разных GPU смотрите наше исчерпывающее сравнение RTX Pro 6000 и RTX 4090.

Оптимизация производительности: продвинутые техники

1. Оптимизация параметров запуска

• --flash-attn: Включает Flash Attention для ROCm. Дает прирост 15-25% на больших контекстах
• --no-mmap --mlock: Фиксирует модель в памяти, ускоряя доступ
• Оптимальный batch-size: Для ROCm на RX 7000 серии оптимально 512-1024
• Квантование: Используйте Q4_K_M для баланса качества/скорости

2. Настройка системы

# Увеличиваем лимиты shared memory
sudo sysctl -w kernel.shmall=1073741824
sudo sysctl -w kernel.shmmax=1073741824

# Оптимизируем параметры GPU (только для ROCm)
export HSA_ENABLE_SDMA=0
export HIP_VISIBLE_DEVICES=0
export ROCR_VISIBLE_DEVICES=0

# Для multi-GPU конфигураций
# Подробнее в статье о стратегиях масштабирования локальных LLM

3. Мониторинг и диагностика

# Мониторим использование GPU
rocm-smi

# Детальная информация о памяти
rocm-smi --showmeminfo vram vis_vram gtt

# Профилирование производительности
/opt/rocm/bin/rocprof --stats ./bin/main -m model.gguf -p "Тест"

Частые проблемы и их решения

FAQ: Ответы на частые вопросы

❓ Какая карта AMD лучше всего подходит для llama.cpp?

RX 7900 XTX (24GB) — лучший выбор в 2025. Для бюджетного варианта — RX 7900 GRE (16GB). Избегайте карт с менее 12GB VRAM для современных моделей.

❓ Можно ли использовать несколько AMD карт одновременно?

Да, но поддержка multi-GPU в llama.cpp ограничена. ROCm лучше справляется с несколькими картами, чем Vulkan. Требуется ручная настройка распределения слоев.

❓ Windows или Linux для AMD?

Однозначно Linux. Поддержка ROCm в Windows экспериментальная, а драйверы Vulkan в Linux более зрелые. Ubuntu 22.04/24.04 или Arch Linux — оптимальные дистрибутивы.

❓ Когда ждать паритета с CUDA?

ROCm уже достигает 60-80% производительности CUDA на совместимом железе. Полный паритет маловероятен, но разрыв продолжает сокращаться с каждым релизом.

❓ Стоит ли переходить с NVIDIA на AMD для LLM?

Только если цена/производительность критически важна. NVIDIA предлагает лучшую экосистему, но AMD дает больше VRAM за те же деньги. Для профессионального использования пока лучше NVIDIA.

Заключение и рекомендации

Экосистема AMD для локальных LLM в 2025 году достигла зрелости, достаточной для практического использования. Вот мои финальные рекомендации:

1. Для новичков: Начните с Vulkan бэкенда. Он проще в установке и достаточно производителен для большинства задач.
2. Для энтузиастов: Освойте ROCm. Потратьте время на настройку — это окупится приростом производительности.
3. Для профессионалов: Рассмотрите гибридную настройку. Используйте ROCm для инференса, но имейте резервный Vulkan конфиг для отладки.
4. Для исследователей: Следите за развитием NPU технологий, которые могут изменить ландшафт.

Помните: лучшая конфигурация — та, которая работает стабильно на вашем конкретном железе. Не гонитесь за максимальными цифрами в бенчмарках, если это приводит к нестабильности системы. Удачных экспериментов!