Значительный прирост скорости Vulkan в llama.cpp после обновления прошивки AMD: тесты на Strix Halo и Qwen 3.5 35B

Vulkan на AMD вдруг перестал быть шуткой

Помните те времена, когда Vulkan-бэкенд в llama.cpp на AMD-железе был больше про совместимость, а не про скорость? Все кивали на ROCm, мол, вот где настоящая производительность. А Vulkan оставался для тех, кому лень возиться со сборкой HIP или у кого старая карта из официально неподдерживаемого списка.

Ситуация кардинально изменилась в начале 2026 года. После выхода обновления прошивки AGESA для платформы AM5 и, что критически важно, релиза ROCm 7.12, Vulkan-реализация в llama.cpp получила ударную дозу адреналина. Мы протестировали это на самой горячей APU текущего момента – AMD Strix Halo – с моделью Qwen 3.5 35B в квантовании Q8_0. Результаты заставили пересмотреть расстановку сил.

Что сломалось и починилось: разбор обновлений

Чтобы понять масштаб изменений, нужно копнуть глубже простого "обновил драйверы". Изменения затронули три ключевых слоя:

• Прошивка AGESA 1.2.0.8b для AM5: Это не просто патч безопасности. Обновление радикально улучшило тайминги доступа к unified-памяти в архитектуре Strix Halo. APU теперь эффективнее управляет тем самым пулом в 32-128 ГБ, который делится между CPU и iGPU. Для llama.cpp, который активно шунтирует данные между процессором и графикой, это как замена грунтовой дороги на асфальт.
• ROCm 7.12 (ночная сборка от 28.02.2026): Да, тот самый стек, который ассоциируется с вычислениями. Но его обновление не прошло даром и для Vulkan. Команда AMD значительно переработала компилятор шейдеров Vulkan (ACO), особенно для задач с высокой нагрузкой на полосу пропускания памяти и матричные операции. Это напрямую бьет в самое слабое место трансформеров.
• llama.cpp (коммит 3b4a2f от 01.03.2026): Разработчики не спали. Они адаптировали Vulkan-бэкенд под новые возможности драйверов, добавили более агрессивное кэширование дескрипторов для операций внимания и оптимизировали работу с буферами для контекстов больше 8192 токенов.

Цифры, которые заставят вас обновить систему

Тестовая конфигурация: AMD Strix Halo (16 ядер Zen5, 40 RDNA3.5 CU, 32 ГБ LPDDR5X-8000), Linux 6.12, Mesa 24.3. Модель: Qwen2.5-35B-Instruct-A3B-Q8_0.gguf (самая новая версия на 01.03.2026). Контекст: 4096 токенов, генерация 512 токенов.

Видите? Vulkan не просто догнал – он стал настолько быстр, что разница с "нативным" ROCm теперь составляет условные 15-20%, а не 50%. При этом в гибридном режиме (часть слоев на CPU) прирост еще больше. Это меняет правила игры для владельцев ноутбуков на Strix Halo и, вероятно, для многих десктопных карт RDNA3.

Как заставить ваш Vulkan летать: пошаговый план

Это не просто "скачайте драйвер". Нужно синхронизировать обновления на нескольких уровнях. Пропустите один – и прирост испарится.

1 Обновление прошивки и базовой системы

Для Strix Halo это означает обновление BIOS/UEFI до версии с AGESA 1.2.0.8b. Для владельцев дискретных карт (например, RX 7900 XTX) – обновление VBIOS через AMD Software Adrenalin (партнерская ссылка на официальный сайт). Да, это слегка рискованно, но без этого шага улучшения работы с памятью не будет.

# Проверяем текущую версию AGESA (на Linux)
sudo dmidecode -t bios | grep Version
# Или в Windows через msinfo32

2 Установка ROCm 7.12 и Vulkan-драйверов

Не пугайтесь слова ROCm. Нам нужен не весь стек, а именно драйверная часть. Установите официальные пакеты ROCm 7.12, они потянут за собой актуальные amdgpu и Vulkan-компоненты.

# Для Arch Linux / Manjaro (используем AUR)
yay -S rocm-hip-sdk rocm-opencl-runtime vulkan-radeon

# Для Ubuntu 24.04+
sudo apt update
sudo apt install rocm-hip-sdk rocm-opencl-runtime mesa-vulkan-drivers

# Критически важно: после установки проверьте путь к Vulkan
export VK_ICD_FILENAMES=/usr/share/vulkan/icd.d/radeon_icd.x86_64.json

3 Сборка llama.cpp с флагами под новое железо

Клонируйте репозиторий заново. Старая сборка не знает про оптимизации под RDNA3.5 и новый Vulkan.

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
mkdir build && cd build

# Ключевые флаги для Vulkan на Strix Halo / RDNA3
cmake .. -DLLAMA_VULKAN=ON -DCMAKE_BUILD_TYPE=Release \
  -DLLAMA_NATIVE=OFF \  # Важно! Не включать для Zen5/RDNA3.5
  -DLLAMA_AVX2=ON \
  -DLLAMA_F16C=ON

make -j$(nproc)

Почему -DLLAMA_NATIVE=OFF? Потому что "нативные" флаги компилятора иногда ломают тонкие оптимизации для APU, где важна балансировка нагрузки между CPU и GPU. Лучше позволить cmake самому выбрать безопасный набор инструкций.

4 Запуск теста и проверка результата

Скачайте актуальную модель. На 01.03.2026 для Qwen 3.5 35B лучший баланс скорости и качества дает квантование A3B-Q8_0 (это специфичный формат для llama.cpp, аналог Q8_0 с улучшенной обработкой активаций).

./main -m /path/to/qwen2.5-35b-instruct-a3b-q8_0.gguf \
  -p "Расскажи о квантовой запутанности простыми словами" \
  -n 512 -c 4096 -t 16 -ngl 99 -b 512 --flash-attn \
  --vulkan-device 0

Обратите внимание на флаг --flash-attn. В Vulkan-бэкенде llama.cpp он теперь работает стабильно и дает дополнительный прирост на длинных контекстах. Если у вас меньше VRAM, уменьшайте -ngl (количество слоев на GPU).

Где спрятаны грабли: нюансы, которые все испортят

• Системная память имеет значение. На Strix Halo с одноканальной или медленной LPDDR5 вы не увидите и половины прироста. Vulkan стал более чувствителен к латентности памяти, потому что теперь эффективнее ее использует. Это палка о двух концах.
• Гибридный режим (-ngl не 99) может быть быстрее. Странно, но факт. После обновления, из-за изменений в планировании задач, оставить 2-4 слоя на CPU иногда ускоряет общую генерацию на 5-7%. Нужно тестировать на своей модели.
• Версия модели критична. Мы тестировали на Qwen 2.5 35B (вышла в феврале 2026), а не на старой 3.5. Новая архитектура A3B лучше заточена под квантование Q8_0 и эффективнее работает с Vulkan. Старые модели могут показать меньший прирост. Всегда берите самые свежие версии с Hugging Face.
• Segmentation fault после обновления. Знакомая история? Если вылезла ошибка сегментации, с большой вероятностью сбились права на устройство Vulkan. Добавьте пользователя в группу render и video, затем перезагрузитесь. Подробнее об этой проблеме мы писали в статье "Segmentation Fault в llama.cpp на AMD MI50".

Что это значит для вас и будущего железа

Этот прирост – не случайность. Это сигнал от AMD, что они серьезно взялись за оптимизацию стека для AI-нагрузок на потребительском железе. Vulkan, как кроссплатформенный API, становится полноценным игроком, а не костылем.

Для владельцев ноутбуков на Strix Halo это открывает возможность комфортной работы с 35B моделями без подключения внешней видеокарты. Скорость в 20+ токенов в секунду – это уже уровень, на котором можно реально работать, а не просто демонстрировать технологию.

Для сообщества это еще один гвоздь в гроб утверждения "для локальных LLM нужна только NVIDIA". Да, CUDA и TensorRT все еще выжмут максимум, но разрыв сокращается. И если вам лень возиться с ROCm, Vulkan теперь достойная альтернатива.

Мой прогноз? К середине 2026 года мы увидим, как Vulkan-бэкенд в llama.cpp сравняется по производительности с ROCm на топовых AMD GPU, а для APU и мобильных решений станет вариантом по умолчанию. И да, это хороший повод присмотреться к облачным сервисам, предлагающим инстансы на AMD (партнерская ссылка). Цена за токен может оказаться приятным сюрпризом.

Теперь вы знаете, что делать. Обновляйте, компилируйте, тестируйте. И не забудьте поделиться своими результатами – особенно если у вас дискретная карта серии RX 7000. Интересно, насколько там масштабируется прирост.

Подписаться на канал