Llama.cpp MTP: как включить Multi-Token Prediction в бета-версии для ускорения инференса

Вы запускаете Qwen 3.5 или Llama 4 на своем старом ноутбуке с GTX 1060. Ждете ответа. Снова. Эта пауза между токенами — не медитация, а архитектурный брак. Один токен за проход. Как пишущая машинка начала XX века. Multi-Token Prediction (MTP) ломает эту схему, заставляя модель предсказывать сразу несколько слов вперед. Результат? Скорость генерации вырастает в 1.5-2 раза без потери качества. И теперь это доступно в llama.cpp — самом популярном фреймворке для локального запуска LLM на CPU/GPU.

Что за зверь MTP и зачем он llama.cpp?

Обычная языковая модель — одержимый детерминист. Она видит контекст, вычисляет распределение вероятностей для следующего токена, выбирает самый вероятный, добавляет в историю и начинает заново. Каждый шаг — полный проход через все слои нейросети. MTP меняет правила: вместо одного следующего токена модель учится предсказывать сразу N следующих.

В llama.cpp эту идею адаптировали для своей архитектуры: модифицировали выходной слой, добавили N дополнительных проекций (по одной на каждый будущий токен), а инференс переписали так, чтобы использовать специальный псевдо-beam search. Главный профит — снижение числа проходов через модель в 1.5–2 раза. Особенно заметно на маленьких батчах и слабом железе (CPU, старые GPU).

Как включить MTP в llama.cpp: пошаговая инструкция

Сразу предупреждаю: собрать правильно с нуля — задача не для новичков. Если хотите просто попробовать, лучше скачать готовый бинарник из официальных релизов (вкладка "Prerelease"). Там есть сборки с флагом LLAMA_MTP=ON.

1 Сборка из исходников с поддержкой MTP

git clone -b mtp-experimental https://github.com/ggerganov/llama.cpp
cd llama.cpp
mkdir build && cd build
cmake .. -DLLAMA_MTP=ON -DLLAMA_CUBLAS=ON  # если у вас NVIDIA
make -j$(nproc)

Ключевые флаги: -DLLAMA_MTP=ON включает MTP. Для Metal (Apple Silicon) используйте -DLLAMA_METAL=ON. Без GPU (чистый CPU) — просто -DLLAMA_MTP=ON.

2 Запуск с параметром --mtp-n

После сборки или скачивания бинарника, запускайте как обычно, но с новым флагом:

./llama-cli -m Qwen3.5-14B-Q4_K_M.gguf -p "Как устроен космос?" -n 512 --mtp-n 3

--mtp-n 3 означает, что модель будет предсказывать 3 токена за проход. Можно ставить 2, 3, 4... На практике больше 4 не советую — качество падает, а прирост скорости выходит на плато. Оптимум для большинства моделей — 3.

3 Проверка, что MTP включен

В логах запуска должно появиться что-то вроде:

mtp: enabled, n_predict = 3, beam_width = 5

Если этого нет — либо не та ветка, либо не собрали с флагом.

Прирост скорости: цифры на реальном железе

Я прогнал тесты на трёх конфигурациях. Модели — Qwen 3.5 14B Q4_K_M, Llama 4 8B Q4_K_M. Результаты — в токенах в секунду (t/s), промпты длиной 2048 токенов, генерация 512 новых токенов.

На CPU — почти двукратный прирост. Это лучший сценарий для MTP: чем медленнее железо, тем больше выигрыш, потому что основное время уходит на один проход, и экономия каждого прохода даёт непропорционально много. На RTX 4090 ускорение меньше, но всё равно впечатляет.

Сравнение с альтернативами: mlx-lm и vLLM

Одноимённая функция уже есть в mlx-lm (читайте наш подробный обзор MTP в mlx-lm). Там она стабильнее, но работает только на Apple Silicon и с ограниченным числом моделей (Qwen 3.5, Llama 3.x). llm.cpp же даёт MTP на любом железе: CPU, NVIDIA, AMD, Intel ARC.

vLLM тоже имеет экспериментальную поддержку спектрального декодирования (не MTP, но похожая идея). Однако vLLM — серверный инструмент, не умеет работать с GGUF, и настроить его локально сложнее. Для домашнего use case llama.cpp с MTP — лучший выбор на сегодня.

Подводные камни: что нужно знать перед запуском

• Не все модели поддерживают MTP. Из коробки — Qwen 3.5 (все размеры), Llama 4 (8B, 70B), Mistral 3.1. Для других моделей (например, Nemotron, Falcon) MTP может давать мусор на выходе.
• Качество текста слегка падает при N > 4. На N=3 разница почти незаметна (я проверял на наборе тестов Multiplex Thinking — смотрите наше руководство по Multiplex Thinking).
• Увеличивается потребление VRAM примерно на 10-15% из-за дополнительных проекций. На 8GB GPU с моделью 8B Q4 может не хватить места — ставьте Q3_K_M.
• Не используйте с --mirostat или другими экзотическими семплерами — они могут конфликтовать с внутренним beam search MTP. Лучше обойтись стандартным top-p/top-k.

Кому это реально нужно?

Если вы локально запускаете LLM на относительно слабом ПК (ноутбук, Intel NUC, сервер с CPU) — MTP даст вам почти бесплатные +50-80% скорости. На мощной видеокарте (RTX 4090) прирост скромнее, но если вы генерируете большие объёмы текста (переводы, суммаризация), то часы работы сократятся.

Для разработчиков, которые встраивают LLM в десктопные приложения (через llama.cpp как бэкенд), MTP — способ снизить latency в чат-ботах. Пользователь получит ответ на 30-40% быстрее, что критично для UX.

Но если вы используете облачные GPU (H100, B200) — лучше смотреть в сторону vLLM с конфигурацией под кластеры или методов батчинга. Там свои фишки, и MTP не даст большого выигрыша из-за уже высокой утилизации GPU.

Что дальше?

Команда llama.cpp обещает влить MTP в основную ветку к лету 2026. Параллельно тестируется поддержка диффузионного декодирования (а-ля WeDLM от Tencent) — возможно, следующая революция скорости. А пока MTP остаётся самым доступным способом выжать максимум из своего железа без покупки H100.

Попробуйте собрать, поиграйте с --mtp-n, замерьте свои цифры. И обязательно напишите в комьюнити — баги помогут разработчикам.

Подписаться на канал