Исправление бага с повторной обработкой промптов в Qwen 3.5 для llama.cpp: подробный гайд

Когда модель думает, что ты уже начал думать, но ты только собирался

Ты запускаешь свежую Qwen 3.5 72B через llama.cpp. Модель шустрая, ответы качественные. Но через пару часов работы замечаешь странное: контекст съедает больше токенов, чем должен. Генерация иногда замедляется без причины. В логах появляются непонятные пустые теги . Это не призраки в коде. Это баг, который тихо сжирает твои вычислительные ресурсы и портит качество ответов.

Проблема специфична для интерактивного (instruct) режима работы с Qwen 3.5 в llama.cpp. Если ты используешь API или интерактивную консоль, ты почти гарантированно с ней столкнешься. Баг связан с тем, как llama.cpp применяет шаблон чата (chat template) на основе Jinja2. Шаблон обрабатывает промпт дважды, вставляя лишние служебные токены и нарушая логику внутреннего "мышления" модели.

Корень зла: сломанный шаблон и двойной проход

В основе лежит файл chat_templates/qwen.jinja в llama.cpp (или соответствующий шаблон в файле модели GGUF). К марту 2026 года актуальная версия llama.cpp использует сложную логику для поддержки "мышления вслух" (think step) у моделей серии Qwen Next. Но эта логика ломается при определенных условиях.

Вот что происходит пошагово:

1. Ты отправляешь первый пользовательский запрос. Шаблон корректно формирует промпт: <|im_start|>user\nЗапрос<|im_end|>\n<|im_start|>assistant\n.
2. Модель генерирует ответ, который заканчивается тегом <|im_end|>.
3. Ты отправляешь второй запрос в том же сеансе. Здесь начинается магия. Код llama.cpp, отвечающий за контекстный кеш, пытается "склеить" историю диалога с новым запросом.
4. Шаблон срабатывает повторно на уже обработанную часть истории. Условие {% if think %} или логика добавления тега выполняется некорректно, так как переменные состояния шаблона сброшены или не те.
5. В итоге в промпт вставляется пустой или поврежденный тег мышления. Для модели это мусорный токен, который сдвигает контекст, тратит место в контекстном окне и может сбить логику генерации.

Лаборатория: смотрим на сломанный код

Вот фрагмент проблемного шаблона (на основе актуальных исходников llama.cpp на 14.03.2026). Не надо так делать:

{# Старый, проблемный шаблон #}
{% if messages[0]['role'] == 'system' %}
{{ messages[0]['content'] }}
{% endif %}
{% for message in messages %}
{% if message['role'] == 'user' %}
{{ '<|im_start|>user\n' + message['content'] + '<|im_end|>' }}
{% elif message['role'] == 'assistant' %}
{{ '<|im_start|>assistant\n' + message['content'] + '<|im_end|>' }}
{% endif %}
{% if message['role'] == 'assistant' and message.get('think') %}
{{ '' + message['think'] + '' }}
{% endif %}
{% endfor %}
{% if add_generation_prompt %}
{{ '<|im_start|>assistant\n' }}
{% endif %}

Проблема в условной конструкции {% if message['role'] == 'assistant' and message.get('think') %}. В контексте llama.cpp, когда история диалога передается в шаблон для "дополнения" (добавления нового пользовательского запроса), структура сообщений может быть уже частично обработана. Поле 'think' может быть неопределено, но условие срабатывает из-за особенностей рендеринга Jinja2 в многоэтапном процессе. Это приводит к вставке пустого тега.

1 Проверяем, есть ли у тебя эта проблема

Запусти llama.cpp с Qwen 3.5 в интерактивном режиме с максимальным логированием:

./main -m qwen3.5-14b-q4_k_m.gguf \
  --color -c 4096 --temp 0.7 \
  --repeat_penalty 1.1 -n -1 \
  --instruct -p "Ты полезный ассистент." \
  --log-disable

Проведи короткий диалог из 2-3 реплик. Затем посмотри логи (или используй флаг --prompt-cache 0, чтобы отключить кеш и видеть сырые промпты). Ищи в выводе подозрительные вхождения без содержимого или теги <|im_start|> в неправильных местах. Если нашел – баг твой.

2 Скачиваем или обновляем llama.cpp

Убедись, что у тебя актуальная версия llama.cpp. Баг активно чинят в основной ветке. Клонируй репозиторий или обнови существующий:

cd llama.cpp
git pull origin master
# Или, если еще нет:
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make clean && make -j$(nproc)

Последние коммиты марта 2026 года содержат правки для шаблонов Qwen. Если хочешь быть полностью уверен, проверь хэш коммита – на 14 марта 2026 актуальный коммит с исправлениями для Qwen начинается с a1b2c3d (условно). Подробнее про обновление и фиксы для мульти-GPU можно узнать в нашей статье «Как обновить llama.cpp для Qwen 3.5».

3 Правим Jinja-шаблон вручную (если обновление не помогло)

Иногда баг может быть в самом файле GGUF, если шаблон был встроен при конвертации. Или твоя версия llama.cpp еще не содержит фикса. Тогда лезем в код.

Находим файл chat_templates/qwen.jinja в исходниках llama.cpp. Открываем его. Ищем блок, отвечающий за добавление тега . Актуальное исправленное решение выглядит так:

{# Исправленный шаблон (март 2026) #}
{% if messages[0]['role'] == 'system' %}
{{ messages[0]['content'] }}
{% endif %}
{% for message in messages %}
{% if message['role'] == 'user' %}
{{ '<|im_start|>user\n' + message['content'] + '<|im_end|>' }}
{% elif message['role'] == 'assistant' %}
{{ '<|im_start|>assistant\n' }}
{% if message.get('think') is not none %}
{{ '' + message['think'] + '' }}
{% endif %}
{{ message['content'] + '<|im_end|>' }}
{% endif %}
{% endfor %}
{% if add_generation_prompt %}
{{ '<|im_start|>assistant\n' }}
{% endif %}

Ключевые изменения:

• Тег теперь вставляется только если поле 'think' явно присутствует и не равно None (message.get('think') is not none). Это жесткая проверка, которая исключает ложные срабатывания.
• Содержимое ответа ассистента (message['content']) добавляется после возможного тега think, но до закрывающего <|im_end|>. Это соответствует оригинальному формату Qwen.
• Убрано отдельное условие после цикла, которое могло дублировать логику.

После правки файла шаблона нужно пересобрать llama.cpp: make clean && make -j$(nproc).

4 Альтернатива: указываем правильный шаблон через параметры

В llama.cpp есть флаг --chat-template, который позволяет передать шаблон напрямую или указать файл. Если не хочешь лезть в исходники, можно попробовать задать исправленный шаблон через командную строку или конфигурационный файл.

./main -m qwen3.5-7b-q4_k_m.gguf --instruct \
  --chat-template "{% if messages[0]['role'] == 'system' %}{{ messages[0]['content'] }}{% endif %}{% for message in messages %}{% if message['role'] == 'user' %}{{ '<|im_start|>user\\n' + message['content'] + '<|im_end|>' }}{% elif message['role'] == 'assistant' %}{{ '<|im_start|>assistant\\n' }}{% if message.get('think') is not none %}{{ '' + message['think'] + '' }}{% endif %}{{ message['content'] + '<|im_end|>' }}{% endif %}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant\\n' }}{% endif %}"

(Шаблон указан в одну строку, экранируем обратные слэши). Это может быть временным решением, пока не выйдет стабильный релиз с фиксом.

Что будет, если проигнорировать баг?

Ты продолжишь терять производительность. Каждый пустой тег – это 1-2 токена. В длинном диалоге из 50 обменов репликами это уже 50-100 токенов мусора. Для контекста в 4096 токенов – это 2.5% полезного пространства. Модель будет помнить меньше деталей из начала разговора.

Хуже то, что нарушается структура промпта. Модель Qwen обучена на строго определенном формате. Лишние теги могут сбить с толку механизм генерации, особенно в сложных сценариях tool calling или цепочек рассуждений. В итоге получаем сломанный tool calling или бессмысленные ответы после нескольких реплик.

Если ты используешь llama.cpp в продакшене для обработки документов или чат-ботов, этот баг напрямую ударит по качеству сервиса и увеличит затраты на вычисления.

Частые вопросы и подводные камни

Профилактика: как не наступить на те же грабли

Всегда проверяй логи при первом запуске новой модели или версии llama.cpp. Ищи аномалии в промптах. Используй флаги --log-disable и --verbose-prompt (если есть в твоей версии).

Подписывайся на пулл-реквесты в репозитории llama.cpp, особенно те, что касаются chat templates. Разработчики активно правят эти части кода. Кстати, один такой PR недавно ускорил Qwen Next на 30% – следи за обновлениями.

Если собираешь llama.cpp под свое железо, не забудь про оптимизацию под конкретные процессоры. А для тонкой настройки производительности изучи аргументы llama.cpp.

Подписаться на канал