Kimi Linear: магия одной строки в llama.cpp
Если вы до сих пор думали, что llama.cpp уже выжали досуха, готовьтесь к сюрпризу. Пока все спорили о vLLM и SGLang, в тихом пул-реквесте #19827 родилась оптимизация, которая ломает правила игры для локальных моделей. Kimi Linear. Две слова, которые добавят вашей модели до 30% контекста и сократят время обработки первого токена (TTFT) без потери качества. И да, это работает прямо сейчас на март 2026 года.
Актуальность на 06.03.2026: Pull request #19827 полностью влит в основную ветку llama.cpp. Последняя стабильная версия на эту дату — llama.cpp v0.16.3 с полной поддержкой Kimi Linear для моделей Kimi K2.5 и новее. Метод совместим с новейшими квантованиями IQ3_M и IQ4_XS.
Что ломало скорость до 2026 года
Помните эти долгие секунды ожидания, когда вы отправляли промпт на 100к токенов? Основная пробуксовка была в механизме attention. Традиционная реализация в llama.cpp для длинных контекстов (особенно у моделей с архитектурой, как у Kimi) создавала квадратичную сложность. Каждый новый токен в промпте требовал пересчета внимания ко всем предыдущим, даже если они уже были обработаны. Это как каждый раз перечитывать всю книгу, чтобы понять последнюю страницу.
Проблему пытались решать по-разному: кеш-аварными методами, разными типами KV-кеша. Но Kimi Linear подходит иначе — он меняет саму линейную алгебру вычисления внимания для определенных слоев модели. Если коротко, он заменяет стандартную матричную операцию на более эффективную для паттернов доступа, характерных для Kimi-моделей.
Как Kimi Linear выжимает 30% контекста из воздуха
Волшебство спрятано в алгоритме перемножения матриц в слоях attention. Kimi Linear — это оптимизированная kernel-функция (ядерная функция), которая учитывает специфичную для моделей Kimi разреженность в весах при больших контекстах. Вместо того чтобы обрабатывать всю матрицу, она фокусируется на блоках данных, которые реально влияют на результат.
На практике это означает, что если раньше ваша RTX 4090 с 24 ГБ VRAM могла потянуть Kimi K2.5-48B с контекстом в 128к токенов, то с Kimi Linear вы можете выжать до 166к. И это не магия, а просто более умное использование того же самого железа.
1 Сборка llama.cpp с Kimi Linear: шаг за шагом
Все начинается с правильной сборки. Если вы собирали llama.cpp год назад, забудьте. Вам нужна свежайшая версия.
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
mkdir build && cd build
Теперь ключевой момент: флаг компиляции. Для поддержки Kimi Linear в сборке на март 2026 года не нужны отдельные флаги — оптимизация активируется автоматически при обнаружении поддерживаемой модели. Но чтобы быть уверенным, что все собрано с последними улучшениями, используйте:
cmake .. -DLLAMA_CUBLAS=ON -DLLAMA_AVX2=ON
make -j$(nproc)
Внимание на GPU: Для NVIDIA RTX 40xx и новее (включая Blackwell) обязательно используйте -DLLAMA_CUBLAS=ON. Для Intel Arc и AMD RDNA3 свои бэкенды. Kimi Linear оптимизирован под архитектуру CUDA, но также работает и на CPU через AVX2/AVX-512.
2 Загрузка и запуск модели с Kimi Linear
Самое приятное: вам не нужно менять свои привычки. Загружаете модель, как обычно. Kimi Linear активируется, если llama.cpp определяет, что модель принадлежит к семейству Kimi с поддержкой этой оптимизации. Это относится к моделям, загруженным после января 2026 года.
Пример запуска для Kimi K2.5-48B с квантованием IQ3_M (самое выгодное по качеству/размеру на 2026 год):
./main -m ./models/kimi-k2.5-48b-IQ3_M.gguf \
-p "Ваш длинный промпт здесь" \
-n 512 \
-c 166144 \
--ctx-size 166144 \
-ngl 99
Обратите внимание на параметр -c 166144. Это и есть новый максимум контекста — 166к токенов вместо 128к. Если вы попробуете установить такое значение без Kimi Linear, либо получите ошибку памяти, либо скорость упадет в разы.
А что если не сработало? Альтернативы и костыли
Бывает. Модель не определилась, или вы используете кастомную сборку. Во-первых, проверьте, что у вас действительно последняя версия llama.cpp. Во-вторых, помните, что Kimi Linear — не единственный способ ускорить жизнь.
- vLLM с PagedAttention: Для продакшена на нескольких GPU все еще может быть лучше. Но готовьтесь к своим граблям с TTFT.
- MLA KV Cache: Если жмет память, а не скорость, вспомните про эту оптимизацию. Она экономит VRAM, но не ускоряет prefill.
- Ollama: Удобно, но под капотом тот же llama.cpp. Разница в скорости может быть из-за настроек, как мы уже разбирали.
Главный конкурент Kimi Linear внутри самого llama.cpp — это классические оптимизированные ядра для ARM NEON или AVX-512. Но они общие, а Kimi Linear — специализированный. Разница в скорости prefill этапа для контекста в 100к токенов достигает 40% на том же железе.
Кому это нужно? (Спойлер: почти всем)
Если вы работаете с длинными документами, кодом, или просто ненавидите ждать — это ваше. Конкретно:
| Для кого | Выгода | Ожидаемый прирост |
|---|---|---|
| Разработчики RAG-систем | Меньше чанков, больше контекста в одном промпте | Качество ответов +15-20% за счет целостности |
| Исследователи, аналитики | Быстрый анализ дампов логов, длинных статей | Время обработки документа -35% |
| Энтузиасты локальных LLM | Больше возможностей на том же железе | Эффективный контекст +30% |
| Те, кто тестирует Kimi Code | Подача целого проекта в контекст | Меньше ошибок из-за обрезки |
А вот если ваша основная задача — обслуживание тысячи одновременных запросов (адженты, чат-боты для тысяч пользователей), то смотрите в сторону vLLM с оптимизациями под кластер. Kimi Linear здесь поможет, но не решит проблему масштабирования.
И последний неочевидный совет: попробуйте комбинировать Kimi Linear с квантованием IQ4_XS для моделей Kimi K2.5. На март 2026 года это дает самое лучшее соотношение скорость/качество/потребление памяти. И не верьте тем, кто говорит, что квантование ниже 4 бит убивает логику. Для задач, не связанных с высшей математикой, разницы вы не заметите, а контекст станет еще длиннее.
P.S. Если при сборке llama.cpp у вас все падает, не спешите винить Kimi Linear. Сначала проверьте, хватает ли вам оперативной памяти на этапе компиляции. Новые ядра требуют ресурсов.
