Два года назад запустить 27-миллиардную модель на ультрабуке без дискретной видеокарты было задачей из разряда «напиши в облаке, иначе иди варить кофе». Сегодня Qualcomm тычет пальцем в ноутбук на Snapdragon X Elite и говорит: «Лови 20 токенов в секунду. На Windows. Без розетки». И это не бред маркетинга — GenieX SDK действительно превращает NPU в полноценный движок для LLM.
Что под капотом? NPU + GGUF + хитрый рантайм
GenieX — это набор библиотек, интеграция с ONNX Runtime и специальный загрузчик квантованных моделей. В отличие от классического запуска через llama.cpp на CPU, где каждое слово вымучивается через 8–12 потоков, здесь задействуется тензорный движок Adreno NPU. Разрядность — от 4 до 8 бит, формат — GGUF (никаких экзотических кастомных упаковщиков).
| Модель | Квантование | Токен/с (NPU) | Потребление RAM |
|---|---|---|---|
| Gemma 4 26B | Q4_K_M | ~19–20 | ~16 ГБ |
| Qwen 3.6 27B | Q4_K_M | ~17–18 | ~16 ГБ |
| Qwen 3.6 27B | Q3_K_XL | ~21 | ~12 ГБ |
Цифры впечатляют, особенно если вспомнить наш эксперимент с Qwen 3.5 35B на CPU — там мы выжимали 10 т/с. Здесь же почти вдвое быстрее, хотя модель меньше всего на 8 млрд параметров. Разница — в NPU и грамотной обвязке.
⚠️ Важный нюанс: заявленные 20 т/с — это на контексте 4096 токенов и при batch size = 1. Если вы накормите модель 32K контекста, скорость упадёт до 7-9 т/с. NPU не любит длинные последовательности так же, как и GPU.
Как это выглядит в реальной жизни
Ставим SDK, качаем GGUF-файл с Hugging Face (Gemma 4 или Qwen 3.6 уже лежат там в готовых квантизациях), запускаем через Python или готовый чат-интерфейс. Никаких танцев с компиляцией под CUDA или OpenCL — GenieX сам выбирает нужный драйвер NPU.
Пример: я открываю Visual Studio Code, пишу промпт «напиши функцию для парсинга логов на Python», модель отвечает за 2–3 секунды. Без интернета, без отправки данных в облако. Если бы я гонял ту же модель на CPU через llama.cpp на обычном x86-ноутбуке, ждал бы минимум вдвое дольше. Кстати, мы сравнивали Ubuntu и llama.cpp на том же Snapdragon в Linux — там скорость выше Win + GenieX процентов на 10 за счёт более агрессивной утилизации NPU. Но Windows-версия удобнее для повседневной работы.
1 Быстрый старт через GenieX CLI
# Установка SDK (пример с winget)
winget install Qualcomm.GenieX --version 0.6.2
# Запуск Qwen 3.6 27B с квантованием Q4_K_M
geniex run --model qwen3.6-27b-q4_k_m.gguf --n-predict 256
Через три секунды после нажатия Enter получаете первый токен. Просто, как сварить пельмени.
GenieX vs остальные: кто кого?
Главные конкуренты — классический llama.cpp на CPU/GPU, Ollama, LM Studio и экзотические вроде 1-битного BitNet. Давайте сравним на реальном ноутбуке Snapdragon X Elite (32 ГБ ОЗУ).
| Инструмент | Qwen 3.6 27B Q4, т/с | Энергопотребление | Сложность установки |
|---|---|---|---|
| GenieX NPU | 17.5 | ~15 Вт | Низкая (один установщик) |
| llama.cpp (CPU, 16 потоков) | 6.2 | ~35 Вт | Средняя (нужна компиляция) |
| Ollama (CPU, bfloat16) | 3.8 | ~28 Вт | Очень низкая (скачать и запустить) |
| LM Studio (CPU+GPU) | 4.1 | ~30 Вт | Низкая |
GenieX выигрывает по скорости и энергоэффективности, но проигрывает в гибкости — он завязан на Snapdragon. Если у вас ноутбук на Intel или AMD, тестирование 25 моделей на мобильном железе показало, что даже Strix Halo с NPU не дотягивает до этих цифр. GenieX — уникальный софт под конкретную архитектуру, и его стоит рассматривать только если вы уже владелец Snapdragon-ноутбука.
Кому это реально нужно?
- Разработчикам AI-приложений, которые хотят тестировать модели локально без аренды GPU.
- Владельцам ноутбуков на Snapdragon X Elite/Plus — наконец-то NPU перестаёт быть просто «галочкой в характеристиках».
- Параноикам приватности — все данные остаются на устройстве, GenieX не шлёт телеметрию кроме стандартных логов.
- Путешественникам и тем, кто часто работает офлайн — локальный AI помощник с достойной скоростью без интернета.
Не подойдёт, если вам нужно генерировать по 5–10 тысяч токенов подряд (например, целые главы книги) — на длинных контекстах GenieX просаживается до 7-8 т/с. Для таких задач лучше посмотреть в сторону серверных сборок на нескольких P40 или облачных инференс-провайдеров.
А что с совместимостью моделей?
GenieX умеет грузить любые GGUF-модели, но на NPU работают только те, что имеют операции, поддерживаемые аппаратным ускорителем. На старте SDK отлично справляется с Gemma, Qwen, Llama 3.2, Mistral и семейством Phi. А вот модели со sparse-архитектурами (как BitNet или некоторые MoE) пока летят в CPU-fallback. Qualcomm обещает расширить поддержку в версии 1.0 к концу 2026.
Любопытно, что LLM-компилятор, запущенный на Hugging Face, выдаёт 152 т/с на энергии лампочки — это уже совсем другой класс эффективности. Но там речь о специализированном компиляторе, а не универсальном рантайме. GenieX — про универсальность и простоту.
Если вам интересно, как другие NPU справляются с LLM, почитайте статью про Strix Halo NPU под Linux — там другой подход, но цифры близкие. Пока Qualcomm выигрывает за счёт готового софта под Windows.
Мой прогноз: через год GenieX будет предустановлен на каждом втором Snapdragon-ноутбуке, и фраза «запусти LLM локально» перестанет быть диковинкой. А конкуренция с внешними ускорителями вроде ASUS GX10 заставит Qualcomm не останавливаться на 20 т/с. Так что, если вы на Snapdragon — пробуйте GenieX уже сегодня.
