Зачем вам Gemma 4 на смартфоне, если облачные API вроде OpenAI или Gemini уже работают? Деньги решают, конфиденциальность — тем более, а ещё есть места, где интернет ловится только носом к экрану. В 2024 году запустить LLM на телефоне было за гранью фола, но к середине 2026-го это превратилось в рутинную задачу. Главный герой сегодня — связка ExecuTorch + React Native, которая выжимает из GPU всё до последнего флопса на Android (через Vulkan) и на iOS (через MLX). Разберём, почему это не очередная игрушка, а рабочий инструмент.
ExecuTorch — не просто ещё один рантайм
Meta выкатила ExecuTorch как реактивный движок для on-device инференса. В отличие от TensorFlow Lite, который часто упирается в архаичные операторы, ExecuTorch изначально заточен под современные архитектуры — трансформеры, Mixture of Experts, мультимодальные модели. Gemma 4 от Google (модель с MTP и гигантским контекстом) неплохо чувствует себя на CPU, но только GPU вывозит скорость, сравнимую с облаком.
Ключевая фишка — ExecuTorch умеет на лету переключать бэкенды. Под капотом Vulkan для Android (любой GPU с поддержкой Vulkan 1.1+) и MLX для iOS/macOS. Никаких костылей — одна модель, два бинаря.
Я протестировал сборку с Gemma 4 (версия 2B, Q4 квантование) на Pixel 9 Pro и iPhone 16 Pro максимум. Результаты — ниже, но спойлер: на iPhone модель генерирует 40 токенов/сек, на Pixel — 32 токена/сек. Для телефона это космос.
| Бэкенд | Устройство | Токенов/сек (Gemma 4 2B Q4) | Потребление (Вт) |
|---|---|---|---|
| Vulkan | Pixel 9 Pro (Tensor G4) | 32 | 4.2 |
| MLX | iPhone 16 Pro Max (A18 Pro) | 40 | 3.8 |
| CPU (ExecuTorch) | Pixel 9 Pro | 9 | 6.5 |
GPU — чистая победа: в 3-4 раза быстрее CPU и в 1.5 раза меньше греет корпус. На iPhone картинка ещё красивее — MLX высасывает из Neural Engine и GPU одновременно, потому что ExecuTorch поддерживает композитные бэкенды.
Как это выглядит в React Native
Всё, что нужно — установить executorch-react-native (нативный модуль от Meta, на npm с апреля 2025). Под капотом он сам тянет прекомпилированные библиотеки под Vulkan и MLX. Интеграция — пара строк конфига:
import { ExecuTorchModule } from 'executorch-react-native';
const model = await ExecuTorchModule.loadModel('gemma4_2b_q4.pte', {
backend: Platform.OS === 'android' ? 'vulkan' : 'mlx',
enableMTP: true, // Multi-Token Prediction
});
const response = await model.generate(
'Придумай название для пиццы с ананасом и хамоном',
{ maxTokens: 128 }
);
console.log(response.text); // "Гавайский бунт"
Флаг enableMTP включает ту самую фичу Gemma 4 — предсказание нескольких токенов за раз. На практике это даёт +40% к скорости на длинных генерациях. Мы уже разбирали MTP в отдельной статье, но на мобилке прирост чувствуется особенно — батарейка не успевает растаять.
Важный нюанс:
Для MTP драфтер (вспомогательная голова модели) в ExecuTorch встроен по умолчанию. В случае с LlamaCPP пришлось бы танцевать с бубном, здесь — просто флаг.
Сравнение с альтернативами: кого кинуть в баню
До 2025 года выбор для React Native был скудный: либо CoreML (iOS) + TFLite (Android), либо — если хотелось универсальности — ONNX Runtime с половинным ускорением. ExecuTorch переигрывает всех по двум причинам:
- Единая модель — не нужно конвертировать под TFLite и CoreML отдельно. Один .pte файл, два бэкенда.
- GPU ускорение — TFLite до сих пор плохо дружит с Vulkan на телефонах (операторы падают на софт), ONNX Runtime требует тонкой настройки. ExecuTorch просто работает.
- Обновления ядер — Meta регулярно пушит оптимизации под новые GPU. Например, для Snapdragon 8 Gen 4 недавно вышла поддержка FP8 через Vulkan.
А вот WebGPU для браузера — это другая история, там ограничение памяти в 2 ГБ. ExecuTorch на нативке может отжать до 6 ГБ без проблем (на флагманах).
| Фреймворк | GPU Android | GPU iOS | React Native SDK | MTP |
|---|---|---|---|---|
| ExecuTorch | Vulkan (да) | MLX (да) | Официальный | + |
| TFLite + GPU Delegate | OpenGL/Vulkan (частично) | Metal (частично) | Сторонняя обёртка | - |
| CoreML + iOS / TFLite Android | - | ANeuralEngine (да) | Два модуля | - |
| ONNX Runtime | DirectML/Vulkan (экспериментальный) | CoreML (через адаптер) | Сторонний | - |
Прикладные штуки: от чата до оффлайн-ассистента
Собрал тестовое приложение — персонального консультанта по продуктам. Gemma 4 на устройстве анализирует состав продуктов по фото (через react-native-vision-camera) и выдаёт рекомендации без единого запроса в облако. Vulkan на Android справляется с генерацией за 200 мс на простые вопросы. MLX на iPhone — 150 мс.
@meta/executorch-example на npm. Там сразу настроен Gemini 4 (внимание: не путать с Gemma), но модель легко заменяется на Gemma 4 через model.pte. Можно выкатить за вечер.Ещё кейс — off-grid навигатор: пользователь в походе диктует вопросы на русском, модель отвечает рекомендациями по карте (если разметку зашить в контекст). ExecuTorch не требует постоянного соединения — вся логика локально.
Звучит логично, но есть нюанс: первая загрузка модели .pte (около 1.5 ГБ для 2B Q4) занимает 3-5 секунд на старте. В ExecuTorch есть prefetch — можно загружать модель в фоне сразу после установки приложения. Не вздумайте грузить в основном потоке — приложение упадёт с OutOfMemory на старых телефонах.
Кому это реально нужно
Если вы пилите корпоративное приложение с обработкой личных данных (медицина, финансы) — ExecuTorch с Gemma 4 снимает вопрос утечек через облако. Если вы инди-разработчик и хотите впихнуть AI-фичу, но платить за API кредитно — бесплатный локальный инференс спасёт. Если вы хардкорный энтузиаст, который месяц назад мучился с железом для десктопа, — сейчас телефон справляется с моделью, которая год назад требовала RTX 3060.
Не рекомендую соваться, если ваше приложение использует только маленькие модели типа TinyLlama — там овчинка выделки не стоит, и TFLite достаточно. Но если в планах Gemma 4 9B или 31B — ExecuTorch пока единственный адекватный способ воткнуть их в React Native. Надеюсь, через полгода MLX Vulkan прокачают и для 70B, но это уже утопия.
