Запуск Whisper, дизаризации и суммаризации на iPhone Neural Engine: полный on-device пайплайн без облака

Забудьте про облака: ваш iPhone теперь сам себе стенограф

Представьте, что вы записываете важную встречу. Приложение мило улыбается, отправляет аудио в неведомый дата-центр, ждет ответа, а вы ждете. Ждете, пока нейросеть где-то в Вирджинии распознает речь, потом еще где-то в Айове ее осмыслит. А батарея вашего телефона тает на глазах, потому что активно работает модуль LTE. И все это время ваши конфиденциальные разговоры летают по интернету.

Бред? Это ежедневная реальность для миллионов. Но на 14 марта 2026 года она устарела. Neural Engine в iPhone 16 Pro и новее — это не игрушка. Это специализированный 32-ядерный процессор, способный запускать модели в несколько миллиардов параметров, не вспотев. Просто Apple до сих пор не спешит давать нам готовые инструменты для полноценного on-device пайплайна. Что ж, сделаем это сами.

Стек 2026 года: что работает на железе сегодня

Забудьте про гигантов вроде GPT-4 или Claude 3.5. Нам нужны модели, которые поместятся в память и не превратят iPhone в грелку. После месяцев тестов на iPhone 16 Pro и 17 вот что реально работает:

Для суммаризации ситуация еще интереснее. После нашей прошлой статьи про локальные LLM на iPhone появились новые игроки. Phi-3.5-mini-instruct (3.8B) по-прежнему король качества, но Gemma2-2B-it (2B) теперь работает на Neural Engine со скоростью 30 токенов в секунду. А для тех, кто хочет максимальной автономности, Liquid AI LFM2.5-1.2B-Thinking потребляет смешные 300 мВт при инференсе.

1 Собираем пазл: от аудио к тексту за миллисекунды

Первая часть пайплайна — speech-to-text (STT). Самый стабильный вариант на сегодня — WhisperKit с поддержкой CoreML. В отличие от Whisper.cpp, он заточен под Neural Engine и использует Apple's ANE (Apple Neural Engine) framework для максимальной эффективности.

// Пример инициализации WhisperKit в Swift
import WhisperKit

let whisper = try WhisperKit(
    model: "whisper-tiny-q8",
    computeUnits: .cpuAndNeuralEngine // Ключевой момент!
)

// Запись с микрофона идет в реальном времени
let transcriptions = try await whisper.transcribeAudioArray(
    audioArray,
    language: "ru"
)

Флаг computeUnits: .cpuAndNeuralEngine — это магия. Он заставляет систему использовать Neural Engine для всех поддерживаемых операций, а CPU только для контроля. Результат: потребление энергии падает в 3-4 раза по сравнению с использованием только CPU.

2 Дизаризация: превращаем поток слов в чистый текст

Whisper выдает сырой текст, полный «э-э-э», «ну» и повторов. Классический подход — отправить текст в какую-нибудь облачную NLP-библиотеку. Но мы же на устройстве, помните?

Решение 2026 года — крошечная модель на основе трансформера, обученная именно на удаление мусора из русской речи. Например, Disfluency-RU-Mobile (50M параметров). Ее можно запускать прямо на выходе Whisper, даже не буферизируя весь текст. В CoreML она занимает всего 15 МБ.

# Конвертация модели дизаризации в CoreML (делается один раз)
import coremltools as ct
from transformers import AutoModelForTokenClassification

model = AutoModelForTokenClassification.from_pretrained("vasily/Disfluency-RU-Mobile")
traced_model = torch.jit.trace(model, example_input)

mlmodel = ct.convert(
    traced_model,
    inputs=[ct.TensorType(name="input", shape=(1, 128))],
    compute_units=ct.ComputeUnit.ALL
)
mlmodel.save("DisfluencyRU.mlmodel")

3 Суммаризация: заставляем маленькую LLM думать как большая

Вот здесь начинается самое интересное. Нам нужно выбрать модель, которая: 1. Помещается в 4-8 ГБ оперативной памяти (да, у iPhone 17 Pro уже 12 ГБ, но мы скромные). 2. Не перегревает устройство за 2 минуты работы. 3. Понимает контекст встречи и может выделить решения, задачи и итоги.

Мой выбор на март 2026 — Qwen2.5-Coder-3B-Instruct, квантованная до 4-бит через MLX Omni Engine. Почему? Она обучена на код-ревью и диалогах, а значит, отлично улавливает структуру и логические связи. И она прекрасно работает через llama.cpp с бэкендом для Neural Engine (флаг --n-gpu-layers 2).

Цифры по энергии — не абстракция. 350 мДж — это примерно 0.1% заряда батареи iPhone 17 Pro на одну минуту аудио. Вы можете суммировать часовую встречу, потратив меньше 1% заряда. Попробуйте сделать это через облачный API с включенным LTE.

Собираем все вместе: архитектура приложения

Нельзя просто взять и запустить три нейросети подряд в основном потоке. Приложение зависнет, iOS убьет его, а пользователь вас возненавидит. Правильная архитектура выглядит так:

1. Аудиозахват в фоне: Используем AVAudioEngine с буфером в 100 мс. Данные сразу кодируются в формат, который ждет Whisper (16 кГц, моно, PCM).
2. STT-обработчик (отдельная очередь): WhisperKit работает в собственном DispatchQueue с высокой приоритетностью. Как только набирается 3 секунды аудио (можно настраивать), запускается инференс.
3. Пайплайн дизаризации: Очистка текста происходит параллельно с продолжением записи. Тут важно не гнаться за perfect, а за real-time.
4. Суммаризация по триггеру: LLM запускается только когда пользователь останавливает запись или по нажатию кнопки. Загружается в память заранее, но инференс — по требованию.

// Упрощенная схема пайплайна
class AudioPipeline {
    private let whisperQueue = DispatchQueue(label: "whisper", qos: .userInitiated)
    private var accumulatedText = ""
    
    func processAudioBuffer(_ buffer: AVAudioPCMBuffer) {
        whisperQueue.async { [weak self] in
            guard let self = self else { return }
            // 1. Транскрипция через WhisperKit
            let text = self.whisper.transcribe(buffer)
            // 2. Дизаризация
            let cleanText = self.disfluencyModel.clean(text)
            self.accumulatedText.append(cleanText)
            // 3. Обновление UI в main queue
            DispatchQueue.main.async {
                self.textView.text = self.accumulatedText
            }
        }
    }
    
    func summarize() {
        // LLM работает на отдельной очереди с низким приоритетом
        DispatchQueue.global(qos: .background).async {
            let summary = self.llm.generate(
                prompt: "Суммаризируй встречу: \(self.accumulatedText)"
            )
            // ...
        }
    }
}

Подводные камни, о которые я сломал зубы

Теория — это прекрасно. Практика заставит вас вырвать на себе волосы. Вот что нужно знать заранее:

• Термал троттлинг: Neural Engine начинает сбрасывать частоту после 2-3 минут непрерывной нагрузки. Решение — делать паузы в 200-300 мс между вызовами Whisper. Да, это снижает real-time эффект, но спасает от перегрева.
• Память, память и еще раз память: Whisper tiny занимает ~150 МБ, LLM — еще 1.5-2 ГБ. Если ваше приложение уйдет в background, iOS может выгрузить модель из памяти. При восстановлении нужно иметь быстрый способ перезагрузки квантованных весов. Кэшируйте их в Documents directory.
• Фоновый режим: iOS не любит, когда фоновые приложения жрут процессор. Используйте BGProcessingTaskRequest для законченной суммаризации после остановки записи. Иначе рискуете получить 30 секунд работы до убийства.

Что в итоге?

Собрать полностью локальный пайплайн транскрипции и суммаризации на iPhone в 2026 году — не фантастика, а инженерная задача. Да, она требует времени, знаний CoreML и понимания ограничений мобильного железа. Но результат того стоит: приложение, которое работает где угодно, не спрашивает пароль от Wi-Fi и не сливает ваши переговоры.

Neural Engine — это темная лошадка. Apple не раскрывает всех ее возможностей, но те, кто копает глубже, получают преимущество. Через год, когда все будут говорить о приватном ИИ, вы уже будете иметь работающий продукт.

P.S. Если думаете, что это слишком сложно — начните с малого. Возьмите готовую сборку WhisperKit, добавьте кнопку «суммаризировать» через облако, а потом постепенно заменяйте облачные компоненты локальными. Главное — начать.

Подписаться на канал