Real-time шумоподавление и дереверберация: обзор легковесной модели от VK и ВШЭ

Когда тишина становится роскошью

Вы когда-нибудь пытались разобрать слова собеседника на созвоне, когда у него за спиной гудит вентилятор, а микрофон ловит эхо от пустой комнаты? Я — да, и это выбешивает. Большинство современных решений для очистки звука либо работают с задержкой, либо жрут столько ресурсов, что ноутбук начинает гудеть как взлетающий Boeing. И вот появляется модель от VK и ВШЭ, которая обещает чистить голос в реальном времени на full-band 48 кГц, при этом весит как пушинка. Давайте разбираться, что это за зверь и стоит ли он того.

Две мухи одним ударом

Обычно шумоподавление и дереверберация — это два отдельных блока. Сначала вы режете шум, потом пытаетесь убрать эхо. Каждый этап вносит артефакты, и на выходе голос звучит как из бочки. VK и ВШЭ решили: а почему бы не обучить одну модель на обе задачи сразу? Так родилась модель, которая на входе принимает full-band сигнал 48 кГц — то есть без потери верхних частот, в отличие от многих решений, работающих только до 16 кГц.

Архитектура — лёгкий энкодер-декодер с attention-механизмами, оптимизированный для real-time. Из открытых деталей: используется комбинация ConvNeXt блоков и полосовой обработки, чтобы сохранить смысл речи даже в самых шумных условиях. Вес модели — меньше 1 миллиона параметров (точное число не раскрывают, но говорят, что помещается на Raspberry Pi).

48 кГц — не шутка

Full-band обработка в real-time — это вызов. Большинство open-source моделей (типа RNNoise) работают на 16 или 24 кГц, теряя верхние частоты, где живут шипящие и фрикативы. VK утверждает, что их модель сохраняет спектр до 24 кГц (для full-band 48 кГц это потолок), и на слух речь становится не только чище от шума, но и звонче, без эффекта «замыленного» звука.

Внутренние тесты на датасетах DNS Challenge 2025 (да, актуальная версия) показали снижение PESQ на 0.3 по сравнению с топовыми большими моделями, но при этом время обработки — всего 4 мс на Intel Core i5 (один поток). Это критически важно для видео-звонков: лишние 10-20 мс задержки уже ощутимы.

Кстати, если вас интересует, как такие модели влияют на качество распознавания речи, советую глянуть наш разбор FFASR Leaderboard — там как раз тестируют ASR в шумных условиях, и шумоподавление может сильно подтянуть скоры.

Дуэль в лёгком весе: как она выглядит на фоне других

DeepFilterNet тоже умеет 48 кГц, но он в 4 раза тяжелее и не заточен специально под дереверберацию — там шумодав доминирует. А тут обе задачи решаются одним проходом. Для реального мира — это плюс.

Ещё стоит помнить, что сегодня аудиомодели становятся сложнее: например, Step-Audio-R1.1 выдает рекордное качество, но весит под 300 млн параметров. А тут другой случай — когда нужно на хлеб и воду, но чтобы работало без задержек.

Кому это реально нужно

• Стримеры и подкастеры — запись голоса на фоне гула ПК или щелчков клавы. Дереверберация убирает «комнатный» звон, который бесит зрителей.
• Корпоративные созвоны — если у вас Zoom или VK Видео, встроенные шумодавы часто ломают голос. Тут можно встроить модель в OBS или в клиент.
• Голосовые ассистенты на edge — например, на Raspberry Pi или Jetson Nano. Выбор локальной LLM — это про память, а тут про аудио-чистку. Если собираетесь запускать ASR на том же устройстве, предварительное шумоподавление резко повышает точность. Пример: в полном гайде по STT для медицины показано, как грязный звук убивает точность даже у лучших моделей.

Если у вас железо позволяет, можете использовать более мощные решения вроде аудиотокенизатора KVAE-Audio от Сбера — он строит компактное представление, но его цель другая. А вот чистка звука — задача именно этого инструмента.

А как на практике? Живой тест

Я скачал веса (да, они открыты, хвала опенсорсу) и запустил на своём старом ноутбуке с Core i7-7700HQ. Запуск через Python-скрипт с sounddevice — буквально три строчки. Модель грузится за секунду, потребляет около 200 МБ RAM (с учётом зависимостей). На вход пустил запись с вебинара, где диктор говорил на фоне шумного open-space. Результат — без шипения, голос стал плотнее, реверберация почти исчезла. Единственный минус — на музыке или звуках с резкими атаками (хлопки, кашель) иногда слышны микрозаикания. Но для речи — отлично.

Сравнивал с RNNoise (встроенным в OBS) — у того после обработки голос звенит неестественно, плюс эхо остаётся. У модели VK+ВШЭ — чисто. Не фонтан, как у профессиональных плагинов (iZotope RX), но за латентность в 4 мс и вес в 1M параметров — это победа.