Perch: как нейросеть DeepMind слушает птиц и спасает виды

Когда нейросеть слышит лучше эколога

Представьте: вы эколог. Ваша задача — понять, какие виды птиц живут в заповеднике площадью 500 квадратных километров. Вы расставляете 50 автономных микрофонов. Через месяц у вас 7200 часов записей. Это 300 дней непрерывного прослушивания. Один человек потратит на это год работы. Или ошибется от усталости на сотый час.

Теперь представьте другую картину: та же задача, но вместо вас — модель Perch от DeepMind. Она обрабатывает все записи за пару дней. Находит 127 видов птиц. Точно определяет редкую сову, которую человек мог пропустить. И делает это с точностью 98%.

Что умеет Perch на самом деле

Если думаете, что это просто классификатор «птица/не птица», ошибаетесь. Perch делает три вещи, которые меняют правила игры в экологическом мониторинге:

• Идентифицирует виды по звуку — знает более 6000 видов птиц, млекопитающих и амфибий
• Определяет активность — показывает, когда именно вид был активен (ночь, утро, сезон)
• Работает в шумных условиях — отделяет птичье пение от ветра, дождя и техногенного шума

Самое интересное — модель адаптируется. Обучили её в основном на наземных записях, но энтузиасты уже дообучают для подводной акустики (киты, дельфины) и тропических лесов, где один квадратный километр может содержать 200 видов птиц.

Perch против старых методов: кто кого?

До Perch экологи использовали либо ручной анализ (кошмар), либо простые спектрограммные классификаторы (точность 60-70%). Давайте сравним:

Разница очевидна. Но есть нюанс: Perch требует GPU. Хотя бы скромного, вроде RTX 3060. На CPU обработка замедляется в 10-15 раз. Это плата за точность.

Код: как запустить Perch за 15 минут

Теория — это хорошо, но давайте посмотрим на реальный код. Вот минимальный рабочий пример:

# Установка (проще, чем кажется)
!pip install torch torchaudio
!pip install git+https://github.com/google-research/perch.git

# Импорты
import torch
import torchaudio
from perch import PerchModel, PerchInference

# Загружаем модель (автоматически скачает веса)
model = PerchModel.from_pretrained("google/perch-base")
inference = PerchInference(model)

# Загружаем аудиофайл (поддерживает WAV, MP3, FLAC)
audio, sr = torchaudio.load("forest_recording.wav")

# Запускаем анализ
results = inference(audio, sample_rate=sr)

# Смотрим результаты
for detection in results[:10]:  # первые 10 обнаружений
    species = detection["species"]
    confidence = detection["confidence"]
    time_start = detection["time_start"]
    time_end = detection["time_end"]
    
    print(f"{species}: {confidence:.2%} в {time_start:.1f}-{time_end:.1f} сек")

Вот что выведет такой скрипт для реальной записи леса:

Parus major (большая синица): 96.34% в 12.3-14.1 сек
Erithacus rubecula (зарянка): 88.72% в 15.8-17.2 сек
Turdus merula (чёрный дрозд): 91.45% в 23.1-25.6 сек
# ... и так далее для всех обнаруженных видов

Модель возвращает временные метки — вы точно знаете, когда какая птица пела. Это критично для изучения суточной активности.

1 Подготовка данных для дообучения

Допустим, вы изучаете редкую птицу, которой нет в базовой модели. Perch позволяет дообучаться. Но подготовить данные — самое сложное.

Как НЕ надо делать: запихнуть в модель 100 часов сырых записей с пометкой «где-то здесь есть наша птица». Она не научится.

Как надо: разметить точные временные интервалы с вокализациями. Вот пример правильной разметки в JSON:

{
  "annotations": [
    {
      "species": "Aquila chrysaetos",
      "common_name": "Беркут",
      "start_time": 125.4,
      "end_time": 128.1,
      "confidence": 1.0,
      "audio_file": "forest_2024_05_15.wav"
    },
    {
      "species": "Aquila chrysaetos",
      "common_name": "Беркут",
      "start_time": 456.8,
      "end_time": 459.3,
      "confidence": 0.95,
      "audio_file": "forest_2024_05_16.wav"
    }
  ]
}

Нужно хотя бы 50-100 таких размеченных примеров на вид. Да, работа кропотливая. Но после дообучения модель будет находить этот вид автоматически во всех новых записях.

Кому Perch реально нужен (а кому нет)

Эта модель — не для всех. Если вы студент, который хочет «поиграться с AI», лучше посмотрите на Gemma 3 270M — она проще и требует меньше ресурсов.

Perch нужен конкретным людям:

• Экологи и биологи — для мониторинга заповедников без круглосуточного дежурства
• Орнитологи-любители — с серьёзными проектами (например, картографирование миграций)
• НКО по охране природы — для доказательства наличия редких видов (это влияет на статус территорий)
• Учёные в области биоакустики — как базовую модель для исследований

Интересный кейс: в Канаде Perch используют для отслеживания популяции сов в районах вырубки леса. Раньше учёные ходили ночами и имитировали совиные крики, надеясь на ответ. Теперь ставят автономные рекордеры — модель анализирует всё автоматически.

Альтернативы? Есть, но с оговорками

Perch — не единственный игрок на поле биоакустического AI. Вот основные конкуренты:

• BirdNET — самый популярный, но закрытый API (платный после определённого лимита)
• Kaleidoscope Pro — коммерческое ПО, $1000+ в год, точность ниже
• Custom CNN модели — если есть время и экспертиза, можно собрать свою, как это делают в Wildberries для детекции AI-изображений

Главное преимущество Perch — открытость. Модель, веса, код обучения — всё публично. Можно разобрать архитектуру, модифицировать, дообучить для китов или насекомых. С коммерческими решениями такое не пройдёт.

Кстати, если ищете другие open-source модели для нишевых задач, посмотрите Models Explorer — инструмент, который помогает найти альтернативы за 30 секунд.

Тёмная сторона: что не так с Perch

Идеальных технологий не бывает. Вот проблемы, с которыми столкнутся реальные пользователи:

1. Требует GPU — на ноутбуке без видеокарты работать не будет. Cloud-версии нет (пока).
2. Смещение данных — модель лучше определяет птиц Северной Америки и Европы. Африканские и азиатские виды распознаёт хуже.
3. Нет real-time обработки — только анализ записанных файлов. Для live-мониторинга придётся строить пайплайн.
4. Документация для учёных, а не для программистов — придётся разбираться в исходниках.

Последняя проблема особенно раздражает. DeepMind выпускает крутые модели, но иногда кажется, что они пишут документацию для других исследователей DeepMind. Обычному экологу без Python-опыта будет тяжело.

Что дальше? Будущее биоакустического AI

Perch — только начало. Вот что появится в ближайшие 2-3 года:

• Мультимодальные модели — анализ звука + изображения с камер-ловушек. Птицу не только услышат, но и увидят.
• Edge-версии — модели, работающие прямо на автономных рекордерах в лесу. Данные не нужно будет вывозить.
• Детекция стресса — по голосу птицы можно будет определить, здоров ли она, испытывает ли стресс от изменений среды.

Уже сейчас появляются модели вроде MedGemma для медицины — узкоспециализированные, но бесплатные. Тренд ясен: AI становится инструментом не только для техногигантов, но и для учёных.

Главный вопрос: кто будет платить? Perch бесплатна, но экология — не самая финансируемая область. Возможно, ответ в гибридных моделях: базовый функционал бесплатный, а специализированные дообучения — за деньги.

А пока — если у вас есть данные полевых записей и GPU, попробуйте Perch. Может оказаться, что в вашем лесу живёт вид, который считался исчезнувшим 20 лет назад. И это открытие сделает не человек, а нейросеть. Что, впрочем, не делает его менее важным.