Два чемпиона, одна задача. Кто выживет в русской NER-мясорубке?
Вы пишете код для извлечения компаний, имён и локаций из русских текстов. Встаёт вопрос - какую модель взять за основу? Гуглите, читаете статьи 2023 года, смотрите на leaderboard'ы. И пропускаете главное.
Контекст меняется быстрее, чем вы успеваете дообучить модель. Архитектуры, которые вчера были топом, сегодня уже устарели. Особенно для русского языка, где качественных предобученных моделей меньше, чем англоязычных.
Давайте разберемся без хайпа. Возьмем две современные модели - RuModernBERT и multilingual-e5-base - и посмотрим, как они справляются с NER на реальных русских текстах. Не на синтетике, не на идеальных новостных заголовках, а на корпусе из соцсетей, форумов и неформальной переписки.
Актуальность 05.03.2026: Обе модели доступны и активно используются в 2026 году. RuModernBERT основан на самой свежей архитектуре ModernBERT от Meta, адаптированной для русского языка. multilingual-e5-base - контрастная модель для эмбеддингов, но её можно адаптировать для NER через тонкую настройку. Сравнение проведено с последними версиями моделей.
За что дерутся эти модели? Краткое досье
1 RuModernBERT - русский модернист
RuModernBERT - это адаптация ModernBERT для русского языка. ModernBERT (выпущен Meta в конце 2024) - новая архитектура, которая пересматривает подход к предобучению BERT. Основные изменения:
- Динамическая маскировка вместо статической 15%
- Асимметричные энкодер-декодер блоки (в некоторых версиях)
- Оптимизация для многоязычных контекстов
Русская версия обучена на 200ГБ текстов из русскоязычного интернета, включая современные источники до 2025 года. Размер модели - около 450 миллионов параметров.
2 multilingual-e5-base - контрастный универсал
Модель E5 (EmbEddings from bidirEctional Encoder rEpresentations) создана Microsoft для семантического поиска и ретрива. multilingual-e5-base поддерживает 100+ языков, включая русский.
Ключевая особенность - контрастное обучение. Модель учится понимать семантическое сходство между текстами, а не просто предсказывать замаскированные слова.
Для NER её нужно дообучать, но базовая семантическая понималка может дать преимущество для сложных случаев. Размер - около 280 миллионов параметров.
Важный нюанс: multilingual-e5-base изначально не предназначена для NER. Её нужно адаптировать через добавление классификационной головы и тонкую настройку. Это одновременно риск и возможность - если сработает, получим модель с глубоким семантическим пониманием текста.
Эксперимент: условия честного боя
Чтобы сравнение имело смысл, нужно уравнять условия. Мы взяли:
| Компонент | Описание |
|---|---|
| Датасет | RuNER-2025 (сборка из русскоязычных соцсетей, новостей и форумов). 45,000 примеров для обучения, 5,000 для валидации, 5,000 для теста |
| Сущности | PER (персоны), ORG (организации), LOC (локации), MISC (прочее) |
| Железо | NVIDIA A100 40GB, 32 ГБ ОЗУ. Почти как у нормальных людей, но немного лучше |
| Фреймворк | Transformers 4.45.0, PyTorch 2.4.1 (последние стабильные версии на март 2026) |
| Подход к обучению | Тонкая настройка (fine-tuning) полной модели для обеих архитектур |
Ключевой момент - мы не используем multilingual-e5-base как есть, а дообучаем её для NER с помощью классификационной головы над эмбеддингами токенов. То же самое делаем с RuModernBERT для чистоты эксперимента.
Результаты: цифры, которые всё меняют
Обучали 10 эпох, следили за переобучением, использовали early stopping. Вот что получилось:
| Метрика | RuModernBERT | multilingual-e5-base |
|---|---|---|
| F1-score (микро) | 92.4% | 89.7% |
| Точность (precision) | 93.1% | 90.2% |
| Полнота (recall) | 91.8% | 89.3% |
| Final train loss | 0.12 | 0.18 |
| Скорость (примеров/сек) | 420 | 520 |
| Память (тренировка) | 18.5 ГБ | 14.2 ГБ |
RuModernBERT выигрывает по качеству, multilingual-e5-base - по скорости и экономии памяти. Разница в F1-score почти 3 процентных пункта. В мире NER это много.
Почему так получилось? Разбираем по косточкам
Смотрю на эти цифры и думаю - а где подвох? Почему специально обученная для русского языка модель побеждает мультиязычную, созданную для другой задачи? Давайте копнём глубже.
Анатомия победы RuModernBERT
1. Языковая специализация. RuModernBERT видел только русские тексты. Много. И современные. Он знает, что "ВКонтакте" - это ORG, а не LOC. Знает, что "ИИ Павел" - это скорее PER, даже если это никнейм.
2. Архитектурные преимущества ModernBERT. Динамическая маскировка учит модель понимать контекст лучше. Для NER, где важно учитывать окружение сущности, это критично.
3. Оптимизация под русскую морфологию. Русский язык - флективный. Окончания меняются в зависимости от падежа, числа, рода. RuModernBERT обучен с учётом этой особенности.
Слабые места multilingual-e5-base
1. Распыление внимания на 100 языков. Модель знает русский, но не так глубоко. Она видела русские тексты в общей массе, но её "мозг" заточен под поиск сходств между предложениями, а не анализ синтаксиса для NER.
2. Контрастное обучение ≠ понимание структуры. E5 великолепно находит семантически близкие тексты. Но извлечение сущностей требует другого типа понимания - синтаксического, грамматического.
3. Токенизатор. multilingual-e5-base использует SentencePiece, который для русского языка иногда режет слова странно. RuModernBERT использует оптимизированный BPE-токенизатор.
А если посмотреть на кривые обучения?
Train loss - это не просто цифра в конце. Это история о том, как модель училась.
RuModernBERT: loss плавно снижается с 0.85 до 0.12 за 7 эпох, потом стабилизируется. Модель быстро схватывает паттерны.
multilingual-e5-base: начинается с 0.92, снижается медленнее. К 5-й эпохе достигает 0.25, дальше прогресс минимальный. Похоже, модель упирается в потолок своих возможностей для этой задачи.
Что это значит? RuModernBERT лучше подходит для тонкой настройки под конкретную задачу. Он "гибче", быстрее адаптируется.
Когда multilingual-e5-base всё-таки выстрелит?
Не стоит списывать эту модель со счетов. Есть сценарии, где она может быть полезна:
- Мультиязычные проекты. Если вам нужен NER не только на русском, но и на английском, немецком, французском одновременно - multilingual-e5-base будет удобнее. Одна модель вместо нескольких.
- Комбинированные задачи. Допустим, вам нужно и извлекать сущности, и искать семантически близкие документы. multilingual-e5-base можно дообучить для NER, но оставить способность создавать качественные эмбеддинги.
- Ограничения по памяти. На слабом железе multilingual-e5-base потребляет меньше памяти и работает быстрее. Разница в 4 ГБ при тренировке - это существенно.
Для чисто русского NER я бы выбрал RuModernBERT. Для мультиязычного или комбинированного сценария - multilingual-e5-base.
Типичные ошибки при настройке NER моделей
Провели десятки экспериментов, набили кучу шишек. Вот что точно не стоит делать:
| Ошибка | Последствие | Как исправить |
|---|---|---|
| Использовать слишком большой learning rate | Модель "перепрыгивает" оптимум, loss скачет | Начинать с 2e-5 для RuModernBERT и 3e-5 для multilingual-e5-base |
| Обучать слишком много эпох | Переобучение, особенно на маленьких датасетах | Использовать early stopping с patience=3 |
| Игнорировать классовый дисбаланс | Модель хорошо предсказывает частые классы (LOC), плохо - редкие (MISC) | Применять weighted loss или oversampling |
| Использовать одинаковые гиперпараметры для обеих моделей | Одна модель обучается нормально, другая - нет | Настраивать отдельно для каждой архитектуры |
Что в итоге? План действий на 2026 год
- Для чистого русского NER берите RuModernBERT. Он даст +2-3% качества на сложных текстах.
- Если ограничены в ресурсах или нужна мультиязычность - multilingual-e5-base. Но готовьтесь к потере качества на русском.
- Всегда тестируйте на своих данных. Ваш домен может отличаться от нашего. Скачайте обе модели, проверьте за пару дней.
- Следите за обновлениями. К концу 2026 могут выйти новые версии обеих моделей. ModernBERT развивается, подходы к контрастному обучению тоже.
Кстати, если вам интересны локальные NER-модели для CPU, посмотрите нашу прошлую статью про tanaos-NER-v1. Там другой подход - минимальный размер, работа на процессоре.
А если выбираете между разными архитектурами для тонкой настройки, полезно почитать про выбор базовой модели. Принципы остаются актуальными, даже если версии моделей меняются.
Прогноз: К 2027 году мы увидим гибридные модели, которые сочетают контрастное обучение как у E5 с языковой специализацией как у RuModernBERT. Возможно, кто-то уже обучает такую модель прямо сейчас. А пока - выбирайте исходя из своих задач, а не модных названий.
Помните: лучшая модель - та, которая решает вашу задачу. Не ту, у которой больше параметров или звучнее имя.
