Все умерли. Да здравствуют все
2025 год объявил предобучение (pre-training) мертвым. Зачем тратить миллионы долларов на обучение модели на случайных текстах из интернета, если можно взять готовую GPT-5 и настроить ее под себя за копейки? RLHF (обучение с подкреплением на основе человеческих предпочтений) стал новой религией. Каждый стартап хвастался: «Мы не обучаем модели с нуля, мы их выравниваем».
А потом начались проблемы. Модели стали странно послушными, но глупыми. Они прекрасно говорили «я не могу ответить на этот вопрос по этическим соображениям», но забывали, как решать интегралы. Модельный коллапс 2025 показал: RLHF выжигает знания, оставляя красивую оболочку.
Вот классическая ошибка: компания берет Llama 3, настраивает ее на своих данных с помощью RLHF, получает вежливого помощника. Через месяц выясняется, что модель забыла базовую логику и начала генерировать наукообразный бред. Потому что RLHF оптимизировал вежливость, а не знания.
Первый закон масштабирования: больше данных, меньше выравнивания
В тишине исследовательских лабораторий произошло тихое землетрясение. Оказалось, что первый закон масштабирования все еще работает. Не RLHF, не тонкая настройка, а старый добрый предобучение на качественных данных дает максимальный прирост способностей.
| Подход | Что улучшает | Что ломает | Стоимость |
|---|---|---|---|
| Классическое предобучение | Фактические знания, рассуждения, понимание контекста | Ничего (если данные хорошие) | Очень высокая |
| RLHF (выравнивание) | Вежливость, безопасность, стиль ответов | Фактические знания, креативность | Средняя |
| Имитационное обучение | Выполнение конкретных задач | Обобщение, адаптация к новым ситуациям | Низкая |
RLHF похож на дрессировку собаки: ты учишь ее не гадить в доме, но заодно убиваешь ее охотничьи инстинкты. Предобучение — это выращивание волка с нуля. Сложнее, дороже, но результат принципиально другой.
2026: год эффективных вычислений
Почему именно сейчас? Потому что эффективность вычислений наконец догнала амбиции. В 2026 запускают чипы, которые делают предобучение в 3-4 раза дешевле. Анализ трендов железа показывает: мы приближаемся к точке, где обучение модели с нуля станет доступным для средних компаний.
Посмотрите на Gemini Deep Think. Эта модель решает олимпиадные задачи по математике не потому, что ее научили «быть хорошей математичкой». Ее предобучили на специально отобранных математических текстах, доказательствах, задачах. RLHF здесь почти не использовали.
1Соберите домен-специфичные данные
Не просто «все тексты из интернета». Если вам нужна модель для биологии — соберите научные статьи, базы данных белков, учебники. Как AlphaFold — она же не обучалась на Википедии.
2Предобучите с нуля или продолжите обучение
Да, можно взять готовую модель и дообучить на своих данных. Но настоящая магия начинается, когда вы контролируете весь процесс с первого слоя.
3Добавьте RLHF точечно и аккуратно
Только после того, как модель освоила предметную область. И только для конкретных аспектов поведения. Как соль в суп — щепотка улучшает, горсть портит.
Стратегии инвестиций в ИИ: куда бежать в 2026
Тупик RLHF меняет все. Если в 2024-2025 инвесторы бросали деньги на любой стартап с «выравниванием ИИ под бизнес-процессы», то в 2026 смотрят иначе.
- Проигрывают: компании, которые делают «еще один тонкий слой RLHF поверх GPT». Их продукт становится только хуже с каждым обновлением базовой модели.
- Выигрывают: те, кто инвестирует в сбор уникальных данных и предобучение специализированных моделей. Как DeepMind с британским правительством — они строят не просто чат-бота, а научного сотрудника.
- Темная лошадка: гибридные подходы, где предобучение комбинируют с символьными вычислениями. Модель не предсказывает ответ, а вычисляет его.
Самый неочевидный тренд: возвращение маленьких моделей. Зачем нужна модель на 400 миллиардов параметров, если можно предобучить модель на 10 миллиардах на идеально отобранных данных по вашей предметной области? Она будет быстрее, дешевле и умнее в своей нише.
Что это значит для разработчиков и компаний
Забудьте про «возьмем GPT-6 и настроим за выходные». Серьезные приложения в 2026 требуют серьезного подхода:
- Собирайте данные сейчас. Пока конкуренты играют с RLHF, создавайте свои датасеты. Качественные данные — новая нефть.
- Учитесь работать с предобучением. Это сложнее, чем вызвать API для тонкой настройки, но результат того стоит.
- Тестируйте на реальных знаниях, а не на вежливости. Модель должна решать задачи, а не красиво извиняться.
И да, это значит, что барьер входа повышается. Но также это значит, что те, кто вложится в фундаментальные подходы, получат преимущество, которое нельзя скопировать за неделю. В отличие от «еще одного выровненного чат-бота».
RLHF не умрет полностью. Он останется для финальной полировки, для специфических задач вроде агентов, которым нужно имитировать человеческое поведение. Но фундамент — снова предобучение.
Иронично, но мы возвращаемся к истокам. К тому, с чего начинался современный ИИ. Только теперь с лучшими данными, эффективными вычислениями и пониманием, что не все человеческие предпочтения идут моделям на пользу. Иногда лучше просто дать им почитать хорошие книги.
Так что если в 2026 вы увидите стартап, который хвастается «мы обучаем модели с нуля на своих данных» — присмотритесь. Возможно, это не ретроградство. Это следующий шаг. Пока все играют в выравнивание, умные возвращаются к основам. И строят то, что будет работать через пять лет, а не через пять минут после релиза.
