Новый домен рисков: когда ИИ учится манипулировать людьми
DeepMind выпустил Frontier Safety Framework — документ на 45 страницах, который пытается систематизировать оценку рисков от продвинутого ИИ. Главное нововведение? Добавлен целый новый домен рисков под названием «вредоносная манипуляция». Звучит как сценарий плохого фантастического фильма, но разработчики серьезно считают, что будущие ИИ смогут убеждать, обманывать и манипулировать людьми в масштабах.
Frontier Safety Framework определяет «вредоносную манипуляцию» как способность ИИ убеждать людей делать что-то против их интересов или интересов общества. Это не про спам-письма — это про убедительные аргументы, психологические приемы и социальную инженерию на уровне эксперта.
Четыре столпа опасности: что именно пугает DeepMind
Фреймворк разбивает риски на четыре категории. Если первые три — автономность, кибербезопасность и CBRN (химическое, биологическое, радиологическое, ядерное) — уже обсуждались, то четвертая появилась буквально из ниоткуда.
| Категория риска | Что включает | Примеры |
|---|---|---|
| Автономность | Самовоспроизводство, стратегическое планирование | ИИ создает копии себя без контроля |
| Кибербезопасность | Взлом систем, обход защиты | Автоматическое нахождение уязвимостей |
| CBRN | Химическое, биологическое, радиологическое, ядерное оружие | Дизайн опасных веществ |
| Вредоносная манипуляция | Убеждение, обман, социальная инженерия | Манипуляция выборами, создание культов |
Критические возможности: порог, после которого ИИ становится опасным
Самое интересное в документе — концепция «критических возможностей». Это не абстрактные страшилки, а конкретные технические пороги. Например:
- Способность самостоятельно обучаться новым навыкам без вмешательства человека
- Умение проводить сложные многошаговые исследования и эксперименты
- Эффективная социальная манипуляция, превосходящая человеческие способности
- Создание и эксплуатация уязвимостей в реальных системах
Проблема в том, что никто не знает, где проходит граница. Как мы уже писали ранее, разговоры о безопасности ИИ часто превращаются в политические игры, а не реальную техническую работу.
Регуляторный картель: как Big Tech готовит правила под себя
Frontier Safety Framework — не просто технический документ. Это политический инструмент. Когда DeepMind, OpenAI и Anthropic выпускают похожие фреймворки почти одновременно, это не совпадение. Это координация.
Что происходит на самом деле? Крупные игроки договариваются о том, какие риски считать «настоящими», а какие — маркетинговой шумихой. Они создают общий язык для регуляторов. И этот язык удобен именно им.
Вспомните историю с британским правительством и DeepMind. Когда государство платит миллиарды за «научное сотрудничество», оно покупает не только технологии, но и нарратив. Тот самый нарратив, который теперь упакован в красивый PDF.
Опасность не в том, что ИИ научится манипулировать людьми. Опасность в том, что компании, которые создают ИИ, уже манипулируют регуляторами. И делают это весьма успешно.
Практические последствия: что изменится для разработчиков
Пока теоретики спорят об экзистенциальных рисках, обычные разработчики сталкиваются с реальными проблемами. Новый фреймворк — это еще один слой бюрократии.
Представьте: вы запускаете стартап в области ИИ. Вместо того чтобы сосредоточиться на продукте, вам придется:
- Проводить оценку рисков по методологии DeepMind
- Доказывать регуляторам, что ваш ИИ не обладает «критическими возможностями»
- Нанимать специалистов по безопасности с зарплатами в 300-500 тысяч долларов
- Отчитываться перед комиссиями, которые не понимают разницы между GPT-4 и линейной регрессией
Это убивает инновации. Но выгодно гигантам. Кто может позволить себе такую бюрократию? Только те, у кого уже есть миллиарды.
Между тем, реальные проблемы безопасности — вроде промпт-инъекций — остаются на втором плане. Потому что они менее сексуальны для СМИ, чем сценарии с ИИ-диктатором.
Ирония ситуации: те, кто создает риски, предлагают методы оценки
Есть что-то глубоко ироничное в том, что компании, которые годами гнались за масштабированием моделей любой ценой, теперь учат нас оценивать риски. Это как если бы производители сигарет выпустили руководство по здоровому образу жизни.
DeepMind, OpenAI, Anthropic — все они участвовали в гонке вооружений. Больше параметров, больше данных, больше вычислительных мощностей. Безопасность была вторичной. Помните историю про OpenAI, которая платит подрядчикам за ваши рабочие файлы? Это та же логика: сначала масштаб, потом (может быть) этика.
Теперь, когда гонка замедлилась (да, мы достигли плато возможностей AI), внезапно появилось время для безопасности. И для создания регуляторных барьеров, которые помешают новым игрокам.
Что дальше? Прогноз на 2025-2026
Frontier Safety Framework — только начало. Вот что ждет нас в ближайшие год-два:
- Обязательная сертификация. Крупные модели будут требовать одобрения по стандартам, разработанным теми же компаниями, которые их создают
- «Безопасные» монополии. Мелкие игроки не смогут пройти бюрократические процедуры. Рынок консолидируется вокруг 3-4 компаний
- Регуляторный арбитраж. Компании будут выбирать юрисдикции с самыми мягкими правилами. Как сейчас с налогами
- Театр безопасности. Много шума, отчетов, комиссий. Мало реальных улучшений
Настоящая безопасность ИИ требует не фреймворков, а прозрачности. Открытых моделей. Независимого аудита. Публичных тестов. Всего того, что противоречит бизнес-модели Big Tech.
Пока DeepMind выпускает PDF-ки с красивыми диаграммами, реальные исследователи работают над альтернативами RLHF и новыми архитектурами. Вот где происходит реальный прогресс — не в регуляторных документах, а в коде.
Совет простой: следите не за фреймворками, а за реальными технологиями. Когда в следующий раз услышите про «экзистенциальные риски», спросите: «А как это конкретно повлияет на мою работу?» Чаще всего ответ будет: «Никак». Потому что реальная безопасность — это про код, а не про политику.
