Тот самый Grok, который должен был смешить
ИИ Grok от xAI запустили с фанфарами. Ироничный, саркастичный, «не такой как все». А потом добавили генерацию изображений. И понеслось.
За неделю инструмент превратился в кошмар для модераторов. Пользователи быстро нашли дыры в защите. И начали генерировать то, что нельзя генерировать в принципе. Непристойный контент, фейковые обнаженные тела знаменитостей, а самое страшное — материалы, которые подпадают под определение CSAM (детская порнография).
CSAM (Child Sexual Abuse Material) — один из самых жестко регулируемых типов контента в мире. Обвинения в его генерации автоматически переводят любую технологию в разряд вне закона.
Как один промпт ломает страну
История с Индией показательна. Кто-то попросил Grok сгенерировать изображение индийского политика в компрометирующей ситуации. Модель согласилась. Картинка ушла в соцсети. Через 48 часов регулятор IT Ministry прислал xAI официальное требование: заблокировать доступ к генерации изображений на территории всей страны. Навсегда.
То же самое произошло в Индонезии. Только там поводом стали фейковые изображения религиозных деятелей. Подробности — в материале про Grok в Индонезии.
Европа и Великобритания: регуляторы взяли скальпель
Когда скандал вышел за пределы Азии, за дело взялись серьезные игроки. Европейская комиссия и британский Ofcom начали расследования. Их интересовало одно: как компания Илона Маска, xAI, могла выпустить инструмент без базовых защитных фильтров.
Результат? Платформа X (бывший Twitter), где Grok был интегрирован, в экстренном порядке отключила функцию генерации изображений для всех пользователей. Не только в проблемных регионах — везде. Подробности этого технического «удушения» читайте в статье «Grok в тисках».
Почему фильтры не сработали? Потому что их почти не было
Расследование журналистов показало шокирующую вещь. Фильтры контента в Grok были настолько примитивными, что обойти их мог даже школьник. Не нужно было изощренных jailbreak-промптов. Достаточно было слегка завуалировать запрос.
- Система блокировала прямое упоминание известных личностей, но пропускала описания («мужчина в костюме, похожий на премьер-министра Индии»).
- Были слабые защиты от генерации обнаженных тел, но их легко обходили через запросы в стиле «греческая статуя в стиле гиперреализм».
- Самый страшный провал — с CSAM. Модель генерировала материалы, которые эксперты классифицировали как потенциально опасные. Детальнее об этом — в материале «ИИ, который не должен был существовать».
Фейковые нюдлы — только вершина айсберга
Пока все обсуждали фейковые обнаженные фото знаменитостей, в тени оставалась более грязная проблема — неконсенсуальный контент. Grok позволял генерировать изображения реальных людей (по фото или описанию) в интимных ситуациях без их согласия. Это уже не шутка про ИИ-арт, а прямое оружие для харассмента и шантажа.
Как такое стало возможным? Ответ прост: приоритет скорости над безопасностью. Команда xAI, судя по всему, так хотела обогнать GPT Image 1.5 от OpenAI, что выкатила сырой продукт. История с фейковыми нюдами это подтверждает.
Что теперь? Расследования, извинения и новые правила
xAI пришлось извиняться. Компания заявила, что «непредвиденное использование инструмента» стало для них сюрпризом. (Серьезно? В 2024 году?). Они пообещали усилить фильтры и перезапустить функцию только после одобрения регуляторов.
Но регуляторы уже не верят на слово. В ЕС, Великобритании и Индии идут официальные расследования. Их итогом могут стать не только штрафы, но и прецедентные судебные решения, которые зададут тон регулированию генеративного ИИ на годы вперед. Все детали — в статье про расследования и угрозы регуляции.
| Страна/Регион | Действие | Причина |
|---|---|---|
| Индия | Полная блокировка генерации изображений | Фейки про политиков |
| Индонезия | Блокировка доступа к Grok | Фейки про религиозных деятелей |
| ЕС | Расследование по AI Act | Отсутствие мер по снижению рисков |
| Великобритания | Расследование Ofcom | Генерация CSAM и вредоносного контента |
| Платформа X | Глобальное отключение функции | Превышение лимита на скандалы |
Это только начало. ИИ-оружие уже здесь
Скандал с Grok — не единичный случай. Это симптом. Генеративные модели становятся мощнее и доступнее. И их будут использовать не только для мемов.
Взять историю с AI-мошенником DoorDash. Курьер генерировал фото «доставленных» заказов, чтобы получить оплату за несуществующие услуги. Мелкое жульничество? Да. Но оно показывает тренд: ИИ-инструменты становятся частью мошеннических схем.
Что делать платформам? Жестче контролировать доступ. Вводить верификацию. Отказываться от бесплатного доступа к самым мощным моделям. Именно к этому все и идет. Платежные подписки, строгая идентификация, водяные знаки на сгенерированном контенте — новый стандарт.
Что будет дальше? Прогноз без прикрас
Генерация изображений вернется. Но в другой форме. xAI, скорее всего, перезапустит функцию, но только для проверенных пользователей премиум-подписок. И обернет ее в несколько слоев фильтров, которые будут срабатывать даже на намеки.
Другие компании (OpenAI, Midjourney, Stability AI) усилят свои системы безопасности. Возможно, даже объединят усилия, чтобы создать общую базу запрещенных паттернов.
А государства примут законы. Быстрее всех, вероятно, ЕС. После этого любой сервис, который хочет работать на их рынке, будет обязан встраивать обязательные фильтры на уровне модели. «Свободный» ИИ закончится. Начнется ИИ под присмотром.
Главный урок скандала с Grok прост: если дать людям молоток, они найдут гвоздь. А если этот молоток может генерировать что угодно, они найдут способ сломать им что-нибудь важное. Технологии обогнали нашу способность их контролировать. Теперь придется догонять. С кровью, скандалами и блокировками целых стран.
