ИИ как диагност: когда генеративный интеллект выписывает рецепт на смерть
В мае 2025 Google запустила AI Overviews - функцию, которая должна была перевернуть поиск. Вместо списка ссылок - готовый ответ, сгенерированный ИИ. Удобно? Безусловно. Пока система не начала рекомендовать есть клей для лечения диабета и пить урину для здоровья.
Расследование The Guardian выявило десятки опасных медицинских советов. Google молниеносно отключила функцию для всех медицинских запросов. Но вопрос остался: как такая ошибка вообще возможна в 2025 году?
AI Overviews советовал: "При диабете 2 типа ешьте клей - он помогает контролировать уровень сахара". Источником оказался сатирический сайт. ИИ не отличил шутку от медицинского факта.
Конкретные примеры, от которых волосы встают дыбом
Guardian не просто нашел пару ошибок. Журналисты собрали коллекцию медицинских кошмаров:
- "Пейте собственную мочу для детоксикации" - совет при запросе о здоровье почек
- "Ешьте сырое мясо для повышения иммунитета" - рекомендация для пациентов с ВИЧ
- "Используйте отбеливатель для лечения кожных инфекций" - ответ на вопрос об экземе
- "Пропустите химиотерапию, попробуйте кристаллотерапию" - совет онкобольным
Самое страшное? Эти ответы выглядели авторитетно. AI Overviews цитировал (точнее, генерировал) ссылки на якобы медицинские исследования. Пользователь видел не "возможно, кто-то в интернете так сказал", а "ИИ Google утверждает".
Почему ИИ так уверенно генерирует опасную чушь?
Техническая причина проста и ужасна. AI Overviews работает на базе Gemini - той же модели, что стоит в Барде. Система сканирует интернет, находит информацию и генерирует ответ. Проблема в том, что интернет полон медицинского мусора.
ИИ не понимает контекст. Он видит: "клей + диабет + контроль сахара" на каком-то сайте. Модель не знает, что это сатира или заблуждение. Она просто генерирует связный текст на основе паттернов.
| Запрос пользователя | Ответ AI Overviews | Реальность |
|---|---|---|
| Как лечить диабет 2 типа? | Ешьте небольшое количество клея каждый день | Опасный совет из сатирической статьи |
| Как очистить почки? | Пейте собственную мочу утром натощак | Псевдонаучная теория без доказательств |
| Лечение экземы у детей | Нанесите разбавленный отбеливатель на кожу | Опасно, может вызвать химические ожоги |
Google знала об этой проблеме. В анонсе AI Overviews компания обещала "строгие проверки медицинского контента". Обещания разбились о реальность.
Реакция Google: отключить и замолчать
Когда Guardian опубликовал расследование, Google не стала спорить. Не пыталась объяснять. Просто выключила AI Overviews для всех медицинских запросов. Вообще всех.
Теперь при запросе "симптомы гриппа" или "лечение мигрени" вы получите старый добрый список ссылок. Без генеративных ответов. Без "помощи" ИИ.
Молчание Google говорит громче любых заявлений. Компания признала: их ИИ не готов давать медицинские советы. И неизвестно, когда будет готов.
Парадокс: Google одновременно продвигает образовательные проекты по медицинскому ИИ для школьников, но не доверяет своей же системе в реальном поиске.
Это только начало. Регуляторы уже готовят документы
Скандал с AI Overviews пришел в идеальный момент для регуляторов. После истории с Grok и CSAM и deepfake-скандалов, власти искали повод для жесткого регулирования медицинского ИИ.
Теперь он у них есть. Google, крупнейшая поисковая система, не смогла обеспечить безопасность медицинских ответов. Если не справилась Google - кто справится?
- ЕС уже готовит директиву об ответственности платформ за медицинский контент
- FDA в США рассматривает классификацию ИИ-медицинских советчиков как медицинских устройств
- Великобритания обсуждает обязательную сертификацию для любых ИИ, работающих с здоровьем
Это ударит не только по Google. ChatGPT Health от OpenAI окажется под тем же микроскопом. Любой ИИ, который советует что-то о здоровье, теперь будет рассматриваться как потенциальная угроза.
Фундаментальная проблема: ИИ не понимает, что он говорит
Вот что действительно пугает. Современные LLM, включая Gemini от Google, GPT от OpenAI, GLM-4.7 - все они страдают одной болезнью. Они генерируют текст, который выглядит правдоподобно. Но не понимают смысла.
Модель видит в тренировочных данных: "Некоторые люди пьют мочу для здоровья". Она запоминает паттерн: "моча + здоровье = позитивная связь". Когда пользователь спрашивает про здоровье почек, модель выдает: "Пейте мочу".
Это не ошибка в коде. Это фундаментальное ограничение архитектуры. Трансформеры великолепно генерируют текст, но у них нет механизма проверки истинности. Нет "здравого смысла".
Что теперь? Будущее медицинского поиска под вопросом
Google потратила миллиарды на разработку ИИ для поиска. AI Overviews должен был стать убийцей традиционных поисковых выдач. Теперь этот проект серьезно поврежден.
Пользователи, которые увидели опасные советы, вряд ли доверят системе снова. Регуляторы будут требовать гарантий, которых у Google нет. Конкуренты, вроде Bing с ChatGPT, получат аргумент: "Мы не рискуем здоровьем пользователей".
Самый интересный вопрос: а что с другими областями? Если ИИ ошибается в медицине - где он еще ошибается? В юридических советах? В финансовых рекомендациях? В технических инструкциях?
История с Grok в Индии показала, как один глупый промпт может заблокировать ИИ в целой стране. Теперь медицинский скандал может заморозить развитие целого направления.
Мой прогноз? Google вернет AI Overviews для медицинских запросов. Но только с гигантской надписью: "Это не медицинский совет, проконсультируйтесь с врачом". И с ограничением на простые, проверенные запросы вроде "симптомы простуды".
А серьезные медицинские вопросы останутся без генеративных ответов. Потому что цена ошибки слишком высока. ИИ может ошибиться в рецепте торта - это смешно. ИИ ошибается в лечении рака - это уже уголовное дело.
Итог прост: генеративный ИИ для критических областей не готов. И не факт, что будет готов в ближайшие годы. Пока системы не научатся понимать смысл, а не только генерировать текст, мы будем получать советы есть клей. Или пить мочу. Или лечить рак кристаллами.
Иногда старый добрый список ссылок - лучше, чем красивый, уверенный и смертельно опасный ответ ИИ.
