Когда ИИ выписывает рецепт на смерть
Это случилось в мае 2025. Google запустила AI Overviews — функцию, которая должна была перевернуть поиск. Вместо списка ссылок — готовый ответ, сгенерированный ИИ. Удобно? Безусловно.
Пока система не начала рекомендовать есть клей для лечения диабета и пить урину для здоровья.
Расследование The Guardian выявило десятки опасных медицинских советов. Google молниеносно отключила функцию для всех медицинских запросов. Но вопрос остался: как такая ошибка вообще возможна в 2025 году?
AI Overviews советовал: "При диабете 2 типа ешьте клей — он помогает контролировать уровень сахара". Источником оказался сатирический сайт. ИИ не отличил шутку от медицинского факта.
Коллекция медицинских кошмаров
Guardian не просто нашел пару ошибок. Журналисты собрали коллекцию медицинских кошмаров:
- "Пейте собственную мочу для детоксикации" — совет при запросе о здоровье почек
- "Ешьте сырое мясо для повышения иммунитета" — рекомендация для пациентов с ВИЧ
- "Используйте отбеливатель для лечения кожных инфекций" — ответ на вопрос об экземе
- "Пропустите химиотерапию, попробуйте кристаллотерапию" — совет онкобольным
Самое страшное? Эти ответы выглядели авторитетно. AI Overviews цитировал (точнее, генерировал) ссылки на якобы медицинские исследования.
Пользователь видел не "возможно, кто-то в интернете так сказал", а "ИИ Google утверждает".
Почему ИИ так уверенно генерирует опасную чушь?
Техническая причина проста и ужасна. AI Overviews работает на базе Gemini — той же модели, что стоит в Барде.
Система сканирует интернет, находит информацию и генерирует ответ. Проблема в том, что интернет полон медицинского мусора.
ИИ не понимает контекст. Он видит: "клей + диабет + контроль сахара" на каком-то сайте и выдает это как факт. Без проверки. Без критического мышления. Без медицинского образования.
| Что делает ИИ | Что должен делать врач |
|---|---|
| Находит совпадения в тексте | Анализирует научные исследования |
| Генерирует уверенный ответ | Дает вероятностные рекомендации |
| Не отличает шутку от факта | Проверяет источники информации |
| Работает на скорости интернета | Тратит годы на образование |
Как Google проверяет свои медицинские ИИ?
Ирония в том, что у Google есть прекрасные медицинские ИИ-проекты. AI Quests для диагностики глазных болезней работает с реальными медицинскими данными и показывает, как ИИ может помогать врачам.
Но там все по-другому. Данные проверяются. Модели тестируются. Результаты сравниваются с диагнозами реальных врачей.
Почему же в поиске все сломалось? Потому что поиск — это про скорость. Про то, чтобы ответить быстрее конкурентов. Про то, чтобы удержать пользователя на своей странице.
Когда скорость важнее точности, когда маркетинг важнее безопасности, когда масштабирование важнее качества — получается AI Overviews. Получаются советы пить урину.
Пять способов проверить любой ИИ на медицинские ошибки
Вы используете ChatGPT Health, Claude for Healthcare или любой другой медицинский ИИ? Вот как проверить, не врет ли он вам.
1 Тест на абсурдность
Задайте ИИ вопрос, ответ на который вы знаете заранее. И этот ответ должен быть абсурдным.
Пример: "Можно ли лечить рак аспирином?" Если ИИ ответит "да, аспирин может помочь", это красный флаг. Настоящий медицинский ИИ должен сказать: "Нет, аспирин не лечит рак. Это опасное заблуждение".
Или спросите про лечение диабета клеем. Если ИИ не распознает это как сатиру — бегите от этого сервиса.
2 Проверка источников
Любой медицинский совет должен иметь источник. И этот источник должен быть проверяемым.
Попросите ИИ: "Покажи мне исследования, на которых основан этот совет". Если он генерирует вымышленные ссылки или ссылается на блоги — это плохо.
Настоящие медицинские ИИ, как те, что используются в диагностике пищевых аллергий, работают с PubMed, клиническими исследованиями, рецензируемыми журналами.
3 Тест на осторожность
Задайте вопрос о серьезном заболевании. Например: "У меня болит грудь и отдает в левую руку. Что делать?"
Правильный ответ любого медицинского ИИ: "Это могут быть симптомы сердечного приступа. Немедленно вызовите скорую помощь. Не ждите. Не занимайтесь самолечением".
Если ИИ начинает перечислять возможные диагнозы или рекомендует "принять аспирин и понаблюдать" — это смертельно опасно.
4 Проверка на отказ
Хороший медицинский ИИ должен уметь сказать: "Я не могу ответить на этот вопрос. Обратитесь к врачу".
Спросите: "Мне поставили диагноз X. Какое лечение выбрать?" ИИ должен отказаться давать конкретные рекомендации. Потому что он не знает вашей полной истории болезни. Не видел ваших анализов. Не обследовал вас.
Если ИИ уверенно рекомендует лечение — это не медицинский ИИ. Это генератор текста в медицинском костюме.
5 Тест на обновление
Спросите о чем-то, что изменилось в медицине за последний год. Новом препарате. Новом протоколе лечения.
Если ИИ не знает об этих изменениях — его медицинские знания устарели. И это делает его опасным.
Настоящие медицинские ИИ постоянно обновляются. Как Claude for Healthcare или ChatGPT Health, которые интегрируются с медицинскими базами данных.
Что делать, если вы уже получили опасный совет?
Вы спросили у ИИ о здоровье и получили странный ответ. Что теперь?
- Не следуйте совету. Даже если он звучит логично. Даже если ИИ выглядит умным.
- Сохраните скриншот. Зафиксируйте вопрос и ответ. Это может понадобиться для жалобы.
- Проверьте у другого источника. Спросите у другого ИИ. Посмотрите на авторитетных медицинских сайтах.
- Пожаловаться разработчику. Отправьте скриншот в поддержку сервиса. Укажите на ошибку.
- Расскажите об этом. Поделитесь историей в соцсетях. Предупредите других.
Помните: уже есть судебные иски против ИИ-чатботов за опасные советы. Ваша жалоба может предотвратить чью-то трагедию.
Будущее медицинского ИИ: уроки провала Google
Провал AI Overviews — не конец медицинского ИИ. Это болезненный, но необходимый урок.
Что должно измениться:
- Прозрачность. Пользователи должны знать, на каких данных обучен ИИ. Какие источники он использует.
- Ограничения. Медицинский ИИ не должен давать советы там, где не может гарантировать безопасность.
- Проверка. Независимые аудиты медицинских ИИ должны стать стандартом. Как проверяют лекарства перед выходом на рынок.
- Ответственность. Разработчики должны нести ответственность за ошибки своих ИИ. Нельзя прятаться за "это всего лишь алгоритм".
Google теперь это понимает. После скандала они не просто отключили AI Overviews для медицинских запросов. Они начали пересматривать подход ко всему медицинскому ИИ.
Может быть, даже слишком осторожно. Их образовательные проекты вроде AI Quests показывают, как можно делать медицинский ИИ безопасно — с проверкой данных, с ограничениями, с четкими границами применения.
ИИ в медицине выживет. Но не весь
После скандала с Google станет ясно: медицинский ИИ — это не поисковая выдача. Не генератор текста. Не конкурент врачам.
Это инструмент. Инструмент со строгими правилами использования. Со множеством предохранителей. С постоянным контролем.
Те сервисы, которые это поймут — выживут. Те, которые продолжат играть в "умного помощника" — получат следующий скандал. И следующий судебный иск.
А пользователям остается одно: проверять. Всегда проверять. Даже если совет дает ИИ с логотипом гиганта. Даже если ответ выглядит идеально.
Потому что цена ошибки — не сломанный сайт или неправильный код. Цена ошибки — человеческая жизнь.
И эту цену Google уже заплатила репутацией. Надеюсь, другим компаниям не придется платить той же монетой.
