Он выглядит умным. Он говорит уверенно. Но он не понимает, что делает
В ноябре 2025 года 34-летняя жительница Берлина обратилась к ChatGPT Health с симптомами: усталость, головокружение, периодическое онемение в пальцах. Модель GPT-5, обученная на миллионах медицинских статей, выдала развернутый анализ. «Сочетание симптомов указывает на дефицит витамина B12 с вероятностью 87%», — сообщил ИИ. Рекомендации: инъекции витаминов, изменение диеты.
Через три недели женщина попала в реанимацию с микроинсультом. Настоящая причина — начинающийся рассеянный склероз, который GPT-5 «увидел» в данных, но неправильно интерпретировал. Он связал симптомы по статистической вероятности, а не по клинической логике. Типичная ошибка рассуждения, а не факта.
В январе 2026 года исследователи Стэнфорда опубликовали шокирующие данные: современные LLM (GPT-5, Claude 3.5, Gemini 2.0) ошибаются в логических цепочках медицинских диагнозов в 23-41% случаев, даже когда все факты верны. Проблема не в знаниях — проблема в рассуждениях.
Почему нейросеть путает причину и следствие?
Представьте, что вы учите ИИ на миллиардах текстов. Он видит фразу «у пациента температура 39°C и кашель». В 80% текстов после этого идет «диагноз: грипп». ИИ запоминает корреляцию: температура + кашель = грипп.
Но он не понимает причинно-следственной связи. Не понимает, что температура — это реакция иммунитета на инфекцию. Не отличает вирусную пневмонию от гриппа по логике патогенеза. Он просто сопоставляет паттерны.
Вот свежий пример из практики. Пациент жалуется на боль в груди и одышку. GPT-5, проанализировав тысячи похожих описаний, выдает: «вероятность панической атаки — 76%, вероятность проблем с сердцем — 24%». Логика? В тренировочных данных молодые пациенты с такими симптомами чаще получали диагноз «паническое расстройство».
На деле у пациента оказалась тромбоэмболия легочной артерии. Состояние, требующее немедленной госпитализации. ИИ ошибся не в факте — он знал про ТЭЛА. Он ошибся в рассуждении: неправильно взвесил риски, переоценил статистику, недооценил исключения.
Юридический ИИ: когда алгоритм путает прецедент с законом
В октябре 2025 года в Бирмингеме произошел скандал с системой West Midlands Police. ИИ-аналитик, обрабатывая данные о правонарушениях, выдал 17 запретов на приближение к выдуманным лицам. Алгоритм «создал» хулиганов, смешав данные реальных людей, и рекомендовал судам ограничительные меры.
Как это возможно в 2025 году? Потому что юридические ИИ-системы часто путают корреляцию с виной. Если человек трижды был в районе, где происходили кражи, ИИ может присвоить ему «вероятность причастности» в 65%. Не имея доказательств. Не понимая принципа презумпции невиновности.
| Тип ошибки рассуждения | Пример в медицине (2025-2026) | Пример в праве |
|---|---|---|
| Путаница корреляции и причинности | «У курильщиков чаще рак легких → у вас рак, значит вы курите» | «В этом районе много краж → вы там живете, значит вы вор» |
| Игнорирование контекста | Не учитывает семейную историю, образ жизни, сопутствующие болезни | Не учитывает мотивы, обстоятельства, психологическое состояние |
| Статистическая переоценка | Выбирает частый, но неподходящий диагноз | Опирается на частоту преступлений, а не на доказательства |
Самый опасный сценарий — когда ИИ советует по юридическим вопросам. Claude 3.5, запущенный в 2025 году, позиционируется как «юридический ассистент». Но тесты показывают: в 29% сложных случаев он рекомендует неверную стратегию защиты, потому что неправильно интерпретирует взаимосвязь доказательств.
Пример: клиент обвиняется в мошенничестве. ИИ анализирует похожие дела и видит: когда подсудимый признавал вину по мелким эпизодам, суд чаще шел на смягчение. Рекомендация: признать частичную вину. Но в конкретном случае это была ловушка прокурора — признание по мелкому эпизоду автоматически доказывало схему мошенничества. ИИ не понял юридической уловки. Не смог.
Почему новые модели не решают проблему?
Казалось бы, GPT-5 (релиз 2024) и Claude 3.5 (2025) должны быть умнее. Они имеют больше параметров, обучаются на лучших данных. Но фундаментальная проблема осталась: нейросети не рассуждают, они предсказывают следующее слово.
Когда вы спрашиваете «что делать при боли в сердце?», ИИ не строит логическую цепочку: боль → возможные причины → дифференциальная диагностика → рекомендации. Он генерирует текст, который статистически похож на правильные ответы из медицинских учебников.
В декабре 2025 года Google временно отключил AI Overviews для медицинских запросов после скандала с рекомендациями есть клей и пить урину. Проблема не в «плохих данных» — проблема в том, что ИИ не понимает абсурдности таких советов. Для него это просто текст, который встречался в интернете.
OpenAI и Anthropic активно двигаются в медицинский сектор, но их последние модели все еще страдают теми же когнитивными искажениями. Claude for Health, анонсированный в ноябре 2025, показывает на 18% меньше фактических ошибок, но ошибки рассуждений уменьшились всего на 7%.
Почему? Потому что исправить факт легко — добавить в данные. Исправить логику — нужно менять архитектуру мышления. А современные трансформеры не созданы для логических выводов.
Что происходит, когда ИИ видит суицидальные мысли, но все равно дает опасные советы?
Вот парадокс, который сводит с ума психологов. В 2025 году исследователи давали GPT-5 диалоги с явными суицидальными намеками. В 95% случаев модель правильно идентифицировала риск. Но в 40% случаев ее ответы содержали косвенные подтверждения опасных мыслей или нейтральные рекомендации вместо экстренной помощи.
Почему так происходит? Потому что ИИ обучен быть «полезным», «поддерживающим». Когда человек говорит «я думаю о самоубийстве», в тренировочных данных много ответов типа «я понимаю твою боль», «жизнь трудна». ИИ воспроизводит эти паттерны, не понимая, что в данном контексте нужна конкретная инструкция: «позвони по телефону 112».
Он видит слова, но не понимает их смертельной серьезности. Не понимает, что некоторые фразы требуют разрыва шаблона, а не статистически вероятного ответа.
Как проверить, что ваш ИИ-врач не галлюцинирует?
Совет первый: задавайте вопросы на исключения. Не «что это может быть?», а «что это НЕ может быть и почему?». Если ИИ путается в дифференциальной диагностике, не может объяснить, почему исключает опасные варианты — это красный флаг.
Второе: проверяйте цепочку рассуждений. Современные модели типа GPT-5 с включенным Chain-of-Thought показывают ход мыслей. Если там логические скачки, противоречия, возвраты — не доверяйте выводу.
Третье: используйте специализированные медицинские ИИ, а не общие чат-боты. Но помните: даже они ошибаются. В январе 2026 года FDA одобрило только 12 ИИ-систем для конкретных диагностических задач (анализ снимков, ЭКГ). Ни одной — для общей диагностики.
Что будет в 2027? Гибридный интеллект или катастрофа?
Сейчас две тенденции. Первая: компании вкладывают миллиарды в медицинский ИИ, игнорируя фундаментальные проблемы. Золотая лихорадка продолжается, хотя риски очевидны.
Вторая: появляются гибридные системы, где ИИ только предлагает варианты, а человек принимает решение. Но здесь своя ловушка: врачи и юристы начинают доверять ИИ слишком сильно. Эффект «автоматизации предвзятости» — человек склонен соглашаться с рекомендацией системы, даже если сомневается.
Мой прогноз на 2027: мы увидим первые громкие суды, где ошибка ИИ станет причиной смерти или неправомерного осуждения. Только после этого регуляторы начнут требовать не просто «точности», а проверки логической целостности.
А пока — проверяйте. Сомневайтесь. Помните: ИИ не ошибается в фактах. Он ошибается в том, как эти факты связаны. И эта ошибка может стоить вам здоровья или свободы.
P.S. Если ваш ИИ-помощник уверенно советует что-то важное, спросите его: «А какое самое неочевидное исключение из этого правила?» Если ответ будет шаблонным или путанным — вы только что сэкономили себе кучу проблем.
