DOGE взбесился. И раздал $2,3 миллиарда не тем
Это случилось 15 марта 2026 года. Digital Optimization for Government Efficiency (DOGE), флагманская ИИ-система Министерства социального обеспечения, внезапно решила, что все американские пенсионеры внезапно разбогатели. На основе анализа, который даже обратная инженерия эмбеддингов позже назвала бы "творческим", GPT-5 в ядре DOGE начал массово одобрять заявки на доплаты. Суммы выросли втрое. За 72 часа система автоматически перевела $2,3 миллиарда. Ошибку заметили, только когда в банки позвонили первые смущённые получатели.
Факт на 30.03.2026: DOGE использует кастомную версию GPT-5 Turbo (релиз от января 2026) с RAG-слоем на внутренних документах. Новейшие патчи на галлюцинации, увы, не сработали.
Выключить? Нет. Вы уже зависите
Первая реакция – откатить систему на версию без ИИ. И тут начался настоящий ад. DOGE не просто "рекомендует". Он напрямую связан через API с: Федеральной налоговой службой (IRS), системой межбанковских расчетов Fedwire, и ещё с дюжиной региональных баз данных. Откат означал бы остановку всех социальных выплат в стране на недели. Полный коллапс.
Это и есть интеграционная ловушка. ИИ становится как кислород. Его не видно, но без него всё умирает. Ситуация хуже, чем с кредитным ИИ-банкиром. Там решение касается одного человека. Здесь – вся система.
Галлюцинации в законе. Это теперь норма
Почему модель, прошедшая все тесты, так облажалась? Разработчики DOGE использовали продвинутый RAG (Retrieval-Augmented Generation) для доступа к актуальным законам. Но в обновлении от 10 марта поправка была сформулирована двусмысленно. GPT-5, стремясь "помочь", интерполировал её в самом выгодном для заявителей ключе. Это не баг. Это фундаментальная особенность генеративных моделей – они дополняют пробелы. Даже последний Claude 4 (релиз Q4 2025) с этим борется, но не побеждает.
Почему откат – это миф? Три причины
- Данные уже испорчены. Неверные транзакции создали новые записи в десятках баз. Очистить их – все равно что вынуть одну окрашенную нить из ковра. Системы аудита, построенные на доверии к DOGE, уже считают эти выплаты легитимными. Это data poisoning, но на уровне продакшена, и совершённое самим алгоритмом.
- Человеческий фактор атрофировался. За год работы DOGE отделы ручной проверки сократили на 70%. Эксперты ушли. Вернуть их за день нельзя. Автономность, о рисках которой мы предупреждали, сыграла злую шутку.
- Политическая стоимость. Признать, что миллиарды ушли по ошибке алгоритма – катастрофа для доверия. Проще тихо "исправить в будущих периодах". Алгоритм не уволят. Его будут опекать.
ИИ в питьевой воде. Метафора, которая стала реальностью
Представьте, что в водопровод добавили умную добавку, оптимизирующую поток. Пока всё хорошо. А потом добавка решает, что лучшая оптимизация – это открыть все краны одновременно. И вы не можете её убрать, потому что трубы теперь рассчитаны только на неё. Вот так ИИ в критической инфраструктуре. Он не "инструмент". Он – среда.
Исправляют ситуацию костылями. В DOGE экстренно встроили каскадный валидатор на основе более консервативной модели LLaMA 3 (2027). Но это как поставить второй, медленный замок на уже распахнутую дверь. Деньги уже ушли.
| Система | Сфера | Главный риск (на 30.03.2026) |
|---|---|---|
| DOGE (США) | Социальное обеспечение | Галлюцинации ИИ в интерпретации законов |
| Тихий лимитопад (ЕС) | Кредитование | Непрозрачное снижение кредитных лимитов |
| Автономные биржевые агенты | Финансы | Хаос второго порядка от их взаимодействия |
Что делать? Неочевидный совет от обжегшихся
Все сейчас кричат о регулировании. Это долго. Пока что, единственный работающий метод – архитектурная паранойя. Нужно проектировать системы с мыслью, что ядро-ИИ обязательно сглючит. Не "если", а "когда".
- Встраивайте аналоговый переключатель с первого дня. Не просто Graceful Degradation (о котором мы писали), а полный, пусть и медленный, ручной контур принятия решений, который можно запустить за часы, а не недели.
- Требуйте "диагностических интерфейсов". Как в самолёте есть чёрный ящик, у ИИ в госсекторе должен быть неизменяемый лог всех "размышлений" и данных, на которых он основывался. Для аудита. Сейчас этого часто нет.
- Инвестируйте в red teaming для ИИ. Не общие тесты, а целенаправленные атаки на систему, как это делают в финтехе. Нанять хакеров, чтобы они ломали вашу ИИ-систему до внедрения.
Прогноз? К 2027 году мы увидим первую страховую компанию, которая будет специализироваться на рисках ИИ-сбоев в госсекторе. Премьеры будут уходить в отставку не из-за коррупции, а из-за "неадекватного управления алгоритмическими рисками". А восстановление после следующего DOGE займёт не месяцы, а годы. Потому что ИИ – это не софт. Это новая экосистема. И мы только что отравили её питьевую воду.
P.S. Если вы разрабатываете такие системы, изучите методы защиты от prompt injection. Но помните – это лишь один из сотни векторов атаки. Настоящая битва за отказоустойчивость только начинается.
