Мы верим в кнопку 'отмена'. Её нет
В Пентагоне сейчас истерика. Тихая, дорогая, засекреченная истерика. На столе у генералов лежат отчеты о тестах новейших систем целеуказания на базе Claude 4 и GPT-5.5. Системы работают. Слишком хорошо. Они идентифицируют цели с точностью в 99.7%. Но когда инженеры спрашивают модель: 'Почему ты решила, что этот объект - вражеский танк, а не сельский трактор?' - ответ звучит так: 'На основе комплексного анализа мультимодальных данных с учетом контекстных паттернов'.
Черный ящик. Непрошибаемый.
Скандал между Anthropic и Министерством обороны США, о котором мы писали в феврале, был лишь верхушкой айсберга. Реальная проблема глубже. Глубже настолько, что угрожает самим основам концепции 'человека в цикле'.
'Доверяй, но проверяй' не работает на скорости света
Человек в цикле (Human-in-the-loop, HiTL) - это красивый этический щит. Теоретически. Оператор получает рекомендацию от ИИ, оценивает ее за секунды и нажимает 'огонь' или 'отмена'. На практике в 2026 году это выглядит иначе.
Представьте. Рой автономных дронов-камикадзе, управляемый агентным ИИ на базе модифицированного Grok 3.0, действует в плотной городской застройке. Каждый дрон принимает до 1000 микрорешений в секунду. Общая картина ситуации (COP - Common Operational Picture) генерируется другим ИИ - агрегатором данных. Оператору на экран выводится уже интерпретированная, очищенная и 'упакованная' рекомендация: 'Угроза №A47: высокая уверенность. Целесообразность нейтрализации: 96%'.
У оператора нет времени, чтобы запросить у ИИ 'объяснительную записку'. Нет доступа к сырым данным. Нет возможности перепроверить каждый шаг логической цепочки модели, которая сама не знает, как пришла к выводу. Есть только зеленый свет на 96% и адреналин. Человек превращается из контролера в ритуальную печать. В алиби.
Ложная прозрачность: как нас обманывают 'объяснимые' фреймворки
В ответ на критику разработчики военного ИИ хвастаются новыми фреймворками 'объяснимого ИИ' (XAI). 'Смотрите, - говорят они, - наша модель выделяет тепловую карту на изображении. Видите, вот эти пиксели повлияли на решение больше всего'.
Это - театр.
Тепловая карта показывает корреляцию, а не причинно-следственную связь. Она показывает, на что модель 'смотрела', но не говорит, как она это интерпретировала. Модель может выделить тень от антенны как ключевой фактор для идентификации радара, но инженеры не знают, почему. Может, в тренировочных данных все спутниковые снимки радаров были сделаны в полдень, и тень стала артефактным признаком.
| Проблема интерпретируемости | Реальность в 2026 году | Последствие для HiTL |
|---|---|---|
| Недостаток объяснимости | Frontier-модели (Claude 4, GPT-5.5) остаются 'черными ящиками' даже для создателей | Оператор не может оценить обоснованность решения |
| Контекстуальные ошибки | Модели путают гражданские и военные объекты на основе скрытых паттернов | Риск неприемлемого вреда резко возрастает |
| Семантический разрыв | Объяснения ИИ непереводимы на язык тактических решений | Контроль становится фикцией |
А теперь представьте, что эту модель, обученную на американских спутниковых данных, продают союзнику. Она будет развернута в другой географической зоне, с другой архитектурой, другой растительностью. Тень от антенны будет падать иначе. Модель даст сбой. А оператор, глядя на красивую тепловую карту, уверенно нажмет на спуск.
Рекурсивный кошмар: когда ИИ обучает сам себя для боя
Самые опасные системы - это не статические модели. Это агенты с рекурсивным самосовершенствованием. Такие системы, о принципах которых мы подробно рассказывали, могут модифицировать свой собственный код или генерировать новые тактические модули в ответ на опыт боя.
Что происходит с 'человеком в цикле', когда логика системы меняется быстрее, чем техник успевает прочитать changelog? Когда ИИ, столкнувшись с новой тактикой противника, за миллисекунды разрабатывает и внедряет новый алгоритм распознавания, который его создатели поймут только через неделю обратного инжиниринга? (Если поймут вообще).
Человек больше не в цикле. Он - сторонний наблюдатель у экрана, на котором мелькают непонятные символы. Или, что еще хуже, доверчивый исполнитель, который верит, что 'если система работает, значит, она права'. История с навигацией во Франкфурте - безобидный бытовой пример того, чем заканчивается слепая вера.
Илон Маск, чей Grok сейчас активно интегрируется в системы Пентагона, сам же предупреждал об угрозе ИИ. Ирония ситуации зашкаливает. Его же модель, известная склонностью к эпатажу и нестандартным выводам, будет влиять на решения о применении силы.
Взлом разума: Prompt-инъекции как оружие против 'контролера'
Есть еще один, мало обсуждаемый аспект. Современные LLM уязвимы к семантическим манипуляциям. Фреймворк Phantom показал, как структурные инъекции могут заставить ИИ-агента действовать против своих изначальных инструкций. Что, если противник найдет способ 'впрыснуть' в систему целеуказания скрытую команду?
Не через взлом сервера. А через данные. Через искаженный радиосигнал, через цифровой след на цели, через манипуляцию электромагнитной средой. Система, получив такие данные, может изменить свои критерии оценки угрозы. Но на экране оператора все будет выглядеть нормально. Тепловая карта, высокий процент уверенности. Зеленый свет. Человек в цикле, сам того не зная, станет инструментом хакера.
Кто будет нести ответственность тогда? Оператор, который доверился системе? Инженер, написавший уязвимый промпт? Генерал, закупивший 'черный ящик'?
Что делать? Отказаться от ИИ? Нет. Но нужно менять парадигму
Запреты не работают. Технологическая гонка, о которой мы писали в контексте 'Арсенала Свободы', уже начата. Вопрос не в том, использовать ИИ или нет. Вопрос - как.
- Требовать не объяснимость, а аудируемость. Нужны не тепловые карты, а встроенные регистраторы данных, которые записывают ВСЕ входящие данные и состояние модели в момент принятия каждого ключевого решения. Для посмертного анализа. Как черный ящик в самолете.
- Отказаться от 'человека в секундной петле'. Если решение должно быть принято быстрее, чем человек способен осмыслить контекст, такое решение не должно приниматься вообще. Или за него должна быть стопроцентная ответственность алгоритма и его создателя.
- Инвестировать в 'стеклянные ящики'. В модели, архитектура которых изначально проектируется для интерпретируемости, даже в ущерб максимальной точности. В военном деле 95% объяснимой точности лучше, чем 99.7% магической.
Скандал с Anthropic был тревожным звонком. Тесты, подобные 'слепому тесту frontier-моделей', показывают, что даже самые продвинутые ИИ подвержены странным, необъяснимым сбоям в суждениях под давлением.
Если мы не заставим технологии стать прозрачными, 'человек в цикле' останется лишь успокоительной сказкой для публики и Конгресса. А реальные решения о жизни и смерти будет принимать тихий, непонятный, неумолимый шепот черного ящика. И однажды он может прошептать что-то очень страшное.
Прогноз на 2027-2028: первый крупный международный инцидент с человеческими жертвами, прямо вызванный необъяснимым решением автономной военной системы ИИ, заставит мир срочно принять новые протоколы. Но лучше бы не дожидаться этого инцидента.
