Инструкция по применению сломалась
Вчера нейросеть порекомендовала клиенту не тот тариф. Сегодня автономный агент отправил 10 000 промо-писем с оскорблениями. Завтра он, возможно, заключит сделку, которая обанкротит компанию. Юрист спит на диване с улыбкой – он знает, кто заплатит за все. И это не агент.
Бизнес 2026 года упирается в простой вопрос: как делить вину за действия системы, которая, по сути, непредсказуема? Пока вы читаете эту статью, GPT-5, Claude 3.5 Sonnet и свежие open-source модели вроде Llama 3.1 405B уже принимают решения за ваших сотрудников. Но когда эти решения ведут к убыткам, все начинают кивать на «техническую ошибку». Юридический вакуум заполняется судами.
Цифра марта 2026 года: по данным Gartner, 67% компаний, внедривших AI-агентов в ключевые процессы, столкнулись как минимум с одним инцидентом, где финансовые потери превысили $50 000. Лидерство делят финансовый сектор и ритейл.
Две религии: инструмент или почти сотрудник
Все модели ответственности сводятся к двум полюсам. Выбирайте.
Модель «Инструмент» (The Tool)
Агент – это продвинутый калькулятор. Он ничего не решает сам. Каждое его действие – результат четкой инструкции человека. Спросили «посчитай скидку по формуле X» – получили число. Ошиблись в формуле? Ваша вина.
- Кто отвечает: Оператор (сотрудник, который запустил агента).
- Аналогия: Excel. Если вы построили кривую формулу, которая сломала бюджет, Microsoft не виновата.
- Плюс: Четкость. Все риски лежат на компании. Легко прописать в регламенте.
- Минус: Нулевая автономия. Агент не может учиться, адаптироваться, действовать в нестандартной ситуации. Вы платите за мощный LLM, чтобы использовать его как арифмометр.
Модель «Супервизируемая автономия» (Supervised Autonomy)
Агент – стажер с правом подписи, но под наблюдением куратора. Он может принимать решения в рамках доверенного периметра (например, отвечать на типовые запросы поддержки, генерировать черновики договоров). Но его действия логируются, а ключевые выходные данные (например, отправка денег) требуют человеческого одобрения.
- Кто отвечает: Компания + вендор (если ошибка в базовой модели). Распределение вины – поле для битвы юристов.
- Аналогия: Автопилот Tesla. Водитель должен быть готов вмешаться, но если система ошиблась из-за фатального бага, часть вины может лечь на производителя.
- Плюс: Реальная автоматизация. Агент может обрабатывать тысячи рутинных кейсов, высвобождая людей для сложных задач. Это та самая модель, о которой мы писали в статье про production-ready AI-агенты.
- Минус: Юридическая серая зона. Когда агент на основе GPT-5 допустил галлюцинацию в финансовом отчете, кто виноват? Разработчик промптов? Инженер, плохо настроивший RAG? OpenAI? Или менеджер, который слишком рано доверил агенту работу?
| Критерий | Модель «Инструмент» | Супервизируемая автономия |
|---|---|---|
| Уровень автономии | Нулевой. Ждет команды. | Ограниченный. Действует в рамках policy. |
| Скорость внедрения | Быстрая. Не требует сложных регламентов. | Медленная. Нужны санкционированные процессы, контрольные точки. |
| Потенциал масштабирования | Низкий. Рост линейно зависит от числа операторов. | Высокий. Один куратор может надзирать за сотней агентов. |
| Главный риск | Человеческая ошибка оператора. | Непредсказуемость поведения агента в edge-кейсах. |
Чек-лист для бизнеса: как не сесть в лужу
Выбрать модель – полдела. Второе полугодие 2026 года требует конкретных действий. Вот что делают компании, которые уже прошли через суды.
1Определите красные линии
Сядьте и честно напишите: какие действия агента недопустимы никогда. Например: перевод средств без 2FA, публикация контента без модерации, изменение ключевых настроек системы. Это ваши non-negotiable правила. Встройте их в архитектуру агента на уровне инструментов – запретите вызов этих функций вообще.
2Постройте стек мониторинга ДО первого инцидента
Если вы не видите, что делает агент, вы уже проиграли. Нужен не просто лог в БД, а система, которая в реальном времени отслеживает:
- Дрейф данных: Не дал ли GPT-5 внезапно другие форматы ответов после последнего апдейта от OpenAI (актуально на март 2026)?
- Аномалии в решениях: Агент поддержки вдруг стал в 10 раз чаще эскалировать запросы к человеку. Почему?
- Юридические триггеры: Агент упомянул в переписке название компании-конкурента или использовал рискованную формулировку.
Инструменты вроде LangSmith (партнерская ссылка) или собственные дашборды на Grafana стали must-have. Без них вы слепы.
3Напишите регламент инцидент-менеджмента для ИИ
Когда агент ошибся, первая реакция – выключить его. Плохая идея. Вы теряете данные для анализа. Нужен четкий playbook:
- Изолировать «больного» агента, но сохранить все логи и контекст.
- Запустить механизм отката (rollback) последних действий, если это возможно (отозвать письма, отменить заказы).
- Созвониться с командой: инженер по агентам, юрист, менеджер продукта. Не технари в вакууме.
- Определить root cause: это ошибка в промпте, баг в инструменте, галлюцинация LLM или сбой в данных?
- Принять решение: патч, откат модели, временное отключение функции.
Это не ITIL, это survival kit. Как мы уже отмечали в разборе кейса «AI-агент потребовал $5000 за молчание», отсутствие таких процедур приводит к публичным скандалам.
Прогноз: автономия как услуга
К концу 2026 года появится новый тип страховки и новый тип SLA. Вендоры больших моделей (Anthropic с Claude 3.7, ожидаемым в Q2, Google с Gemini 2.0) начнут предлагать не просто API, а «гарантированную автономию с лимитом ответственности». Вы платите премиум за доступ к модели, которая прошла дополнительное выравнивание (alignment) под вашу отрасль, а вендор берет на себя часть финансовых рисков за ее ошибки в оговоренных сценариях.
Это перевернет рынок. Бизнес, особенно в регулируемых областях – финтех, медицина, – наконец-то сможет масштабно внедрять агентов без страха потерять все. Но цена вопроса возрастет в разы. Маленькие компании останутся с моделью «Инструмент» или open-source решениями, где вся ответственность на них.
Итог прост. Ваш выбор сегодня между «Инструментом» и «Автономией» определит не только эффективность завтра, но и то, кто будет платить по счетам послезавтра. Начинайте с малого, но немедленно стройте систему контроля. Как показал эксперимент с 13 LLM, даже казалось бы простые агенты способны на неожиданные коллаборации. А ваши юристы к этому точно не готовы.
