Вы доверяете нейросети переписать договор, поправить техзадание или переформатировать отчёт. Зря. По данным свежего исследования Microsoft, большие языковые модели при делегировании задач на редактирование документов портят каждый четвёртый файл. Цифра DELEGATE-52 — 25% повреждений. И это не гипотетические риски, а реальная боль инженеров, которые уже обожглись.
Суть в том, что когда LLM выступает агентом, который сам вызывает инструменты (например, replace_text или insert_paragraph), модель начинает импровизировать. Она может случайно удалить важный абзац, написать бессмыслицу поверх существующего текста или — мой любимый кейс — вставить туда же промпт из системного сообщения. Звучит абсурдно, но Microsoft задокументировала ровно такое.
Основной вывод DELEGATE-52: агентные пайплайны без валидации выхода — это русская рулетка с вашими документами. Каждый четвёртый — мина замедленного действия.
Почему это происходит? Три причины
Microsoft разобрала 3500 логов работы агентов на базе GPT-4o (версия ранней осени 2025) и Claude 3 Opus. Ошибки делегирования делятся на три класса:
- Коллизия инструментов — модель вызывает
cutиpasteв неправильном порядке. Теряется буфер обмена, и кусок текста просто исчезает. - Галлюцинации координат — LLM определяет строку 42 как «пункт 3.1», хотя на самом деле это примечание в сноске.
- Инерция контекста — модель «залипает» на предыдущем запросе и вставляет в документ старый ответ вместо нового.
Особенно смешно (и страшно) выглядит третий пункт. Представьте: вы просите LLM заменить «ООО Ромашка» на «ООО Лютик» в договоре, а она в ответ приписывает туда рецепт пирога, который вы обсуждали в начале сессии. В датасете DELEGATE-52 таких кейсов — 11%.
Кто в группе риска?
Под раздачу попадают прежде всего юристы, редакторы и все, кто гоняет документы через AI-агентов. Если вы используете открытые LLM для анализа контрактов — вы уже сталкивались с этой проблемой, возможно, даже не заметили.
Но хуже всего тем, кто внедряет агентные рабочие процессы (AI agents). Когда LLM сама решает, какой инструмент вызвать и когда остановиться, вероятность порчи документа взлетает до 40%. Microsoft проверила это на трёх сценариях: переформатирование вики-страниц, рефакторинг кода документации и массовое редактирование юридических шаблонов. Во всех трёх классические пайплайны без обратной связи провалились.
Как Microsoft предлагает лечить
Исследователи выпустили не просто отчёт, а готовый рецепт. Набор правил, который они назвали Delegation Filter — фильтр, отсекающий опасные вызовы. Суть простая: перед тем как исполнить команду агента, фильтр проверяет её на наличие паттернов, приводящих к порче документа. Если команда подозрительна — она отклоняется, и модель получает сообщение об ошибке без права ретрая.
Эффект: частота повреждений падает с 25% до 4%. Цифра всё ещё не нулевая, но уже приемлемая для продакшна. Microsoft рекомендует внедрять такой фильтр до того, как код или текст отправятся в репозиторий. Кстати, похожий подход — чек-лист инженера, когда НЕ стоит вызывать LLM — мы уже разбирали на примере продакшн-пайплайнов.
Дополнительно Microsoft советует:
- Ограничить количество последовательных вызовов инструментов (не более 5).
- Сохранять снапшоты документа до и после каждого изменения.
- Использовать инструмент «difference check» — сравнивать выход с предыдущей версией.
А что с open-source?
Эксперименты с открытой моделью Raft (осень 2025-го) показали ещё более грустную картину: повреждения в 37% случаев. Причина — меньшее количество обучающих примеров на работу с инструментами. В Microsoft отмечают, что лучше всего справился Claude 3 Opus (18% сбоев), а замыкает список Qwen2.5-72B с 42%.
Если вы используете open-source модели для обработки документов — обязательно внедряйте семантическую валидацию. Например, пайплайн с ETL и итеративной обработкой, который мы описывали в статье про семантические пайплайны, может снизить процент ошибок за счёт повторных проходов.
Ещё один неочевидный риск: даже если LLM не портит документ сегодня, она может начать это делать при смене версии модели. Microsoft зафиксировала, что обновление с GPT-4o (весна 2025) на GPT-4o (лето 2025) изменило поведение в 12% случаев — и не в лучшую сторону.
Три вывода, которые стоит запомнить
Если вы отвечаете за AI-пайплайны в компании — эти цифры должны стать вашей настольной памяткой.
- Не доверяйте LLM финальную правку. Всегда делайте валидацию — либо автоматическую (diff-сравнение), либо человеческую.
- Ставьте фильтры. Delegation Filter от Microsoft или ваш собственный набор правил — не роскошь, а необходимость.
- Тестируйте каждое обновление модели. Поведение LLM может меняться без предупреждения, и ваш пайплайн сломается.
И последнее. Исследование Microsoft — не повод отказываться от AI-агентов. Это повод строить вокруг них защитные механизмы. Потому что один испорченный документ — это потеря времени. А 25 испорченных из сотни — это потеря денег и репутации.
Источник: Microsoft Research, датасет DELEGATE-52, 2026.
