Цепочка мыслей, которая никуда не ведет
Представьте себе эксперта по шахматам, который может идеально описать каждый возможный ход, проанализировать сотни партий, но при этом не способен выиграть у новичка. Он знает все правила, все стратегии, все комбинации, но у него нет плана. Нет цели. Нет понимания, что делать дальше после первого хода.
Именно так работают современные LLM с Chain-of-Thought (CoT). Эта методика стала мантрой последних двух лет: "заставь модель думать шаг за шагом". В теории звучит гениально. На практике - это просто более сложная форма статистического предсказания.
Chain-of-Thought не учит модели планировать. Он учит их генерировать более длинные и структурированные последовательности токенов, которые выглядят как рассуждения. Разница принципиальная.
Архитектурный тупик: почему планирование невозможно
Чтобы понять, почему LLM неспособны к настоящему планированию, нужно вспомнить, как они работают. Авторегрессионная модель предсказывает следующий токен на основе предыдущих. Весь ее "мир" - это последовательность символов. У нее нет:
- Ментальной модели среды
- Представления о последствиях действий
- Способности симулировать будущие состояния
- Механизма оценки "стоимости" разных путей
Когда вы просите GPT-4 спланировать проект, он не строит в уме дерево решений. Он генерирует текст, который статистически похож на планы из его обучающих данных. Если в данных были хорошие планы - получится хороший текст. Если нет - получится бессвязная последовательность шагов.
Иерархическое планирование: как это работает у людей
Человек, планируя сложную задачу, использует иерархическую структуру. Сначала - общая цель. Потом - крупные этапы. Затем - конкретные действия. Каждый уровень абстракции требует разных типов мышления.
| Уровень планирования | Что делает человек | Что делает LLM |
|---|---|---|
| Стратегический | Определяет конечную цель, оценивает ресурсы | Генерирует текст про "важность стратегии" |
| Тактический | Разбивает на этапы, расставляет приоритеты | Перечисляет шаги из похожих примеров |
| Операционный | Выполняет конкретные действия, адаптируется | Генерирует следующий токен в последовательности |
LLM пытаются прыгнуть сразу на операционный уровень, пропуская стратегию и тактику. Они генерируют действия, не понимая, куда эти действия ведут. Это как пытаться собрать пазл, глядя только на один кусочек за раз.
World Models: архитектура, которая думает, а не болтает
Идея World Models (моделей мира) не нова. Её активно продвигает Ян Лекун, главный научный сотрудник Meta AI. Суть проста: чтобы планировать, нужно иметь внутреннюю модель среды, в которой можно симулировать последствия действий.
1Модель предсказания
World Model учится предсказывать следующее состояние мира на основе текущего состояния и действия. Не следующий токен. Следующее состояние. Разница фундаментальная.
2Иерархическая структура
Модель работает на разных уровнях абстракции. Высокоуровневый планировщик ставит цели. Среднеуровневый разбивает на подзадачи. Низкоуровневый выполняет конкретные действия.
3Обратная связь
Система постоянно сравнивает предсказания с реальностью и корректирует модель. Если действие не приводит к ожидаемому результату - модель обновляется.
World Models не генерируют текст про планирование. Они фактически планируют, симулируя разные варианты будущего и выбирая оптимальный путь.
В статье "World Models: Следующий прорыв" мы подробно разбираем, как эта архитектура изменит ландшафт ИИ в ближайшие годы.
Почему Chain-of-Thought проваливается на длинных последовательностях
Есть техническая причина, по которой CoT не масштабируется. Каждый следующий токен в цепочке рассуждений зависит от всех предыдущих. Ошибка на раннем этапе каскадно усиливается. К 50-му шагу модель уже забыла, с чего начинала.
Исследование, упомянутое в статье про квантование, показывает: даже небольшие ошибки в вычислениях накапливаются экспоненциально в длинных цепочках рассуждений. Модель начинает "галлюцинировать" не потому, что глупая, а потому что архитектура не предназначена для такого использования.
| Длина цепочки | Точность CoT | Точность World Model |
|---|---|---|
| 5 шагов | 92% | 88% |
| 10 шагов | 78% | 85% |
| 20 шагов | 41% | 82% |
| 50 шагов | 12% | 79% |
World Models показывают обратную динамику: чем дольше планируют, тем точнее становятся. Потому что они учатся на своих ошибках, а не накапливают их.
Практические последствия для разработчиков
Если вы строите AI-агентов на основе LLM, вы наверняка сталкивались с этими проблемами:
- Агент "теряет нить" в длинных диалогах
- Не может адаптировать план при изменении условий
- Повторяет одни и те же действия, даже если они не работают
- Не понимает, когда задача выполнена
Это не баги вашей реализации. Это фундаментальные ограничения архитектуры. Вы можете улучшить промпты, добавить memory, использовать RAG (как в нашем руководстве по RAG 2024), но проблема останется.
Пока LLM остаются чисто текстовыми моделями, они не смогут планировать. Текст - это описание мира, а не его модель.
Что будет дальше: гибридные системы
Будущее не за чистым текстом и не за чистыми World Models. Будущее за гибридами. LLM как интерфейс, который понимает запросы на естественном языке. World Model как движок планирования, который строит и выполняет планы.
- Пользователь формулирует задачу на естественном языке
- LLM переводит её в формальный запрос к World Model
- World Model строит иерархический план
- LLM переводит действия плана обратно в естественный язык или код
- Система выполняет, получает обратную связь, корректирует план
Такие системы уже появляются. В сравнении KEF и OpenAI o3 мы видим первые попытки добавить reasoning к LLM. Но это только начало.
Как проверить, может ли ваша LLM планировать
Не верьте маркетингу. Проверьте сами. Дайте модели задачу, которая требует:
- Адаптации к неожиданным изменениям
- Балансировки нескольких противоречивых целей
- Отката и перепланирования при неудаче
- Оценки стоимости разных путей
Например: "Спланируй поездку из Москвы в Токио с тремя остановками, бюджетом не более 1000$, но если билеты подорожают на 20%, найди альтернативный маршрут через Европу, при этом обязательно посети Париж, но не позже 15 октября".
Современные LLM либо откажутся, либо сгенерируют красивый, но нефункциональный план. World Model справится, потому что может симулировать разные сценарии и выбирать оптимальный.
Что делать сегодня, пока World Models не готовы
Не ждите революции. Адаптируйтесь к текущим ограничениям:
Разбивайте задачи на мелкие шаги
Не давайте LLM планировать на 20 шагов вперед. Разбивайте задачу на подзадачи по 3-5 шагов, каждая с четким критерием завершения.
Добавляйте внешнюю память
Используйте векторные базы данных, как в руководстве по долгой памяти, чтобы модель не забывала контекст.
Внедряйте человеческий контроль
На критических этапах добавляйте проверки. LLM предлагает план - человек его утверждает. LLM выполняет шаг - человек проверяет результат.
Самая опасная иллюзия - думать, что LLM могут автономно планировать сложные процессы. Они не могут. И не смогут, пока не получат модель мира.
Прогноз: когда всё изменится
World Models появятся в production не завтра. Но первые работающие прототипы мы увидим в течение 2-3 лет. Они будут:
- Специализированными (для конкретных доменов)
- Ресурсоемкими (потребуют серьезных вычислений)
- Сложными в обучении (нужны симуляторы среды)
Универсальные World Models, способные планировать в любой среде, - это вопрос 5-7 лет. Но когда они появятся, текущие LLM будут выглядеть как калькуляторы рядом с суперкомпьютером.
А пока - используйте LLM для того, для чего они созданы: генерации текста, анализа данных, ответов на вопросы. Не пытайтесь заставить их делать то, что требует настоящего планирования. Это все равно что пытаться научить рыбу летать. Можно потратить годы на тренировки, но проще дождаться птицы.
Цепочка мыслей - это костыль для архитектуры, которая не умеет думать. World Models - это ноги, которые научатся ходить. Выбирайте, что вам нужнее сегодня.
