Chain-of-Thought умрёт. И это хорошо
Представьте, что вы заставляете человека проговаривать каждый шаг решения математической задачи вслух. "Сначала я возьму два плюс два, получится четыре. Затем умножу на три..." Утомительно? Безумно. Именно так сегодня работают LLM с Chain-of-Thought. Они выплёвывают токены рассуждений, как плохой студент на экзамене, лишь бы показать процесс.
В 2026 году эта пытка закончится. Вместо токенного мусора модели начнут думать в латентном пространстве. Молча. Эффективно. По-настоящему.
CoT потребляет вычислительные ресурсы на генерацию текста, который никто не читает. Это архитектурный атавизм, доставшийся нам от языкового моделирования. Пора от него избавляться.
Sparse Autoencoders: вскрытие чёрного ящика
Помните статью про Sparse Autoencoders? Там рассказывали, как вытаскивать "черты" из скрытых состояний модели. Оказалось, что в LLaMA-3 уже есть Feature #8629 - нейрон, который активируется на концепцию "логического следования".
Это не просто интересный факт. Это ключ к латентному рассуждению. Вместо того чтобы генерировать текст "A следовательно B", модель может активировать этот нейрон в скрытом пространстве. И передать результат следующему слою. Без единого токена.
Multiplex Thinking: параллельное безумие
Исследователи из UPenn и Microsoft придумали Multiplex Thinking. Звучит умно, но суть проста: модель думает несколькими потоками одновременно. Как человек, который решает задачу, параллельно оценивая альтернативные подходы.
В текущих LLM с CoT это невозможно. Они линейны, как поезд на рельсах. Один токен за другим. Ошибся на втором шаге - весь состав ушёл в тупик.
| Архитектура | Скорость рассуждения | Параллелизм | Точность на сложных задачах |
|---|---|---|---|
| Classic CoT (GPT-4) | 1x (база) | Нет | 58% |
| Latent Reasoning (прототип) | 50-100x | Ограниченный | 72% |
| Multiplex Thinking + SAE | 200-500x | Полный (до 16 потоков) | 89% (прогноз) |
Multiplex Thinking в латентном пространстве - это как дать модели 16 виртуальных ядер для мышления. Каждый поток исследует разные гипотезы, а потом они голосуют. Или сливаются. Или что-то третье, что мы ещё не придумали.
Почему именно 2026? Математика против оптимизма
Все кричат про 2025, но реальность жестче. Три причины, почему сдвиг произойдёт в 2026:
- Инфраструктура не готова. Нужны новые типы ускорителей, о которых пишут в статье про SOCAMM2. Память должна работать с векторами, а не с токенами.
- Нет стандартов. Каждый исследовательский центр тянет одеяло на себя. OpenAI молчит, Anthropic делает своё, Meta открывает не всё.
- Инерция. Миллионы строк кода завязаны на токенизацию и генерацию. Как в истории про SystemVerilog - старые парадигмы умирают медленно.
Но математика неумолима. Эффективность латентного рассуждения на 2-3 порядка выше. Когда экономика станет очевидной (а она станет в 2025), переход ускорится.
Что сломается первым? Предсказания на ближайшие 18 месяцев
Когда архитектура изменится, рухнет половина текущих практик. Представьте:
Prompt engineering умрёт. Зачем подсказывать модели "давай подумаем шаг за шагом", если она и так думает в латентном пространстве? Промпты станут похожи на SQL-запросы к базе данных - чёткие, структурированные, без психологических ухищрений.
Evaluation benchmarks потребуют полной переработки. Как измерять качество рассуждения, если его нет в текстовом виде? Придётся вводить "латентометры" - инструменты для оценки векторных траекторий в скрытом пространстве.
Fine-tuning превратится в feature engineering. Вместо подгонки весов под тексты, мы будем настраивать Sparse Autoencoders для выделения нужных концепций. Как в Genesis-152M, но на стероидах.
Кому это выгодно? (Спойлер: не OpenAI)
Новая архитектура сломает текущую иерархию. Крупные модели с триллионами параметров окажутся в проигрыше - их монструозные трансформеры оптимизированы под токены, не под векторы.
Выиграют те, кто начнёт с чистого листа:
- Академические лаборатории. У них нет legacy-кода, можно экспериментировать. Как UPenn с Multiplex Thinking.
- Стартапы на специализированных чипах. Если ваше железо изначально заточено под векторные операции, вы получаете 10-кратное преимущество.
- Компании с сильными математиками. Это не про инженерию промптов, это про линейную алгебру и теорию графов.
OpenAI будет сопротивляться. У них слишком много вложено в токенную экономику. Но помните историю с обучением на лету от NVIDIA? Парадигмы ломают аутсайдеры, не лидеры.
Что делать сегодня, чтобы не опоздать?
Не ждите 2026. Действуйте сейчас:
- Изучайте Sparse Autoencoders. Не как модную тему, а как основной инструмент. Начните с открытых реализаций от Anthropic.
- Экспериментируйте с латентными представлениями. Возьмите любую модель, извлеките скрытые состояния, попробуйте их визуализировать. Поймите, что там происходит.
- Забудьте про prompt engineering как долгосрочную карьеру. Это временное явление, как оптимизация для поисковых систем в 2005 году.
Самый важный навык на ближайшие два года - умение читать между строк research papers. Когда в статье про System 2 говорят про "координационный слой", на самом деле имеют в виду Multiplex Thinking. Когда в KEF обещают прокачку reasoning, подразумевают латентные операции.
Цепочка мыслей умрёт. Не плачьте по ней. Она была костылём, временным решением, пока мы не поняли, как модели думают на самом деле.
Начинайте думать в векторах. Пока остальные генерируют токены.
