Забудьте про 128k. Начинается эпоха 100M
Еще вчера мы радовались 32k контексту в Llama 3.1. Потом хвастались 128k в Claude 3.5. А сегодня исследователи из не самого известного института выкладывают препринт про Memory Sparse Attention (MSA) с обещаниями в 100 миллионов токенов. Сто. Миллионов.
Звучит как очередная академическая сказка, правда? Но вчитайтесь в детали. Это не просто очередная вариация Sparse Attention или Flash Attention 3. Это попытка переосмыслить сам механизм работы памяти в трансформере. И если они не врут, то через год мы будем загружать в локальную модель не просто книгу, а всю библиотеку.
Важный нюанс: на 7 апреля 2026 года это все еще исследовательский препринт. Реализаций в популярных фреймворках вроде Hugging Face Transformers или vLLM пока нет. Но код обещают выложить «в ближайшие недели».
В чем фокус? Attention, но с внешней памятью
Классический self-attention в трансформерах вычисляет взаимодействия между всеми токенами в последовательности. Это дает квадратичную сложность O(n²) по памяти и вычислениям. Отсюда и потолок в несколько десятков тысяч токенов даже для самых продвинутых оптимизаций.
Memory Sparse Attention предлагает радикально другой путь. Вместо того чтобы пытаться ужать или аппроксимировать матрицу внимания для всей последовательности, MSA вводит понятие «внешней памяти» (memory bank).
Механизм доступа к внешней памяти — это и есть «sparse» часть. Модель обучается предсказывать, какие фрагменты из гигантского хранилища релевантны для генерации следующего токена. Не нужно считать внимание между текущим токеном и всем, что было за последние 100 миллионов шагов. Только с небольшим, динамически выбираемым подмножеством.
Звучит знакомо? Концепция внешней памяти не нова. Но здесь исследователи, кажется, нашли способ сделать её эффективной и, что важнее, обучаемой сквозным образом. Это не просто хак вроде DroPE или патч к существующей архитектуре. Это изменение парадигмы.
А что с железом? Потенциал для локальных LLM
Вот где начинается самое интересное. Основное потребление памяти в LLM идет на хранение ключей и значений (KV-cache) для механизма внимания. При контексте в 100M токенов традиционный KV-cache сожрет всю оперативку любой видеокарты и еще немного из системной.
Memory Sparse Attention решает это радикально. Внешняя память хранится в сжатом, «холодном» виде — возможно, даже на системном SSD или RAM. В GPU загружаются только актуальные для текущего шага фрагменты. Это напоминает идеи из IndexCache для vLLM, но примененные на совершенно другом уровне.
| Подход | Макс. контекст (практ.) | Основной недостаток |
|---|---|---|
| Обычный Attention (GPT-4 Turbo) | 128k | Квадратичные затраты |
| Sparse Attention (ранние подходы) | ~1M (с потерями) | Падение качества, сложная настройка |
| Ulysses Sequence Parallelism | 1M+ (в теории) | Требует кластера GPU, как в нашей статье |
| Memory Sparse Attention (заявлено) | 100M | Новая, неотлаженная архитектура |
Потенциал для локального запуска очевиден. Вы сможете загрузить в Qwen2.5-32B или будущий Llama 4 всю документацию вашего проекта, все переписки за год и пару научных книг по теме. И модель будет реально это использовать, а не «помнить» только последние 50 сообщений.
Но есть загвоздка. Качество доступа к внешней памяти. Если механизм выбора релевантных фрагментов будет давать сбой, модель начнет галлюцинировать фактами из забытых уголков своей памяти. Проблема, знакомая по системам вроде MemoryLLM.
Когда ждать? И стоит ли обновлять резюме?
Сейчас, в апреле 2026, MSA — это сырая, но многообещающая исследовательская идея. До появления стабильных реализаций в TensorFlow или PyTorch пройдет минимум полгода-год. А до оптимизированных для потребительских видеокарт версий, которые можно будет запустить через Ollama или LM Studio, — еще дольше.
Что это значит для разработчиков и энтузиастов прямо сейчас?
- Не бросайте текущие проекты. Техники вроде Tuneable Attention или грамотное чанкование документов остаются вашим рабочим инструментом.
- Следите за экспериментами. Первые попытки интегрировать MSA в open-source модели, скорее всего, появятся в репозиториях на GitHub от смелых инженеров. Будьте готовы к багам.
- Подумайте о данных. Если MSA взлетит, ценность хорошо структурированных, огромных корпусов текстов взлетит до небес. Модель, которая может «помнить» всю историю вашего продукта, потребует эту историю в чистом виде.
Прогноз на конец 2026-го: мы увидим первую open-source модель с поддержкой MSA, возможно, на базе архитектуры Llama или Mistral. Контекст в 1-10 миллионов токенов станет доступным для локального запуска на высококлассном железе (RTX 5090?). А 100M останутся уделом исследовательских кластеров.
Ирония в том, что даже с контекстом в 100 миллионов токенов, модели все равно будут иногда тупить на простых вопросах. Потому что проблема не только в объеме памяти, но и в её качестве, артефактах внимания и фундаментальном понимании. Memory Sparse Attention — это мощный шаг к решению первой проблемы. Но последние две никуда не денутся.
Так что пока не продавайте свои GPU. Но присматривайтесь к SSD с высокой скоростью чтения. Внешняя память будущих LLM может оказаться именно там.
