Загадка пропавшего диапазона
У вас есть система с 64GB видеопамяти. Может, это пара RTX 4090, а может, одна профессиональная карта. Вы хотите запустить MoE-модель, которая использует этот объем на полную. И вы не понимаете, почему все предлагают либо 47B (как старый Mixtral), либо сразу прыгают к 120B+. Где золотая середина в 60-70 миллиардов параметров? Ее нет. И это не случайность, а системный сбой рынка.
Математика памяти: почему 64GB — это проклятие
Вспомните статью про модели для 24GB VRAM. Там мы говорили, что MoE экономит память, активируя лишь часть экспертов. Логично было бы ожидать, что для 64GB можно создать модель с общим числом параметров в 2.5 раза больше, чем для 24GB. Но инженеры думают иначе.
| Архитектура | Общие параметры (пример) | Активных на токен | Пиковое потребление VRAM (FP16, 2026) |
|---|---|---|---|
| Плотная (Dense) | 70B | 70B | ~140 ГБ |
| MoE (идеальная для 64GB) | 65B (гипотетическая) | ~15B | ~45-55 ГБ |
| MoE (реальная, как Mixtral 8x22B) | 141B | ~39B | ~80+ ГБ |
Теоретически, модель на 65B параметров с 8 экспертами и 2 активными должна влезть в 64GB с квантованием. Но на практике ее обучение в 2-3 раза дороже, чем плотной модели на 30B, а прирост качества нелинеен. Компании считают деньги. Проще выпустить плотную 32B модель (как Gemma 3 27B) или гигантскую MoE для облаков.
Рыночный вакуум: кто виноват — NVIDIA, Meta или все мы?
Основной драйвер разработки — не энтузиасты с 64GB VRAM, а крупные облачные провайдеры. Им нужны либо очень маленькие и эффективные модели для краевых устройств, либо монстры для API. Диапазон 60-70B — нишевый. Это размер, который слишком велик для локального запуска на массовом железе (вспомните, что даже тройной GTX 1070 борется за 24GB), но слишком мал, чтобы затмить GPT-4 класса в облаке.
Китайские компании, как следует из нашей статьи "Китайский AI выбрал свой путь", сфокусированы на оптимизации под свое железо и государственные задачи. Их последняя модель Qwen 3.5 MoE имеет 32B общих параметров. Они не видят смысла в 65B.
Правда в том, что рынок сегментирован. Есть бюджетный сегмент (до 24GB VRAM), есть профессиональный (80-128GB для студий и дата-центров), а 64GB — это странная промежуточная зона, за которую никто не хочет бороться.
Архитектурные компромиссы: почему MoE не масштабируется линейно
Создать MoE-модель на 65B параметров — не просто взять 8 экспертов по 8B каждый. Проблема в роутере — том компоненте, который решает, какого эксперта активировать. С ростом числа экспертов и параметров, роутер становится узким местом. Его нужно тренировать на огромных датасетах, иначе модель начнет "глючить", активируя не тех экспертов. В 2026 году эта проблема все еще не решена полностью.
Большинство успешных MoE-моделей, как описано в "MoE-мании", используют 8-16 экспертов. Увеличение их числа ради достижения 65B общих параметров требует пересмотра всей архитектуры. Инженеры предпочитают увеличивать не количество экспертов, а их "глубину", что ведет к скачку в потреблении памяти — и вот мы уже за пределами 64GB.
Прогноз: ждать ли чуда до конца 2026?
Шансы малы, но они есть. Все упирается в появление массового железа с 64GB VRAM в одном устройстве. Если, например, NVIDIA выпустит игровую карту с таким объемом (что маловероятно до 2027 года), спрос рождает предложение. Пока же основными носителями являются связки из двух карт или дорогие профессиональные решения, что не формирует критическую массу пользователей.
Более реальный сценарий — появление гибридных моделей, которые динамически адаптируются к доступной VRAM. Модель-хамелеон, которая может работать как 30B на 24GB, а при обнаружении 64GB — загружать дополнительные эксперты. Технологии для этого, вроде PagedAttention и динамической загрузки весов, уже существуют, но интегрировать их в тренировку сложно.
Что делать с 64GB VRAM прямо сейчас? Стратегия выживания
Не ждите мифическую 65B MoE. Действуйте.
- Запускайте две модели одновременно. Ваши 64GB — это фактически два независимых контура по 32GB. Запустите, например, Gemma 3 27B для рассуждений и какой-нибудь кодогенератор параллельно. Это даст больше гибкости, чем одна большая модель.
- Экспериментируйте с гигантскими контекстами. У вас есть память — используйте ее для работы с длинными документами. Загрузите модель Qwen 2.5 32B в 4-битном формате (~18GB) и выделите под кэш контекста 40+ GB. Вы сможете обрабатывать сотни тысяч токенов без перезагрузки.
- Собирайте ансамбли. Это звучит как костыль, но работает. Запустите три разных модели среднего размера и агрегируйте их ответы. Качество может превзойти одну большую модель, а отладка проще.
Если вы все же хотите купить железо под будущие модели, рассмотрите не отдельную карту на 64GB, а конфигурацию с большим объемом общей памяти через NVLink. Но это уже тема для другой статьи.
Мой прогноз: первая MoE-модель на 60-70B параметров, оптимизированная под 64GB VRAM, появится не раньше середины 2027 года. И ее выпустит не гигант вроде Google, а группа энтузиастов, которым надоело ждать. Может, это будете вы.
