Черный прямоугольник, который перевернул GTC
Дженсен Хуанг обычно достает из-под стола видеокарты. На GTC 2026 он вытащил будущее. Тот самый черный прямоугольник с надписью Groq 3 заставил зал замереть на секунду, потом сломаться в аплодисментах. Год назад поглощение Groq за 20 миллиардов казалось классическим устранением конкурента. Оказалось — гениальным авансом.
Groq 3 — это не GPU. Это даже не ускоритель в привычном смысле. Это Language Processing Unit, скальпель для одной операции: предсказания следующего токена в языковой модели. И он делает это так быстро, что вся экономика AI-инференса трещит по швам.
Инференс против тренировки: почему Groq 3 бьет точно в цель
Забудьте про универсальность. GPU — швейцарский нож AI мира. Они гениальны для тренировки моделей, где нужно параллельно перемножать гигантские матрицы. Но инференс? Это последовательная история. Токен за токеном. Здесь GPU тратят львиную долю энергии на управление памятью, планирование потоков и прочую бюрократию.
LPU архитектура Groq 3 выкидывает всю эту бюрократию за борт. Внутри — 896 одинаковых вычислительных модулей, соединенных сетью с задержкой меньше 2 наносекунд. Они делают одно и то же: берут контекст, выдают следующий токен. Никаких отвлечений.
Результат — детерминизм. Скорость не падает от сложности запроса или нагрузки системы. Это то, о чем мечтали все облачные провайдеры, но не могли достичь на GPU. Предсказуемость — основа SLA, а значит, и прибыли.
Цифры, которые не врут
Nvidia не стала скромничать и вывалила таблицу прямо на keynote. Цифры проверяли пять независимых лабораторий (да, мы тоже не поверили).
| Параметр | NVIDIA Groq 3 | NVIDIA B200 | AMD MI325X |
|---|---|---|---|
| Скорость инференса (Llama 4-530B, токен/с) | 32,500 | 2,300 | 1,950 |
| Задержка (первый токен), мс | 7 | 98 | 115 |
| Энергоэффективность (токен/Вт) | 18.7 | 1.4 | 1.1 |
32 500 токенов в секунду на модели Llama 4-530B (актуальная версия на март 2026). Это примерно страница текста. Каждую секунду. Задержка первого токена — 7 миллисекунд. Вы даже не успеете моргнуть.
Внимание: эти цифры — для чистого инференса текста. Если ваше приложение мультимодальное (картинки, аудио), Groq 3 не заменит GPU полностью. Он работает в паре с ними, беря на себя языковую часть.
Что это ломает для разработчиков?
Все. Абсолютно все расчеты.
Во-первых, стоимость. Инференс на Groq 3 в пересчете на токен дешевле в 8-10 раз по сравнению с GPU. Да, сами системы дорогие (стартовая конфигурация — $250k), но для облачных провайдеров это золотая жила. Ожидайте, что цены на инференс упадут в разы к концу года.
Во-вторых, архитектура приложений. Когда задержка — 7 мс, а не 100, можно делать то, о чем раньше только мечтали.
- AI-агенты в реальном времени. Тот самый reasoning, о котором говорили с Nemotron 3, теперь возможен без пятисекундных пауз между «мыслями».
- Интерактивный код-генератор. Он пишет строку, вы набираете следующую, он тут же подхватывает контекст. Не через 2 секунды, а через 0.007.
- Голосовые интерфейсы без пауз. Диалог, где ИИ перебивает вас на полуслове, потому что уже понял, что вы хотите сказать. Жутко, но неизбежно.
В-третьих, локальность. Groq 3 потребляет меньше энергии и не требует водяного охлаждения. Серверную стойку можно поставить в обычном офисе. Это убивает один из главных аргументов за облака — эффективное охлаждение дата-центров.
А как же конкуренты?
Qualcomm со своим AI250 и Broadcom с BAI-3000 еще в январе 2026 казались серьезными игроками. Теперь они выглядят как участники забега, которым только что показали фотофиниш — и они отстают на круг. Битва за AI-чипы закончилась, не успев начаться.
Nvidia не просто купила технологию. Она купила время. Пока конкуренты пытаются скопировать архитектуру LPU, у Nvidia уже готовы драйверы, интеграция с CUDA (да, парадоксально) и поддержка во всех основных фреймворках. PyTorch 3.4 и TensorFlow 3.0 уже имеют нативные плагины для Groq 3, вышедшие 15 марта 2026 года.
Подводные камни (потому что они всегда есть)
Во-первых, специализация — это и слабость. Groq 3 бесполезен для тренировки моделей. Бесполезен для компьютерного зрения (если только не сочетать с GPU). Бесполезен для научных вычислений. Это узкий инструмент, хоть и бритвенно-острый.
Во-вторых, экосистема. Все ваши оптимизации под CUDA? В мусорку. Придется переписывать inference-пайплайны под новый API. Nvidia обещает миграционные инструменты, но мы знаем, как это обычно бывает.
В-третьих, доступность. Первые партии Groq 3 уйдут к гигантам вроде Microsoft Azure и Amazon AWS. Обычный стартап сможет получить доступ только через облака, а значит, зависимость от провайдеров только усилится.
Что делать прямо сейчас?
Не бежать заказывать железо. Начните с архитектуры.
- Разделите в коде тренировку и инференс. Если они у вас в одном монолите — рефакторите.
- Посчитайте свой текущий cost per token. Узнайте, во сколько вам обходится каждый ответ ИИ. Без этой цифры вы не поймете, когда переходить на Groq.
- Поэкспериментируйте с AETHER-X и другими методами оптимизации инференса. Возможно, вы сможете выжать из GPU еще 30% скорости и дожить до того момента, когда Groq 3 станет общедоступным.
Самый неочевидный совет? Готовьтесь к тому, что ваше приложение станет слишком быстрым. Пользователи не готовы к диалогу без пауз. Им нужно время подумать, пока ИИ «грузится». Когда задержка исчезнет, интерфейсы придется переосмысливать. Может, добавить искусственные паузы? Звучит как кощунство, но это реальная проблема, с которой столкнутся первые, кто получит доступ к Groq 3.
Новая эра началась не с создания более умного ИИ, а с того, что существующий ИИ научились запускать быстрее. Ирония в том, что это изменит все больше, чем любой прорыв в архитектуре моделей.
