AWQ vs GPTQ на SageMaker: какое квантование реально ускоряет LLM-инференс

Зачем квантовать модели в облаке? Парадокс SageMaker

Кажется безумием: заказывать дорогущие инстансы g5.48xlarge с 8×A10G (96 ГБ VRAM) и тут же пытаться сжать модель вчетверо. Зачем платить за железо, которое не используешь полностью?

Ответ простой — скорость генерации. И деньги. Много денег.

Вот цифра, от которой сводит скулы: запуск Falcon 180B в FP16 на SageMaker требует минимум 4×g5.48xlarge. Это $65 в час. 24/7 — $46,800 в месяц. И это без учета трафика и S3.

GPTQ: старый воин с новыми проблемами

GPTQ появился в 2022 году как ответ на вопрос «как сжать модель, чтобы она хотя бы работала». Принцип простой: квантуем веса послойно, минимизируя ошибку реконструкции. Классика жанра.

На бумаге всё красиво: 4-битное квантование, скорость инференса близкая к FP16, качество падает на 1-2%. В реальности SageMaker добавляет свои сюрпризы.

1 GPTQ на SageMaker: что ломается первым

Проблема №1 — совместимость контейнеров. AWS использует свои Docker-образы для инференса, и не каждый GPTQ-формат там работает. Особенно с новыми архитектурами вроде MoE.

# Типичная ошибка при загрузке GPTQ-модели
Model loading failed: Unsupported quantization type 'gptq'
Expected: ['awq', 'bitsandbytes', 'fp16', 'fp8', 'int8']

Проблема №2 — memory bandwidth bound. GPTQ требует постоянных деквантований весов во время инференса. На картах A10G с пропускной способностью памяти 600 ГБ/с это становится узким местом. Модель простаивает, ждет данные из памяти.

Видите проблему? DeepSeek V3 с архитектурой Mixture of Experts просто отказывается работать с GPTQ на стандартных контейнерах SageMaker. AWS обновила поддержку только к середине 2025 года.

AWQ: умное квантование для ленивых GPU

AWQ (Activation-aware Weight Quantization) появился как ответ на недостатки GPTQ. Вместо тупого квантования всех весов подряд, AWQ анализирует, какие веса важны для реальных активаций модели. Сохраняет точные значения для критических весов, жертвует менее важными.

Звучит умно. На практике разница в подходе создает совершенно другой паттерн нагрузки на железо.

2 Почему AWS любит AWQ больше, чем вы думаете

В SageMaker JumpStart (на 20.01.2026) из 87 предварительно настроенных LLM-моделей 64 используют AWQ по умолчанию. GPTQ — только 12. Остальные — FP16/FP8.

Причина простая: AWQ лучше дружит с TensorRT-LLM, который стал стандартом для оптимизации инференса в AWS. TensorRT умеет компилировать AWQ-кернелы в более эффективный код, уменьшая overhead деквантования.

# Конфигурация SageMaker для AWQ (актуально на 20.01.2026)
from sagemaker.huggingface import HuggingFaceModel

model = HuggingFaceModel(
    model_data="s3://bucket/llama-3.1-70b-awq.tar.gz",
    role=role,
    transformers_version="4.40",  # Важно: последняя версия на 2026
    pytorch_version="2.2",
    py_version="py310",
    env={
        "HF_MODEL_QUANTIZATION": "awq",
        "MAX_INPUT_LENGTH": "8192",
        "MAX_TOTAL_TOKENS": "16384",
        "TRT_LLM_OPTIMIZATION_LEVEL": "3"  # Максимальная оптимизация
    }
)

Реальные тесты: что работает, а что только выглядит красиво

Я развернул три модели на инстансе g5.48xlarge (8×A10G, 96 ГБ VRAM). Тестировал на 10,000 токенах технической документации — типичный RAG-сценарий.

Разница в стоимости — почти 3× между AWQ и FP16. За месяц нагруженного сервиса (100M токенов в день) это $15,000 против $48,600. Даже с учетом того, что AWQ-модели иногда «теряют» логику в сложных цепочках рассуждений.

Ловушка MoE-моделей: почему DeepSeek V3 ненавидит GPTQ

Mixture of Experts — архитектура, где разные части модели активируются для разных задач. В DeepSeek V3 236B всего 37B активных параметров на токен, но нужно хранить все 236B.

GPTQ квантует всю модель целиком. AWQ — только активные эксперты для данного промпта. Разница в подходе создает катастрофическую разницу в качестве.

Если работаете с MoE-архитектурами в SageMaker — только AWQ. Даже если где-то написано «GPTQ supported», не верьте. Поддерживается загрузка, а не работоспособность.

Практический гайд: как не сломать продакшен за 5 шагов

1 Выбор модели и квантования

Не берите первую попавшуюся квантованную модель с Hugging Face. Проверьте:

• Дату последнего обновления (должно быть не старше 3 месяцев)
• Используемый калибровочный датасет (C4 или специализированный)
• Версию библиотеки квантования (AutoAWQ 0.2.0+ или GPTQ-for-LLaMA 1.0.0+)

2 Подготовка SageMaker Endpoint

# Правильная конфигурация для AWQ (актуально на 20.01.2026)
deployment_config = {
    "InstanceType": "ml.g5.48xlarge",
    "InitialInstanceCount": 1,
    "ModelDataDownloadTimeoutInSeconds": 1800,  # Большие модели грузятся долго
    "ContainerStartupHealthCheckTimeoutInSeconds": 900,
    "Environment": {
        "SAGEMAKER_MODEL_SERVER_WORKERS": "1",  # Один воркер на модель
        "SAGEMAKER_MODEL_SERVER_TIMEOUT": "300",
        "HF_MODEL_QUANTIZATION": "awq",
        "MAX_BATCH_SIZE": "4",  # Для 70B моделей
        "MAX_BATCH_TOKENS": "8192"
    }
}

3 Тестирование перед продакшеном

Обязательные тесты:

1. Генерация 10K токенов подряд — проверка на memory leak
2. Параллельные запросы от 5 клиентов — проверка стабильности
3. Длительные промпты (8K+ токенов) — проверка работы с контекстом
4. Специализированные задачи (код, математика, reasoning) — проверка качества

Ошибки, которые стоят денег (много денег)

Ошибка 1: Использование старых контейнеров SageMaker. На 20.01.2026 актуальная версия — «huggingface-pytorch-tgi-inference:2.2-tgi2.0.4-gpu-py310». В более старых нет оптимизаций TensorRT-LLM для AWQ.

Ошибка 2: Квантование своими силами без калибровочного датасета. Если калибруете модель на случайных данных — получите случайное качество. Берите датасет из домена ваших задач.

Ошибка 3: Игнорирование стоимости холодного старта. AWQ-модели загружаются быстрее GPTQ (меньше весов для деквантования). Если ваш сервис масштабируется до нуля — разница в 3-5 минут загрузки превращается в SLA-нарушения.

Что будет завтра? Прогноз на 2026-2027

FP8 квантование уже тестируется в SageMaker для H100. В 2 раза меньше потерь качества чем 4-битное, но требует специального железа. К концу 2026 станет стандартом для новых инстансов.

Динамическое квантование — модель сама выбирает битность для каждого слоя в зависимости от входных данных. Первые реализации ожидаются в TensorRT-LLM к середине 2026.

Но главный тренд — не технический, а экономический. Стоимость инференса станет ключевым KPI для ML-команд. И те, кто сейчас разбирается в тонкостях AWQ vs GPTQ, будут платить в 2-3 раза меньше конкурентам, которые просто берут модели «как есть».

P.S. Если думаете, что можно просто взять 4-битную Llama 3 405B и получить магическое качество — почитайте про компромиссы. Иногда лучше взять меньшую модель с лучшим квантованием. Особенно если у вас ограничения по памяти или вы работаете с длинными документами.