Слепая зона продакшена исчезает
До 22 марта 2026 года мониторинг SageMaker Endpoints напоминал попытку починить двигатель, глядя только на спидометор. CloudWatch показывал латенси, количество инференсов, ошибки – но что происходило внутри контейнера, почему одна модель жрет всю память, а другая простаивает, оставалось загадкой. Инженеры строили догадки, увеличивали инстансы наугад и молились, чтобы автокалинг сработал вовремя.
Сегодня AWS закрывает этот пробел. Появились метрики на уровне отдельных контейнеров и моделей внутри Inference Components. Теперь видно все.
Что показывают новые метрики (и почему это важно)
В CloudWatch для каждого Inference Component теперь доступен отдельный набор метрик. Это не просто переименованные старые цифры.
| Метрика | Namespace | Что говорит |
|---|---|---|
| ContainerCPUUtilization | AWS/SageMaker | Нагрузка на CPU конкретного контейнера. Наконец-то можно увидеть, какая модель тянет одеяло на себя. |
| ContainerMemoryUtilization | AWS/SageMaker | Потребление памяти в процентах от лимита. Утечки памяти теперь локализуются за минуты. |
| ModelInvocationLatency | AWS/SageMaker | Задержка инференса для каждой модели отдельно. Критично для мультимодельных эндпоинтов. |
| GPUUtilizationPerComponent | AWS/SageMaker | Использование GPU на компонент. Больше не нужно делить общую цифру в уме. Это прямое продолжение тренда, начатого в 2025 году с метриками GPU для инстансов. |
Звучит как очевидная вещь? Так и есть. Но её не было. Теперь, если ваша LLM-ферма на SageMaker начала тормозить, вы не гадаете – вы открываете дашборд и видите: «А, это компонент с моделью Falcon-3B-2026-Instruct исчерпал память, потому что батч-размер выставили криво». Или обнаруживаете, что ваш классификатор изображений простаивает, пока текстовый энкодер грузит GPU на 95%.
Как это меняет игру (и бюджет)
Раньше scaling policy на эндпоинте мог сработать из-за одной прожорливой модели, масштабируя весь кластер. Теперь можно точечно оптимизировать. Упирается в память конкретный контейнер? Увеличивайте memory limit для него, а не для всех. Низкая утилизация GPU на одном компоненте? Может, стоит пересмотреть его размещение или использовать S3-шаблоны для быстрого редеплоя более легковесной версии.
Внимание: новые метрики включены по умолчанию для новых Inference Components, созданных после 18 марта 2026. Для существующих нужно обновить конфигурацию эндпоинта. Да, это ещё один шаг в CI/CD, но оно того стоит.
Это шаг к data-driven MLOps. Вместо предположений о дрейфе данных или плохой производительности, вы получаете цифры. Сравнивайте ModelInvocationLatency с метриками вроде TimeToFirstToken от Amazon Bedrock для полной картины.
А что с кастомным мониторингом?
Они не заменят продвинутые системы вроде Prometheus и Grafana для локальных LLM-ферм. Но для 80% случаев CloudWatch теперь достаточно. Не нужно тянуть кастомные экспортеры и парсить логи – метрики уже там, с интеграцией в алерты и EventBridge.
Это также меняет разговор с бизнесом о квотах и стоимости. Раньше вы говорили: «Нам нужно больше GPU». Теперь можете сказать: «Компонент А использует 80% GPU, компонент B – 15%, мы можем консолидировать B на меньшем инстансе и сэкономить 30%». Финансовая аналитика для инфраструктуры AI становится реальностью.
Что делать прямо сейчас
1. Зайдите в консоль SageMaker, откройте мониторинг для любого эндпоинта с Inference Components. Новые метрики уже там.
2. Постройте простой дашборд, сравнивающий ContainerMemoryUtilization разных компонентов. Увидите дисбаланс сразу.
3. Настройте алерт на резкий рост ModelInvocationLatency для критичных моделей. Это быстрее, чем жалобы пользователей.
4. Пересмотрите ваши scaling policies. Возможно, теперь они могут быть более агрессивными для конкретных компонентов, а не для всего эндпоинта.
И последнее. Эта детализация – только начало. К 2027 году, я ставлю на то, что появятся метрики на уровне отдельных слоев нейросети или даже внимания (attention heads) в реальном времени. Пока же наслаждайтесь тем, что можете наконец-то видеть, куда уходят ваши деньги и почему inference иногда длится вечность. Это больше, чем апдейт – это смена парадигмы от «черного ящика» к прозрачности. И да, это сильно бесит тех, кто любит прятаться за неопределенностью.
