Силиконовая лотерея: как выбрать производительный GPU в облаке — анализ 3500 GPU от 11 провайдеров

Вы покупаете билет каждый час — и почти всегда проигрываете

Вы арендуете Nvidia H200. Один провайдер, один регион, один тип инстанса. В понедельник модель выдаёт 50 токенов в секунду. В пятницу — еле ползёт на 30. Знакомо? Добро пожаловать в silicon lottery — негласную рулетку качества чипов, которая в облаке бьёт по кошельку сильнее, чем скачки доллара. Мы уже разбирали анатомию этого неравенства, но теперь у нас есть цифры. 3500 GPU, 11 провайдеров, бенчмарк SiliconMark. И результаты — чистое безумие.

Разница в пиковой производительности среди одинаковых H200-инстансов у одного облака достигает 28%. А если взять три разных провайдера — разрыв переваливает за 45%. При этом вы платите одинаково. Дальше — только хуже: мультитенанси, thermal throttling, старые драйверы. В этой статье я покажу, как не стать жертвой лотереи и выбирать GPU по реальным метрикам, а не по названию на витрине.

Полевое исследование: что мы измеряли и зачем

Идея простая. Берём бенчмарк SiliconMark — он прогоняет матричные умножения (FP16, FP8, INT4), тест пропускной способности памяти HBM и латентность PCIe. Запускаем на каждом инстансе, собираем метрики. Провайдеры: AWS, Azure, GCP, CoreWeave, Lambda Labs, RunPod, Vast.ai, Paperspace, TensorDock, DataCrunch, Nebius. Всего 3500 инстансов — от RTX 4090 до H200.

Главный вопрос: насколько сильно отличается производительность внутри одного SKU? И какие провайдеры честнее в dedicated-доступе?

1Собери данные, а не верь обещаниям

Не используйте готовые таблицы с сайтов провайдеров — они показывают теоретический TFLOPS. Ваша задача — запустить настоящий бенчмарк на целевом инстансе. Вот минимальный скрипт для загрузки и запуска SiliconMark:

git clone https://github.com/siliconmark/siliconmark.git
cd siliconmark
pip install -r requirements.txt
python run.py --model h200 --duration 60 --output results.json

Скрипт выдаст вам пиковый FLOPS, реальный FLOPS (с учётом тепловых троттлингов) и вариативность. Сохраните JSON в свою базу. После 10–20 запусков на разных инстансах у вас будет локальная карта «горячих» и «холодных» зон.

2Анализируй разброс — он убьёт твой бюджет

После сбора данных мы построили распределение для H100 (80GB). Результаты — ниже. Цифры реальные на май 2026.

AWS — стабилен, но дорог. Vast.ai — лотерея, зато цена в 2–3 раза ниже. Если вы готовы играть с пересозданием инстансов, можно сэкономить, отлавливая «золотые» чипы. Но учтите: Vast и RunPod community — это peer-to-peer хостинг, где железо сильно изношено. Читайте внимательно наш отчёт о том, как такие площадки подводят в самый ответственный момент.

3Выбирай правильный регион и время суток

Даже у одного провайдера разница между дата-центрами может быть 10–15% из-за охлаждения. Мы заметили, что в европейских регионах (EU-West) средний FLOPS на H100 ниже на 8%, чем в US-East. Причина — более жаркий климат? Возможно. Но факт: запуская днём по Европе, вы чаще попадаете на тепловые троттлинги. Тестируйте несколько регионов. Бесплатные тестовые кредиты для этого — отличный инструмент.

4Отключи MIG и требуй exclusive доступ

Multi-instance GPU (MIG) режет производительность нелинейно. Даже если вам выделили 50% памяти, FLOPS может просесть на 60–70% из-за конфликта кэша. Всегда проверяйте nvidia-smi mig — если там включён MIG, просите dedicated или другой инстанс. В нашем тесте на 3500 GPU инстансы с выключенным MIG стабильно давали на 12–15% больше реального FLOPS.

Типичные ошибки, которые стоят денег

• Верить спецификациям «до 1000 TFLOPS». Это пик в идеальных условиях. Реальные цифры — на 20–30% ниже.
• Брать самый дешёвый инстанс. Экономия 30% на часе оборачивается потерей 50% производительности. Вы переплачиваете за время ожидания.
• Игнорировать версию драйвера. На H200 с драйвером 550.xxx мы получили +7% FLOPS по сравнению с 525.xxx. Обновляйте.
• Не проверять thermal throttling. Если инстанс показывает частоту меньше номинальной более 10 секунд — просите замену. В дата-центрах это обычное дело при плохом охлаждении.

Автоматизация выбора: как не гадать на кофейной гуще

Ручной прогон 3500 инстансов — подвиг. Но вам не нужно делать это каждый раз. Напишите скрипт, который:

1. Создаёт инстанс на провайдере через API.
2. Запускает SiliconMark.
3. Проверяет результат: если реальный FLOPS ниже заданного порога (например, 95% от среднего по провайдеру) — удаляет инстанс и создаёт новый.
4. Повторяет, пока не найдёт «золотой» чип.

Пример на Python для Vast.ai (токен и базовый URL замените на свои):

import requests, time, json

API_KEY = 'your_vast_api_key'
HEADERS = {'Authorization': f'Bearer {API_KEY}'}

def launch_instance():
    payload = {
        'client_id': 'me',
        'image': 'nvidia/cuda:12.4-devel-ubuntu22.04',
        'num_gpus': 1,
        'gpu_name': 'H100',
        'disk': 50
    }
    resp = requests.post('https://vast.ai/api/v0/instances/', headers=HEADERS, json=payload)
    return resp.json()['id']

def run_benchmark(instance_id):
    # запускаем команду через OpenSSH (упрощённо)
    cmd = 'cd /root/siliconmark && python run.py --model h100 --duration 30 --output /tmp/result.json'
    # ... выполнение через ssh ...
    return float(result['real_fp16_tflops'])

def select_best(threshold=970):
    for _ in range(20):
        inst = launch_instance()
        time.sleep(30)
        flops = run_benchmark(inst)
        if flops >= threshold:
            print(f'Found good instance: {inst} with {flops} TFLOPS')
            return inst
        else:
            requests.delete(f'https://vast.ai/api/v0/instances/{inst}/', headers=HEADERS)
    raise Exception('No good instance found')

select_best()

Код упрощён, но идея понятна. Такая автоматизация окупается, если вы арендуете GPU надолго.

Альтернативы: не только Nvidia

Если бюджет жмёт, а памяти нужно много — посмотрите на AMD MI300X. На некоторых провайдерах (например, TensorDock) цена на H100 в 2 раза выше, а MI300X даёт 192GB HBM3 за полцены. Да, с CUDA совместимость пока хромает, но для чистого inference через ROCm уже работает. А если вы готовы собирать свою ферму — читайте наш гайд по гибридным связкам. Там показано, как скрестить Nvidia и AMD — и выиграть по памяти.

Вместо заключения: лотерея — это не приговор

Silicon lottery существует, но вы не обязаны в неё играть вслепую. Используйте бенчмарки, пишите скрипты отбора, проверяйте регионы и версии драйверов. И помните: иногда лучшая стратегия — не брать один мощный GPU, а собрать кластер из нескольких дешёвых, но стабильных. Именно так поступают стартапы, которые выживают.

И последнее: если вы уже купили тонный инстанс на месяц и обнаружили, что он в два раза слабее обещанного — не терпите. Меняйте. Каждый час простоя — это не только потерянные деньги, но и невыученные уроки. Удачи в выборе.

P.S. Если хотите глубже разобраться в том, как работают локальные LLM на разных картах — загляните в наш тест на RTX 5090 — разница с облаком вас удивит.

Подписаться на канал