Как объединить 31 бесплатную модель NVIDIA NIM в один прокси с авто-маршрутизацией и обходом лимитов

Лимиты достали? Собираем армейский корпус из 31 бесплатной модели NVIDIA

Бесплатный сыр бывает и в мышеловке, и в облаке NVIDIA. Их NIM (NVIDIA Inference Microservices) предлагает кучу моделей в free tier — Llama 3.3 70B, Nemotron 4 340B, даже свежий Stable Diffusion 3.5. Но лимит в 5 запросов в минуту на модель превращает разработку в игру «успей до таймаута». А держать 31 эндпоинт в голове — это уже тест на память, а не на код.

Есть способ лучше. Забудьте про ручное переключение API-ключей. Можно собрать все 31 модель в один умный прокси, который сам решает, куда отправить запрос, переключается при ошибках и главное — обходит ограничения по частоте запросов. Звучит как магия? Это просто грамотная инженерия.

Что умеет этот франкенштейн-прокси

Вы подключаетесь к одному URL, как к обычному ChatGPT API. А система делает вот что:

• Автоматический выбор модели: Группируете модели по типам (кодогенерация, чат, изображения). Отправляете запрос в группу — прокси сам выбирает наименее загруженную.
• Фейловер на лету: Если одна модель уперлась в лимит или упала, запрос мгновенно переезжает к другой из той же группы. Пользователь видит лишь слегка возросшую задержку.
• Балансировка нагрузки: Можно настроить роутинг по наименьшей задержке или round-robin. Не нужно вручную считать запросы.
• Один API-ключ: Выдаете клиентам один ключ и один endpoint. А сами в фоне можете добавлять или убирать модели из пула без изменений на их стороне.

Почему не сделать это вручную? Давайте сравним

Альтернатива — писать свой менеджер подключений. Потратите день. Он будет хрупким. Забудете про обработку таймаутов. Забудете про кэширование эндпоинтов. Через месяц NVIDIA обновит API — и ваш костыль сломается.

Выходит, свой велосипед строить смысла нет. Разве что вы хотите потренироваться в обработке ошибок (спойлер: это быстро надоест).

Собираем конструктор: от конфига до первого запроса

Вся магия в файле config.yaml. Выглядит он внушительно, но по структуре простой.

1 Ставим LiteLLM

pip install 'litellm[proxy]' --upgrade
# Или через poetry, если вы не из каменного века
poetry add litellm[proxy]

Проверяем версию. На март 2026 актуальна litellm>=3.0, где переписали ядро роутинга для меньшей латентности.

2 Готовим конфиг для армии NVIDIA

Создаем файл nim_config.yaml. Суть: описываем каждую модель как отдельный «бэкенд» с ее уникальным URL от NVIDIA NIM и группируем их.

model_list:
  - model_name: nim-chat-group  # Виртуальное имя группы
    litellm_params:
      model: openai/custom
      api_base: "http://localhost:8080/v1"  # Прокси будет слушать здесь
      api_key: "your-single-key"
      routing_strategy: "cost-balancing"
      num_retries: 3
      all_available_models: true  # Ключевая настройка!
      litellm_callbacks: ["otel"]

litellm_settings:
  drop_params: true
  set_verbose: true

router_settings:
  redis_host: "localhost"
  redis_port: 6379  # Для кэширования состояний моделей

# А вот и пул реальных моделей NVIDIA
proxy_configs:
  - model_name: "meta/llama-3.3-70b-instruct"
    api_base: "https://integrate.api.nvidia.com/v1"
    api_key: "nvapi-your-key-1"
    tpm: 300  # Лимит в токенах в минуту (пример)
    rpm: 5
  - model_name: "nvidia/nemotron-4-340b-instruct"
    api_base: "https://integrate.api.nvidia.com/v1"
    api_key: "nvapi-your-key-1"
    tpm: 150
    rpm: 5
  # ... и так еще 29 строк для других моделей

# Группировка для автоматического роутинга
model_groups:
  chat:
    - "meta/llama-3.3-70b-instruct"
    - "nvidia/nemotron-4-340b-instruct"
    - "mistralai/mistral-large-2"
  code:
    - "nvidia/codegen-3.5-7b"
    - "deepseek/deepseek-coder-33b"
  image:
    - "stabilityai/stable-diffusion-3.5"
    - "black-forest-labs/flux-1.1-pro"

3 Запускаем прокси и тыкаем в него палкой

litellm --config ./nim_config.yaml --port 8080

Сервер поднялся. Теперь ваш клиентский код думает, что говорит с OpenAI.

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="your-single-key"
)

# Просим что-то у группы чат-моделей
response = client.chat.completions.create(
    model="chat",  # Указываем имя группы!
    messages=[{"role": "user", "content": "Объясни квантовую запутанность как для дилетанта"}]
)
print(response.choices[0].message.content)

Прокси получил запрос для модели chat. Заглянул в конфиг, увидел там три модели. Проверил, какая из них не исчерпала лимит RPM и отвечает быстрее. Отправил запрос туда. Не ответила за 30 секунд? Пробуем следующую. Все провалились? Вернет 529 ошибку — но это уже крайний случай.

Кому это реально нужно? Три типа пользователей

1. Разработчики пет-проектов на грани бюджета. У вас нет $500 в месяц на GPT-4o, но нужно много запросов к умным моделям. 31 модель — это огромный пул. Вы можете даже A/B тестировать ответы разных моделей, не усложняя клиентский код.

2. Небольшие стартапы в фазе MVP. Нужно показать инвесторам работающий продукт с AI, а траты на инфраструктуру минимизировать. Один прокси-сервер на дешевом VPS (даже без GPU, он же только маршрутизирует) и десятки бесплатных моделей на бэкенде. Если проект взлетит — потом легко заменить бэкенды на платные и мощные, например, развернув свои модели на бюджетном мульти-GPU сервере.

3. Исследователи и хакеры. Те, кто хочет одновременно гонять запросы к десяткам моделей для сравнения или сбора датасета. Вручную это ад. Через прокси — пишете один скрипт и указываете группу «all». Система сама распараллелит запросы по доступным эндпоинтам, соблюдая лимиты.

А если хочется больше мощности и контроля?

Бесплатные облачные модели — это старт. Когда задачи становятся серьезнее (низкая задержка, конфиденциальность данных, кастомные модификации), вы упретесь в потолок. Тогда стоит смотреть на локальное железо.

Например, запуск больших моделей вроде Qwen 122B требует уже нескольких мощных GPU. Тут пригодятся знания по настройке NVLink для двух RTX 3090 или даже гибридных связок из разных GPU. А для продакшена, где важна отказоустойчивость, можно задуматься о разделении одной GPU на несколько изолированных инстансов.

Но это уже другой уровень затрат и сложности. Прокси для бесплатных моделей — идеальный трамплин, чтобы понять, какие именно возможности AI нужны вашему продукту, без лишних счетов.

Итог простой. Вместо того чтобы бороться с лимитами каждого эндпоинта по отдельности, объедините их в систему. Один прокси на LiteLLM, грамотный конфиг — и у вас suddenly появляется собственный «супер-агент» с доступом к десяткам моделей. Бесплатно. Пока они это позволяют.

Подписаться на канал