Гайд: как развернуть идеальную песочницу для ML-моделей с нуля

Почему ML-песочница — это не просто "ещё один сервер"

Каждый раз, когда Data Scientist приходит с новой моделью, начинается ад: "У меня на ноутбуке работало, а на сервере нет". Проблемы с версиями библиотек, конфликты зависимостей, отсутствие GPU-драйверов, разные версии Python — это лишь верхушка айсберга. Классическая песочница для разработки ПО здесь не работает, потому что ML-модели — это особый зверь.

Архитектура идеальной ML-песочницы

Прежде чем переходить к практике, давайте определимся с архитектурой. Идеальная песочница должна обеспечивать:

• Изоляцию — каждый проект в своей среде
• Воспроизводимость — возможность точно воссоздать среду
• Масштабируемость — от CPU на ноутбуке до GPU-кластера
• Мониторинг — отслеживание ресурсов и экспериментов
• Интеграцию — с системами версионирования и CI/CD

1 Подготовка инфраструктуры: выбираем железо правильно

Начнём с базовой инфраструктуры. Для локальной разработки подойдёт даже мощный ноутбук, но для командной работы лучше выделенный сервер.

# Проверяем наличие GPU (если нужен для обучения)
nvidia-smi

# Минимальные требования для песочницы:
# - 32GB RAM
# - 8 CPU cores
# - 500GB SSD
# - NVIDIA GPU с 8GB+ памяти (опционально, но желательно)

# Устанавливаем базовые утилиты
sudo apt update && sudo apt install -y \
    curl \
    wget \
    git \
    python3-pip \
    python3-venv \
    docker.io \
    docker-compose

2 Настройка Docker с поддержкой GPU

Без правильной настройки Docker ваши модели не увидят GPU, даже если он физически присутствует.

# Добавляем репозиторий NVIDIA
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

# Устанавливаем NVIDIA Container Toolkit
sudo apt update
sudo apt install -y nvidia-container-toolkit

# Конфигурируем Docker
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

# Проверяем, что GPU доступен в контейнерах
docker run --rm --gpus all nvidia/cuda:12.1.1-base-ubuntu22.04 nvidia-smi

3 Развертывание Kubernetes для оркестрации

Для песочницы не нужен production-grade кластер. Используем k3s — облегчённый дистрибутив Kubernetes.

# Устанавливаем k3s с поддержкой GPU
curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC="--docker" sh -

# Проверяем установку
sudo k3s kubectl get nodes

# Настраиваем доступ для текущего пользователя
mkdir -p ~/.kube
sudo cp /etc/rancher/k3s/k3s.yaml ~/.kube/config
sudo chown $USER:$USER ~/.kube/config
export KUBECONFIG=~/.kube/config

# Устанавливаем NVIDIA Device Plugin для доступа к GPU
kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.14.1/nvidia-device-plugin.yml

# Проверяем, что узлы видят GPU
kubectl get nodes -o json | jq '.items[].status.allocatable'

4 Создание базового Docker-образа для ML

Вместо того чтобы каждый раз устанавливать зависимости с нуля, создадим базовый образ с наиболее распространёнными библиотеками.

# Dockerfile.ml-base
FROM nvidia/cuda:12.1.1-runtime-ubuntu22.04

# Устанавливаем системные зависимости
RUN apt update && apt install -y \
    python3.10 \
    python3-pip \
    python3.10-venv \
    git \
    wget \
    curl \
    && rm -rf /var/lib/apt/lists/*

# Создаем виртуальное окружение
RUN python3.10 -m venv /opt/venv
ENV PATH="/opt/venv/bin:$PATH"

# Устанавливаем базовые Python-пакеты
COPY requirements-base.txt .
RUN pip install --no-cache-dir -r requirements-base.txt \
    && pip cache purge

# Устанавливаем Jupyter
RUN pip install jupyterlab ipykernel \
    && python -m ipykernel install --name=python3 --display-name="Python 3.10 (ML Base)"

WORKDIR /workspace
CMD ["jupyter", "lab", "--ip=0.0.0.0", "--port=8888", "--no-browser", "--allow-root"]

# requirements-base.txt
numpy==1.24.3
pandas==2.0.3
scikit-learn==1.3.0
matplotlib==3.7.2
seaborn==0.12.2
jupyterlab==4.0.7
ipython==8.14.0

# Фреймворки ML (устанавливайте по необходимости)
torch==2.1.0+cu121 --extra-index-url https://download.pytorch.org/whl/cu121
torchvision==0.16.0+cu121 --extra-index-url https://download.pytorch.org/whpytorch.org/whl/cu121
tensorflow==2.13.0
xgboost==1.7.6
lightgbm==4.0.0

# Для работы с LLM (опционально)
transformers==4.35.2
accelerate==0.25.0
bitsandbytes==0.41.3

# Собираем образ
docker build -f Dockerfile.ml-base -t ml-base:latest .

# Тестируем
docker run --rm -it --gpus all ml-base:latest python -c "import torch; print(torch.cuda.is_available())"

5 Развертывание JupyterHub для командной работы

JupyterHub позволяет нескольким Data Scientists работать в изолированных средах с общим доступом к ресурсам.

# jupyterhub-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: jupyterhub-config
  namespace: default
data:
  jupyterhub_config.py: |
    c.JupyterHub.spawner_class = 'kubespawner.KubeSpawner'
    c.KubeSpawner.image = 'ml-base:latest'
    c.KubeSpawner.cpu_limit = 4
    c.KubeSpawner.memory_limit = '8G'
    c.KubeSpawner.extra_resource_limits = {"nvidia.com/gpu": "1"}
    c.KubeSpawner.storage_pvc_ensure = True
    c.KubeSpawner.storage_capacity = '10Gi'
    c.KubeSpawner.volumes = [
        {
            'name': 'home-volume',
            'persistentVolumeClaim': {
                'claimName': 'jupyter-home-{username}'
            }
        }
    ]
    c.KubeSpawner.volume_mounts = [
        {
            'name': 'home-volume',
            'mountPath': '/home/jovyan'
        }
    ]
    c.Authenticator.admin_users = {'admin'}
    c.LocalAuthenticator.create_system_users = True

# Устанавливаем JupyterHub с Helm
helm repo add jupyterhub https://jupyterhub.github.io/helm-chart/
helm repo update

# Создаем namespace
kubectl create namespace jupyterhub

# Устанавливаем JupyterHub
helm upgrade --install jupyterhub jupyterhub/jupyterhub \
  --namespace jupyterhub \
  --version=3.0.0 \
  --values jupyterhub-config.yaml

# Получаем адрес для доступа
kubectl --namespace jupyterhub get svc proxy-public

6 Настройка MLflow для трекинга экспериментов

Без системы трекинга экспериментов вы быстро потеряетесь в сотнях моделей с разными гиперпараметрами. MLflow — стандарт де-факто.

# mlflow-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: mlflow
  namespace: mlops
spec:
  replicas: 1
  selector:
    matchLabels:
      app: mlflow
  template:
    metadata:
      labels:
        app: mlflow
    spec:
      containers:
      - name: mlflow
        image: ghcr.io/mlflow/mlflow:latest
        command: ["mlflow", "server"]
        args:
          - "--host"
          - "0.0.0.0"
          - "--port"
          - "5000"
          - "--backend-store-uri"
          - "sqlite:///mlflow.db"
          - "--default-artifact-root"
          - "s3://mlflow-artifacts/"
        ports:
        - containerPort: 5000
        env:
        - name: AWS_ACCESS_KEY_ID
          value: "minioadmin"
        - name: AWS_SECRET_ACCESS_KEY
          value: "minioadmin"
        - name: MLFLOW_S3_ENDPOINT_URL
          value: "http://minio:9000"
---
apiVersion: v1
kind: Service
metadata:
  name: mlflow
  namespace: mlops
spec:
  selector:
    app: mlflow
  ports:
  - port: 5000
    targetPort: 5000
  type: LoadBalancer

# Пример использования MLflow в коде
import mlflow
import mlflow.sklearn
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# Настраиваем подключение к MLflow серверу
mlflow.set_tracking_uri("http://mlflow.mlops.svc.cluster.local:5000")
mlflow.set_experiment("iris-classification")

# Загружаем данные
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(
    iris.data, iris.target, test_size=0.2, random_state=42
)

with mlflow.start_run():
    # Логируем параметры
    mlflow.log_param("n_estimators", 100)
    mlflow.log_param("max_depth", 10)
    
    # Обучаем модель
    model = RandomForestClassifier(n_estimators=100, max_depth=10)
    model.fit(X_train, y_train)
    
    # Оцениваем
    accuracy = model.score(X_test, y_test)
    
    # Логируем метрики
    mlflow.log_metric("accuracy", accuracy)
    
    # Сохраняем модель
    mlflow.sklearn.log_model(model, "random-forest-model")
    
    # Добавляем теги
    mlflow.set_tag("dataset", "iris")
    mlflow.set_tag("framework", "scikit-learn")

7 Настройка хранилища для данных и моделей

MinIO — S3-совместимое хранилище, идеально подходящее для песочницы. Храним датасеты, чекпоинты моделей и артефакты экспериментов.

# Устанавливаем MinIO с Helm
helm repo add minio https://charts.min.io/
helm repo update

# Создаем namespace для хранилища
kubectl create namespace storage

# Устанавливаем MinIO
helm install minio minio/minio \
  --namespace storage \
  --set resources.requests.memory=512Mi \
  --set persistence.size=100Gi \
  --set mode=standalone \
  --set rootUser=minioadmin \
  --set rootPassword=minioadmin

# Создаем bucket для ML артефактов
kubectl port-forward svc/minio 9000:9000 -n storage &

# В другом терминале
mc alias set minio http://localhost:9000 minioadmin minioadmin
mc mb minio/mlflow-artifacts
mc mb minio/datasets
mc mb minio/models

Типичные ошибки и как их избежать

Продвинутые сценарии использования

Когда базовая песочница настроена, можно переходить к более сложным сценариям:

1. Автоматическое масштабирование GPU — добавление узлов с GPU при высокой нагрузке
2. Предобученные модели как сервис — развертывание моделей через KServe или Seldon Core
3. ML pipelines — автоматизация цепочек преобразований данных и обучения
4. A/B тестирование моделей — плавный rollout новых версий моделей

Например, для создания финансового ИИ-трейдера, как в нашей статье "Создай своего финансового ИИ-трейдера на Python", вам понадобится не только песочница для обучения, но и инфраструктура для backtesting и live-торговли.

Мониторинг и оптимизация

Песочница — это живая система. Регулярно мониторьте:

• Использование GPU — утилизация и память
• Температуру — перегрев снижает производительность
• Стоимость облачных ресурсов — если используете cloud GPU
• Эффективность обучения — скорость сходимости моделей

# Утилиты для мониторинга
# GPU
nvidia-smi --query-gpu=utilization.gpu,memory.used,memory.total,temperature.gpu --format=csv -l 5

# Kubernetes ресурсы
kubectl top pods --all-namespaces
kubectl describe nodes | grep -A 10 "Allocated resources"

# Мониторинг MLflow экспериментов
# Установите MLflow UI и анализируйте метрики
mlflow ui --backend-store-uri sqlite:///mlflow.db --host 0.0.0.0

Заключение

Идеальная ML-песочница — это не просто набор инструментов, а целостная экосистема, которая растёт вместе с вашими потребностями. Начните с базовой настройки (Docker + Jupyter), затем добавьте оркестрацию (Kubernetes), систему экспериментов (MLflow) и хранилище (MinIO).

Помните: главная цель песочницы — ускорение экспериментов, а не создание ещё одной сложной системы для поддержки. Если ваша команда тратит больше времени на настройку инфраструктуры, чем на ML-эксперименты, что-то идёт не так.

Как показало исследование в статье "ИИ против «Сапера»", даже для относительно простых задач нужна хорошо настроенная среда для быстрого прототипирования и тестирования разных подходов.