Запуск Autoresearch Karpathy на CPU: пошаговое руководство для любого компьютера

Вам не нужна RTX 5090, чтобы заставить ИИ проводить исследования. Совсем не нужна. Пока все бегут за видеокартами за $3000, вы можете запустить автономного исследовательского агента Андрея Карпати на стареньком ноутбуке - и это работает. Медленно? Да. Но работает.

Autoresearch - это эксперимент, где нейросеть сама улучшает сама себя. Не через тонкую настройку с человеческим надзором, а через автономное исследование пространства гиперпараметров. В теории это должно привести к лучшему val_bpb (validation bits per byte) - метрике качества языковых моделей. На практике это чертовски интересно наблюдать.

GPU дорогие. Очень дорогие. К марту 2026 года цены на карты с 24 ГБ памяти начинаются от $2000, если вы вообще найдете их в продаже. Autoresearch на CPU - способ заглянуть под капот автономных исследований ИИ, не продавая почку.

С момента первого релиза Autoresearch прошло достаточно времени. Основные изменения:

• Проект перешел на uv как стандартный менеджер зависимостей (это быстрее pip в разы)
• Добавлена поддержка PyTorch 2.4+ с улучшенной CPU-оптимизацией
• Появились предварительно обученные конфигурации для разных типов hardware
• Интеграция с WandB стала опциональной - можно работать полностью локально

Если вы раньше пробовали запускать Autoresearch и у вас не получилось - сейчас шансы выше. Инструменты стали удобнее.

Не начинайте с клонирования репозитория. Сначала проверьте систему. Самый частый провал - старая версия Python или отсутствие компилятора C++.

Uv - это не просто "еще один менеджер пакетов". К 2026 году он стал стандартом де-факто для Python-проектов в ML. Устанавливаем:

curl -LsSf https://astral.sh/uv/install.sh | sh

Или через pip, если хотите старомодно:

pip install uv

Проверяем установку:

uv --version
# Должно показать версию 0.4.x или новее

Идем на GitHub ищем "karpathy/autoresearch". Клонируем последнюю версию (на март 2026 это должен быть коммит не старше 2025 года):

git clone https://github.com/karpathy/autoresearch.git
cd autoresearch

Создаем виртуальное окружение и ставим зависимости через uv:

uv venv .venv
source .venv/bin/activate  # На Windows: .venv\Scripts\activate
uv sync

Команда uv sync загрузит все зависимости, указанные в pyproject.toml. Если вы ранее использовали requirements.txt - забудьте про него. Это 2026 год.

Вот где начинается магия. Исходный код Autoresearch ожидает GPU. Мы должны сказать ему: "Успокойся, все хорошо, работаем на процессоре".

Находим в коде все упоминания .cuda() или .to('cuda'). В основном это в файлах типа train.py или model.py. Заменяем на .cpu().

Создаем файл cpu_patch.py:

# cpu_patch.py
import torch

# Заменяем все вызовы .cuda() на .cpu()
def patch_for_cpu():
    # Эта функция должна быть адаптирована под конкретную версию autoresearch
    # В идеале - найти главный файл инициализации модели
    pass

# Альтернатива: использовать environment variable
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '-1'  # Отключаем CUDA

На самом деле, в последних версиях Autoresearch (конец 2025) уже есть флаг --device cpu. Проверьте аргументы командной строки:

python train.py --help | grep device

На CPU нельзя использовать большие batch size. Уменьшаем все размерности в 4-8 раз:

python train.py \
  --device cpu \
  --batch_size 4 \
  --learning_rate 1e-4 \
  --max_iters 1000 \
  --eval_interval 100 \
  --gradient_accumulation_steps 8

Параметр gradient_accumulation_steps критически важен. Он имитирует больший batch size, накапливая градиенты за несколько проходов. Без этого обучение на CPU будет нестабильным.

Первые 10-15 минут система будет "разминаться". Autoresearch начнет с базовой конфигурации, затем методом поиска (часто используется простой random search или байесовская оптимизация) начнет пробовать разные гиперпараметры.

Не ждите чудес. На CPU это больше образовательный эксперимент, чем практический инструмент. Но вы увидите, как работает автономное исследование - и это бесценно.

Autoresearch - не единственный проект в этой области. Но он самый "чистый" с точки зрения идеи. Другие варианты:

• AutoML frameworks (Google Cloud AutoML, H2O.ai) - платные, облачные, но работают из коробки
• NNI от Microsoft - более тяжелый, зато с поддержкой распределенных вычислений
• Ray Tune - если хотите построить свою систему автономного поиска

Проблема в том, что все эти системы тоже любят GPU. Autoresearch хотя бы можно "приручить" на CPU относительно просто.

Если интересна тема автономных исследований вообще, посмотрите статью про автономные исследования ИИ - там больше теории и контекста.

Не всем. Честно. Есть три категории людей, которым стоит попробовать:

1. Студенты и преподаватели - для понимания, как работает автоматический поиск гиперпараметров. Дешевле, чем арендовать GPU в облаке.
2. Энтузиасты с ограниченным бюджетом - у вас есть идея, но нет $5000 на железо. Запускаете на том, что есть.
3. Разработчики, тестирующие алгоритмы - хотите проверить логику Autoresearch перед запуском на серьезном hardware.

Если же вам нужно реальное улучшение модели для продакшена - копите на GPU или арендуйте в облаке. Или соберите систему, как в гайде про DeepSeek 671B за $2000.

• Не оставляйте на ночь без мониторинга. Autoresearch может съесть всю оперативку и зависнуть. Поставьте ограничение по памяти в Python.
• Сохраняйте логи каждой итерации. На CPU процесс медленный - потерять результаты из-за сбоя электричества обидно.
• Начните с tiny-версии датасета. Не пытайтесь сразу на полном Shakespeare. Возьмите 1% данных, убедитесь, что все работает.
• Используйте torch.set_num_threads(). Если у вас многоядерный процессор, ограничьте число потоков для PyTorch. Иногда меньше - быстрее.

Если у вас старый компьютер с малым количеством RAM, сначала посмотрите статью про запуск LLM на процессоре - там есть приемы работы с ограниченной памятью.