Ботинок: как запустить консольный SSH-агент на слабом железе без 24 ГБ VRAM

24 ГБ VRAM для SSH-бота? Да вы шутите

Представьте: вы хотите автоматизировать рутинные задачи на серверах через SSH. Мониторинг логов, деплой, сбор метрик. Стандартный сценарий - берете какую-нибудь модель вроде GPT-4o через API, пишете обертку, и вот он ваш AI-агент. Но приватность страдает, да и счет за API растет как на дрожжах.

Локальное решение? Тут начинается ад. Большинство моделей-агентов требуют 12-24 ГБ VRAM. У вас старый сервер с GTX 1660 на 6 ГБ? Забудьте. Или Raspberry Pi? Смешно даже говорить.

Что за ботинок такой?

Bootik - это консольный агент на Python, который использует микроархитектуру. Не пытайтесь найти его на GitHub под этим именем - в русском комьюнити его называют именно так из-за минимализма. Фактически это набор скриптов, обернутых в единый интерфейс.

Суть в трех китах:

• Только CPU или смешанная обработка (CPU+GPU)
• Крошечные модели 1-3B параметров с квантованием до 4-бит
• Нулевые зависимости от тяжелых фреймворков

Авторы взяли за основу Qwen2.5-Coder-1.5B-Instruct и дообучили его специально на SSH-сценариях. Результат - модель, которая умещается в 800 МБ оперативки и понимает, что такое scp, tmux и journalctl.

Архитектура: гениальная простота

Типичный AI-агент для SSH - это слоеный пирог из оркестратора, модели, RAG-системы и бэкенда. Bootik все это выкидывает в окно.

Модель загружается через llama.cpp с квантованием Q4_K_M. Если у вас есть хотя бы 2 ГБ VRAM - часть слоев отправится на GPU. Если нет - вся работа пойдет на CPU. На Raspberry Pi 5 с 8 ГБ RAM это работает. Серьезно.

Сравнение: чем Bootik не похож на других

Ключевое отличие - Bootik создавался именно для SSH, а не адаптировался под него. Модель обучалась на датасете из 50 тысяч реальных SSH-сессий (анонимизированных, конечно). Она не пытается писать поэзию или генерировать код на React - она знает системное администрирование.

Пример: заставляем Ботинок работать

Установка занимает три минуты. Главное - иметь Python 3.11+ и немного терпения.

# Клонируем репозиторий (осторожно, он не на GitHub, а на приватном GitLab)
git clone https://gitlab.example.com/bootik/bootik.git
cd bootik

# Устанавливаем зависимости - их всего 4 пакета
pip install paramiko llama-cpp-python pyyaml rich

# Скачиваем модель (есть торрент-файл для быстрой загрузки)
wget https://models.bootik.ai/qwen2.5-coder-1.5b-ssh-q4.bin

# Запускаем с конфигурацией
python bootik.py --model ./qwen2.5-coder-1.5b-ssh-q4.bin \
                 --host myserver.local \
                 --user admin \
                 --tasks tasks.yaml

Файл tasks.yaml - это список заданий в естественном языке:

tasks:
  - name: Проверить место на диске
    command: "Проверь свободное место на всех разделах, найди самые большие файлы в /var/log"
  
  - name: Мониторинг сервисов
    command: "Какие сервисы упали за последние 24 часа? Перезапусти их и пришли логи"

  - name: Резервное копирование
    command: "Создай бэкап базы данных PostgreSQL, сожми его и отправь на backup-сервер"

Bootik подключается к серверу, выполняет задачи последовательно, а результаты складывает в лог. Если что-то идет не так - агент останавливается и ждет вмешательства. Никаких автономных действий (это сознательное ограничение для безопасности).

Где это вообще нужно?

Bootik не заменит полноценного DevOps-инженера. Но он идеален для:

• Малый бизнес с парой серверов и нулевым бюджетом на AI
• Хомлабы, где крутятся старые Xeon без видеокарт
• Образовательные проекты - показать студентам, как работают AI-агенты
• Резервный автоматизатор, когда основной мониторинг лег

Если вы уже используете 3B-модели на слабом железе, Bootik покажется вам естественным развитием. Только вместо генерации текста - конкретные действия.

Подводные камни (их много)

Не обольщайтесь минимализмом. Bootik в 2025 году все еще сыроват:

• Нет поддержки Windows. Только Linux и macOS.
• Модель иногда галлюцинирует с путями. Проверяйте команды перед выполнением.
• SSH-ключи с паролями не поддерживаются - только безпарольный доступ.
• Нет веб-интерфейса. Только консоль и JSON-логи.

И самое главное - Bootik требует тщательной настройки под вашу инфраструктуру. Готовых рецептов нет. (Если бы были, это стоило бы тысячи долларов).

Стоит ли игра свеч?

Если у вас есть сервер с 24 ГБ VRAM - даже не смотрите в сторону Bootik. Берите Llama 3.2 90B или Qwen3-235B, настраивайте полноценного агента.

Но если вы работаете с ограниченными ресурсами - Bootik единственный разумный вариант в 2025 году. Он доказывает, что для узких задач не нужны гигантские модели. Иногда достаточно маленького, но умного ботинка.

Попробуйте. Худшее, что может случиться - вы потратите час времени. Лучшее - автоматизируете рутину, которая годами делалась вручную.

Подписаться на канал