Школа в коробке: как запустить образовательную LLM на одном сервере без облаков и GDPR

Образование vs облако: почему ваши студенты не должны быть тренировочными данными

Представьте: студент загружает в чат-бота домашнее задание по философии с личными размышлениями о смысле жизни. Через секунду этот текст уже летит через полмира в дата-центр OpenAI. Через месяц он может всплыть в тренировочном датасете. Через год — использоваться для fine-tuning модели, которая будет генерировать контент для конкурентов.

Это не паранойя. Это стандартная практика облачных провайдеров. И если в корпоративном мире с этим борются NDA и корпоративные тарифы, то в образовании — никто не борется. Потому что нет денег.

А теперь представьте другой сценарий: тот же студент, тот же вопрос. Но ответ генерируется на сервере в подвале вашего учебного заведения. Данные никуда не уходят. Модель адаптирована под вашу программу. И всё это стоит дешевле, чем годовая подписка на ChatGPT Enterprise для одного факультета.

Три причины, почему школы до сих пор боятся локальных моделей

1. «У нас нет дата-сатанистов» — системные администраторы в образовании обычно заняты Wi-Fi, принтерами и 1С. Им некогда разбираться с CUDA и трансформерами.
2. «Бюджет только на мел» — серьёзно, в некоторых школах до сих пор выдают бумагу по листам. О каком железе для AI может идти речь?
3. «А вдруг сломается?» — облачные сервисы работают всегда. А ваш сервер может лечь в самый неподходящий момент перед защитой дипломов.

Все эти страхи реальны. Но решаемы. И я покажу как.

Модель для бедных: почему Mistral 7B — идеальный кандидат

Забудьте про GPT-4, Claude 3 и другие монстры. Вам не нужна модель, которая может написать диссертацию по квантовой физике. Вам нужна модель, которая:

• Помогает с домашкой по математике
• Объясняет исторические события простым языком
• Проверяет грамматику в эссе
• Отвечает на вопросы по программе

Для этого хватит Mistral 7B. 7 миллиардов параметров — звучит много, но на деле это одна из самых компактных моделей, которая ещё сохраняет адекватность.

Почему не Llama 3.1 8B? Потому что Mistral лучше справляется с неанглийскими языками. А в русских школах это критично. Почему не TinyLlama? Потому что 1.1B параметров — это уже слишком мало для образовательных задач. Модель начнёт галлюцинировать на простых вопросах.

1 Шаг первый: железо, которое не разорит бюджет

Вот вам секрет: для образовательной платформы не нужны RTX 4090. Серьёзно. Я видел школы, которые пытались собрать ферму из четырёх карт, когда им хватило бы одной скромной RTX 3060.

Давайте посчитаем реалистичные сценарии:

Обратите внимание: я не предлагаю RTX 4090. Потому что 24 ГБ VRAM — это избыточно для Mistral 7B. Лучше взять две карты с 16 ГБ каждая — они дешевле и дают больше параллелизма.

Хотите подробностей про сборку? У меня есть отдельный гайд по железу за $15 000, но для школ это перебор. Берите идеи оттуда, но масштабируйте вниз.

2 Шаг второй: квантование — магия, которая всё меняет

Квантование — это когда вы берете модель с плавающей запятой (FP16) и превращаете её в модель с целыми числами (INT4). Результат: модель в 4 раза меньше, почти без потери качества.

Для Mistral 7B это выглядит так:

• FP16 (оригинал): 14 ГБ
• Q8_0 (квантование 8 бит): 7.5 ГБ
• Q4_K_M (квантование 4 бита): 4.5 ГБ
• Q2_K (квантование 2 бита): 2.5 ГБ — уже заметна деградация

В образовании я рекомендую Q4_K_M. Потери качества минимальны (модель иногда путается в сложных логических цепочках), но для объяснения учебного материала этого достаточно.

Как квантовать? Есть три пути:

# 1. Через llama.cpp (самый гибкий)
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
./quantize models/mistral-7b-v0.1.Q8_0.gguf models/mistral-7b-v0.1.Q4_K_M.gguf Q4_K_M

# 2. Через Ollama (самый простой)
ollama pull mistral:7b-q4_K_M
# Готово. Модель уже квантована и готова к работе

# 3. Через LM Studio (графический интерфейс)
# Открываете програмку, выбираете модель, жмёте "Quantize"
# Никакого терминала

Если вы никогда не работали с командной строкой — берите LM Studio. Если хотите больше контроля — llama.cpp. Если нужно быстро развернуть — Ollama.

3 Шаг третий: интеграция с образовательной платформой

Вот где начинается настоящая магия. У вас есть модель на сервере. Как подключить её к Moodle, Google Classroom или вашей самописной системе?

Сценарий 1: REST API через llama.cpp

# Запускаем сервер llama.cpp
./server -m models/mistral-7b-v0.1.Q4_K_M.gguf \
  -c 2048 \
  --host 0.0.0.0 \
  --port 8080 \
  -ngl 99  # Загружаем все слои в VRAM

Теперь ваш сервер слушает на порту 8080. Отправляете POST-запрос:

// Пример на JavaScript
const response = await fetch('http://ваш_сервер:8080/completion', {
  method: 'POST',
  headers: { 'Content-Type': 'application/json' },
  body: JSON.stringify({
    prompt: "Объясни теорию относительности простыми словами для школьника 9 класса",
    temperature: 0.7,
    max_tokens: 500
  })
});

Сценарий 2: Ollama как сервис

# Устанавливаем Ollama как системный сервис
sudo systemctl enable ollama
sudo systemctl start ollama

# Теперь Ollama работает в фоне и слушает порт 11434
curl http://localhost:11434/api/generate -d '{
  "model": "mistral:7b-q4_K_M",
  "prompt": "Что такое фотосинтез?",
  "stream": false
}'

Сценарий 3: Прямая интеграция через библиотеки Python

from llama_cpp import Llama

llm = Llama(
    model_path="models/mistral-7b-v0.1.Q4_K_M.gguf",
    n_ctx=2048,  # Длина контекста
    n_gpu_layers=99  # Все слои на GPU
)

response = llm(
    "Составь план урока по теме 'Великая Отечественная война'",
    max_tokens=1000,
    temperature=0.8
)
print(response['choices'][0]['text'])

Чего НЕ делать: три фатальные ошибки при развертывании

1. Не запускайте модель с контекстом в 8192 токенов — для образовательных задач хватит 2048. Каждый дополнительный токен контекста съедает память и замедляет инференс. Студенты не пишут романы в чат-бота.
2. Не ставьте temperature выше 0.8 — иначе модель начнёт креативить там, где нужны факты. Вместо объяснения закона Ома получите поэму про сопротивление души.
3. Не экономьте на оперативной памяти — если модель работает на CPU, выделите ей минимум 8 ГБ. Иначе система начнёт свопить на диск, и ответы будут приходить через минуту.

А если нужно больше, чем чат-бот?

Mistral 7B — хороша для базовых задач. Но что если нужна проверка кода, анализ научных статей или работа с Tool Calling?

Тогда смотрите в сторону CodeLlama 13B для программирования или моделей с поддержкой Tool Calling. Но помните: каждая дополнительная миллиард параметров — это +2 ГБ VRAM и +30% к стоимости железа.

Для большинства школ Mistral 7B — оптимальный выбор. Она:

• Поддерживает русский на приемлемом уровне
• Имеет открытую лицензию Apache 2.0
• Есть в готовых квантованных версиях
• Сообщество создало сотни адаптаций и лор

Бюджетный финал: что вы получите за $1000

Давайте посчитаем итоговую смету для школы на 500 студентов:

• Сервер: б/у рабочая станция HP Z440 — $300
• Видеокарта: новая RTX 3060 12GB — $250
• Оперативка: +32 ГБ DDR4 — $50
• SSD: 1 ТБ NVMe — $60
• Блок питания: 650W — $70
• Итого: $730

На этом железе будут работать:

• Чат-бот для ответов на вопросы (Mistral 7B Q4_K_M)
• Проверка грамматики в эссе
• Генерация тестовых заданий
• Персональные репетиторы по предметам

И всё это — без ежемесячной платы, без лимитов на запросы, без отправки данных в третьи страны.

Облачные провайдеры никогда не дадут вам такой возможности. Потому что ваши данные — это их золотая жила. А в локальном развертывании вы не клиент. Вы владелец.

Начните с малого. Поставьте Ollama на старый компьютер. Попробуйте задать пару вопросов по школьной программе. Когда увидите, что это работает — масштабируйте. Но главное — начните.

Потому что будущее образования не в подписках на зарубежные сервисы. Оно в серверах в школьных подвалах, которые работают на благо учеников, а не акционеров.