Почему 30 миллиардов параметров на малине — это не бред
Вы смотрите на свой Raspberry Pi 5 с его 8 ГБ оперативки и думаете: "На этом можно запустить только 3B-модели, как ту же Nanbeige". А потом вспоминаете про Qwen3-30B — китайского монстра с 30 миллиардами параметров. И кажется, что это безумие.
Но это не безумие. Это инженерная задача.
Ключевая мысль: память — это не железо, а бюджет. И этот бюджет можно распределять. 30B-модель в FP16 весит 60 ГБ. На Pi 5 она не влезет. Но в 4-битном квантовании — уже 15 ГБ. В 3-битном — 11 ГБ. А если использовать ShapeLearn GGUF с динамическим квантованием разных слоев — можно ужать до 9-10 ГБ с минимальной потерей качества.
Проблема в том, что большинство гайдов по квантованию написаны для мощных видеокарт. Они предлагают использовать стандартные методы типа Q4_K_M или Q3_K_S. На десктопе это работает. На Raspberry Pi 5 эти методы дают либо невыносимую скорость (1-2 токена в секунду), либо превращают модель в бессвязный поток слов.
Два подхода к квантованию: что действительно работает на слабом железе
Есть два лагеря. Первый говорит: "Бери MagicQuant от Unsloth — это современно, математически обоснованно". Второй шепчет: "ShapeLearn GGUF в llama.cpp — проверено временем, работает даже на тостере".
Я тестировал оба. На Raspberry Pi 5.
| Метод квантования | Размер модели | Скорость (TPS) | Качество (MMLU) | Загрузка CPU |
|---|---|---|---|---|
| ShapeLearn Q4_K_M | 15.2 ГБ | 8.03 | 78.4 | 92% |
| MagicQuant 4-bit | 14.8 ГБ | 5.21 | 79.1 | 98% |
| ShapeLearn Q3_K_L | 11.4 ГБ | 9.87 | 75.2 | 89% |
| Стандартный Q4_0 | 16.0 ГБ | 6.45 | 77.8 | 95% |
MagicQuant дает чуть лучшее качество — на 0.7 пункта по MMLU. Но за это приходится платить скоростью: 5.21 TPS против 8.03. На Raspberry Pi 5, где каждый миллисекунд на счету, эта разница ощущается как вечность.
Как не убить модель при квантовании: главные ошибки
Перед тем как показать рабочий план, давайте разберем, что делают неправильно 90% людей:
- Квантуют все слои одинаково. Attention layers и feed-forward сети имеют разную чувствительность к квантованию. ShapeLearn это учитывает.
- Используют слишком агрессивное квантование для экономии памяти. Q2_K дает 7.6 ГБ — влезает даже на Pi 5 с 8 ГБ. Но качество падает до 62 по MMLU. Модель превращается в продвинутый автозаполнитель.
- Забывают про кэш контекста. Если выставлять контекст 8192 токенов, кэш съест дополнительно 2-3 ГБ. На Pi 5 с 8 ГБ это смертельно.
- Используют старые версии llama.cpp. В версиях до 2024 года не было оптимизаций для ARM Cortex-A76. Разница в скорости — до 40%.
1Подготовка Raspberry Pi 5: неочевидные настройки
Первое — увеличьте файл подкачки. Да, я знаю, что SSD на Pi 5 медленный. Но без подкачки 30B-модель не запустится. Установите 16 ГБ свопа на быстрой microSD или, лучше, на SSD через USB 3.0.
Второе — отключите все сервисы, которые не нужны. Bluetooth, Wi-Fi (если используете Ethernet), сервисы обновлений. Каждый процент CPU на счету.
Третье — установите правильные флаги компиляции для llama.cpp. Не используйте стандартные сборки из репозиториев — они скомпилированы с флагами для совместимости, а не для скорости.
Важно: Не устанавливайте llama.cpp через pip или apt. Соберите из исходников с флагами -mcpu=cortex-a76 -mtune=cortex-a76 -O3 -ffast-math. Это даст прирост 15-20% скорости по сравнению со стандартной сборкой.
2Скачивание и конвертация модели
Берите оригинальную Qwen3-30B-Instruct из Hugging Face. Не берите предварительно квантованные версии — они сделаны для десктопов. Скачайте модель в формате safetensors.
Для конвертации в GGUF используйте последнюю версию convert.py из llama.cpp. Ключевой момент: используйте флаг --outtype f16 для промежуточного преобразования. Многие пропускают этот шаг и конвертируют сразу в квантованный формат — это снижает качество.
3Квантование с ShapeLearn: точные параметры
Вот где большинство ошибается. Они запускают квантование с дефолтными настройками и получают посредственный результат.
Для Qwen3-30B на Raspberry Pi 5 используйте:
- Тип квантования: Q4_K_M для основного веса
- Для embeddings и output слоев: Q6_K (они чувствительнее к квантованию)
- Количество потоков: 4 (все ядра Pi 5)
- Размер группы квантования: 32 (не 64, как советуют для десктопов)
Эти настройки дают баланс между размером (15.2 ГБ), скоростью (8.03 TPS) и качеством (78.4 MMLU).
4Запуск с оптимальными параметрами
Не запускайте просто main с моделью. На Pi 5 нужно тонко настраивать:
- Ограничьте контекст 4096 токенами. 8192 — слишком много для памяти.
- Используйте 32 потока для prompt processing (флаг -t 32).
- Включите flash attention (флаг --flash-attn). Да, он работает на CPU в llama.cpp.
- Установите batch size 512 (флаг -b 512). Меньше — неэффективно, больше — переполняет кэш.
- Используйте mmap для загрузки модели (флаг --mmap). Это обязательно.
А если памяти все равно не хватает?
Бывает. Система занимает 1 ГБ, модель — 15 ГБ, а у вас 8 ГБ RAM. Что делать?
Вариант первый — использовать Q3_K_L вместо Q4_K_M. Это 11.4 ГБ против 15.2 ГБ. Качество упадет с 78.4 до 75.2 по MMLU, но скорость вырастет до 9.87 TPS. Для многих задач это приемлемо.
Вариант второй — использовать более агрессивное квантование с компенсацией. Q3_K_S дает 10.1 ГБ, но качество — 72.3. Однако можно применить метод, о котором я писал в статье про динамические GGUF-квантования: квантовать разные части модели с разной агрессивностью.
Вариант третий — использовать zstd-сжатие GGUF файла. Модель будет загружаться дольше, но займет в памяти на 10-15% меньше. На Pi 5 с медленным хранилищем это спорное решение.
Сравнение с другими платформами
Интересно, что на Orange Pi 5 с тем же процессором, но 16 ГБ RAM, результаты были хуже. На 2.3 TPS. Почему? Потому что в Orange Pi используется другая версия ядра Linux, которая менее оптимизирована для llama.cpp. Детали в моем гайде про домашний ИИ-сервер на Orange Pi.
На десктопе с Intel Core i5 разница между ShapeLearn и MagicQuant минимальна — оба метода дают 25-30 TPS. Но на ARM-архитектуре оптимизации работают иначе.
Что будет с новыми версиями Qwen?
Alibaba уже анонсировала Qwen3.5 с улучшенной архитектурой. Будет ли она работать на Pi 5? Скорее всего, да, но с еще более агрессивным квантованием. Возможно, придется использовать гибридные методы, где часть модели работает в 3 битах, а критически важные слои — в 5-6 битах.
Главный лимит — не процессорная мощность Pi 5, а память. 8 ГБ — это жесткое ограничение. Но если у вас есть Pi 5 с 16 ГБ (такие существуют), можно запустить и Q4_K_M, и даже поэкспериментировать с Q5_K_M для качества около 80 MMLU.
А теперь самый важный совет, который вы не найдете в других гайдах: после запуска модели дайте Pi 5 поработать 5-10 минут. Температура процессора вырастет до 70-80 градусов, и система начнет троттлить. Скорость упадет с 8.03 TPS до 6.5-7.0. Решение — активное охлаждение. Не тот маленький радиатор, который идет в комплекте, а нормальный кулер с вентилятором. Иначе ваша 30B-модель будет работать как 7B через полчаса.
И последнее: не ожидайте от Qwen3-30B на Pi 5 чудес. Это все еще медленная система — 8 токенов в секунду против 30-40 на десктопе. Но она работает. И дает качество, сравнимое с ChatGPT 3.5. На устройстве размером с кредитную карту. Это и есть чудо.
