Открываешь Hugging Face, ищешь Qwen3.5-27B-GGUF, а там – десятки файлов. Q4_0, Q4_K_M, Q4_K_S, Q4_K_XL, IQ4_XS, еще какие-то UD-Q4_K_XL от Unsloth. Глаза разбегаются. Скачиваешь наугад, запускаешь – а модель мычит какую-то абракадабру. Знакомо?
Проблема не в том, что квантование плохое. Проблема в том, что ты выбрал не то квантование. Или выбрал его для не той задачи. Я потратил неделю, прогнал все популярные Q4 квантования Qwen3.5-27B через KL Divergence (KLD) и Perplexity (PPL) тесты, и сейчас расскажу, что из этого получилось. Цель – один раз понять и больше никогда не гадать.
Зачем все это? KLD против PPL
Большинство смотрит только на Perplexity (PPL) – метрику "степени удивления" модели. Чем ниже, тем лучше. Логично? Не совсем.
PPL показывает, насколько хорошо модель предсказывает следующий токен на валидационном датасете (типа wikitext). Но она ничего не говорит о том, насколько распределение вероятностей квантованной модели отличается от оригинальной FP16. А это критично для рассуждений, креативности, следования инструкциям.
Вот тут и выходит KL Divergence (KLD). Грубо говоря, это мера "потери информации" при квантовании. KLD близко к нулю? Отлично, квантованная модель думает почти как оригинальная. KLD большое? Жди сюрпризов в виде логических ошибок или творческого кризиса.
Поэтому идеальный выбор – баланс: достаточно низкий PPL (высокое общее качество) и минимально возможный KLD (максимальное сохранение "мышления" исходной модели).
Испытательная площадка: что и как мерили
Все тесты проведены 04.03.2026. Использовалось:
- Модель: Qwen3.5-27B (базовая, не инструктная). Актуальная на этот момент.
- Инструмент:
llama.cppверсии b4230 (последняя стабильная на март 2026). Именно она поддерживает все современные квантования, включая IQ*. - Датасет: wikitext-2-raw-v1 (стандарт для PPL).
- Метрика KLD: считалась встроенными средствами
llama.cppпри помощи флага--kl-divergence. - Железо: Система с RTX A6000 48GB, чтобы все помещалось в память без свопа.
Цифры не врут: таблица сравнения
Вот ради чего все затевалось. Сводная таблица по всем основным Q4 квантованиям, доступным на 04.03.2026.
| Метод квантования | Размер файла (GB) | PPL (wikitext) ↓ | KLD ↓ | Ключевая особенность |
|---|---|---|---|---|
| Q4_0 | ~15.7 | 5.82 | 0.418 | Базовый, старый, быстрый. Но качество так себе. |
| Q4_K_S | ~15.9 | 5.41 | 0.281 | "Умное" квантование, малый прирост размера – большой прирост качества. |
| Q4_K_M (стандарт) | ~17.2 | 5.33 | 0.195 | Баланс по умолчанию. Часто самый разумный выбор. |
| IQ4_XS (новая) | ~15.5 | 5.59 | 0.305 | Экспериментальное, очень плотное. PPL проседает, KLD высокое. |
| IQ4_XL | ~17.0 | 5.29 | 0.172 | Почти догнал Q4_K_XL по качеству при меньшем размере. Перспективно. |
| Q4_K_XL | ~18.6 | 5.25 | 0.161 | Король качества среди обычных Q4. Но и король размера. |
| UD-Q4_K_XL (Unsloth) | ~18.6 | 5.23 | 0.158 | Динамическое квантование от Unsloth. Лучшие PPL и KLD в таблице. |
Смотри на две колонки: PPL и KLD. Видишь, как Q4_0 отстает по всем фронтам? Он просто устарел. Q4_K_S – отличный компромисс, если каждый гигабайт на счету (например, для запуска на ноутбуке с 16GB RAM).
А теперь главный инсайт: разница между Q4_K_M и Q4_K_XL в PPL всего 0.08. Почти ничего. Но в KLD – 0.034. Это уже заметнее. На практике это может вылиться в то, что XL-версия чуть лучше справляется со сложными цепочками рассуждений.
Не гонись за самым низким PPL любой ценой. Для большинства практических задач – чат, генерация кода, суммаризация – разницы между Q4_K_M и Q4_K_XL ты не заметишь. А вот 1.5 лишних гигабайта на диске – заметишь. Особенно если хранишь десяток моделей.
Какой файл качать? Сценарии и рекомендации
Теперь переведем цифры в действия.
1Сценарий: "У меня мало памяти/ноутбук"
Выбор: Q4_K_S или IQ4_XS (если готов к экспериментам).
Бери Q4_K_S. Он надежнее, лучше изучен и дает огромный прирост качества по сравнению с Q4_0 почти за те же деньги (гигабайты). IQ4_XS выглядит заманчиво по размеру, но высокий KLD – это риск. Если модель нужна для простых задач (классификация текста, простой чат), можно попробовать. Для сложной логики – нет.
2Сценарий: "Универсальный солдат" (рекомендация по умолчанию)
Выбор: Q4_K_M.
Серьезно, просто скачай Q4_K_M. Это золотая середина 2026 года. Отличный баланс размера (17GB), качества (PPL 5.33) и сохранения "интеллекта" модели (KLD 0.195). 95% пользователей должны остановиться здесь. Всякие IQ4_XL, возможно, чуть лучше, но они пока менее распространены, и не каждый инструмент их идеально поддерживает.
3Сценарий: "Максимальное качество, память и место не ограничены"
Выбор: UD-Q4_K_XL от Unsloth.
Динамические квантования от Unsloth, как и в случае с Qwen3.5-35B-A3B, показывают себя великолепно. Если нашел такой файл для Qwen3.5-27B – бери. Не нашел – бери обычный Q4_K_XL. Разница между ними минимальна, но есть.
4Сценарий: "Хочу быть на острие, мне не страшно"
Выбор: IQ4_XL.
Новое семейство квантований IQ* в llama.cpp (о них мы уже писали) обещает лучшее качество при том же размере. IQ4_XL по нашим тестам – почти клон Q4_K_XL по PPL/KLD, но на 1.5GB меньше. Если твой клиент (Ollama, LM Studio, текстовое UI) поддерживает IQ-форматы – стоит попробовать. Это может стать новым стандартом.
Как НЕ надо выбирать квантование: три роковые ошибки
Перед тем как ты побежишь качать, давай закрепим. Вот что делают все, и это неправильно.
- Ошибка 1: Скачать самый маленький файл (Q4_0 или Q2_K). Экономишь 3-5 гигабайт, но получаешь модель, которая забыла половину того, что знала. Особенно критично для небольших моделей вроде 7B, где каждый параметр на счету. Для 27B последствия чуть мягче, но все равно болезненны.
- Ошибка 2: Игнорировать KLD, гнаться только за PPL. Смотришь, у Q4_K_XL PPL 5.25, а у Q4_K_M – 5.33. Разница 0.08. Решаешь, что она ничтожна, и берешь K_M. В целом верно. Но если бы ты посмотрел на KLD, то увидел бы, что разница там больше (0.195 против 0.161). Для задач, требующих точного воспроизведения логики оригинальной модели (научные расчеты, сложный код), эта разница может быть важна.
- Ошибка 3: Не проверять источник. Скачал с левого сайта файл с красивым названием Q4_K_XL – а внутри криво сконвертированное Q4_0. Всегда бери модели с официальных страниц на Hugging Face или от проверенных создателей вроде TheBloke, Unsloth или Bartowski. Их квантования, как правило, сделаны по всем правилам. Подробнее о том, почему вообще разные квантования весят почти одинаково, читай в отдельном материале.
Ответы на острые вопросы (FAQ)
| Вопрос | Короткий ответ | Подробнее |
|---|---|---|
| А что насчет Q5 или Q6? Они же лучше? | Да, но не пропорционально размеру. | Q5_K_M на 20% больше Q4_K_M, а прирост в PPL/KLD – всего 5-8%. Закон убывающей отдачи. Q4 – оптимальная точка. |
| Почему не рассмотрел Q3_K_M? | Это уже другая лига. | Q3 дает больше сжатия, но и большие потери. Если уж сильно жмет по памяти, лучше взять модель поменьше (например, 14B) в Q4, чем 27B в Q3. Сравнение Q3 квантований для другой модели показывает схожую картину. |
| А GPTQ или AWQ вместо GGUF? | Для GPU часто быстрее. | Но экосистема GGUF/llama.cpp универсальнее (CPU/GPU). Если работаешь исключительно на видеокарте Nvidia, можешь посмотреть на GPTQ. Полный гайд по сравнению форматов поможет разобраться. |
| Можно ли самому сделать такое квантование? | Конечно. | Используй llama.cpp или удобные GUI вроде GGUF Tool Suite Web UI. Но готовые файлы от профессионалов почти всегда будут качественнее – они делают это на потоке. |
И последнее. Не зацикливайся на этом выборе. Скачай Q4_K_M, попробуй. Если модель на твоих задачах работает идеально – все, точка. Если видишь, что она "тупит" в логике, и у тебя есть запас памяти, тогда уже качай Q4_K_XL или UD-Q4_K_XL и сравнивай. В 90% случаев разницы не будет. Твоя задача – не найти идеал, а найти достаточно хороший вариант и начать им пользоваться.
Индустрия не стоит на месте. К концу 2026 года, возможно, появятся новые форматы, которые сделают это сравнение неактуальным. Но принцип останется: смотри не только на размер и PPL, но и на то, насколько модель осталась собой – на KLD.
