Ваш ноутбук не виноват. Вообще-то виноват, но не совсем
Вы скачали модель, запустили через Ollama или LM Studio, а она либо не стартует, либо выдает один токен в секунду. Знакомо? В 99% случаев проблема не в ваших навыках, а в простой математике. Современные LLM - это не программы, а огромные массивы чисел. И эти числа нужно где-то хранить и как-то обрабатывать.
Возьмем популярную модель Llama 3.1 8B (8 миллиардов параметров). Каждый параметр - это число с плавающей запятой, обычно 16 бит (2 байта). Простая арифметика: 8,000,000,000 × 2 = 16,000,000,000 байт. Это 16 ГБ. Только для хранения весов. Без учета памяти для самого вывода, контекста, оптимизаторов.
Запомните простое правило: для запуска модели в полной точности (FP16) нужно как минимум в 2 раза больше VRAM/ОЗУ, чем размер модели в миллиардах параметров. Модель на 7B? Нужно 14 ГБ. Модель на 13B? Нужно 26 ГБ. И это минимум.
Почему 16 ГБ ОЗУ - это иллюзия
Большинство ноутбуков в 2025 году все еще поставляются с 16 ГБ ОЗУ. Звучит много? Для Windows 11 с открытым Chrome это уже 8-10 ГБ. Остается 6-8 ГБ. Попробуйте запустить там модель на 7B параметров.
А теперь главное: интегрированная графика (iGPU) забирает часть этой памяти. У вас 16 ГБ ОЗУ? На самом деле для системы доступно 14-15 ГБ. И это общая память для всего: системы, браузера, модели.
Но есть же квантование! Да, модели можно сжать до 4 бит на параметр. Тогда та же Llama 3.1 8B займет всего 4 ГБ. Проблема решена? Не совсем.
- Квантованная модель теряет в качестве. Особенно в логических задачах и математике
- Скорость обработки все равно упирается в пропускную способность памяти
- Многие новые архитектуры (как Qwen 2.5 32B) плохо квантуются
В нашем обзоре маленьких LLM для 16 ГБ мы тестировали десятки моделей. Вывод: работать будет, но медленно и с ограничениями.
CPU vs GPU: битва, которую CPU проиграл еще в 2023
Допустим, у вас хватает памяти. Модель загрузилась. Теперь ее нужно запустить. И здесь начинается самое интересное.
Современный CPU (даже Core i9) имеет 16-24 потока. LLM обрабатывает последовательности - идеальная задача для параллельных вычислений. GPU имеет тысячи ядер. Разница в производительности - в сотни раз.
| Архитектура | Токенов/сек (Llama 3.1 8B) | Энергопотребление |
|---|---|---|
| CPU (Core i9-13900H) | 2-4 токена/сек | 45-65 Вт |
| GPU (RTX 4060 Mobile) | 25-40 токенов/сек | 35-50 Вт |
| NPU (Intel Core Ultra) | 8-12 токенов/сек | 10-15 Вт |
Видите проблему? CPU еле дышит, GPU работает в разы быстрее, но есть нюанс: у мобильных GPU мало VRAM. RTX 4060 Mobile - 8 ГБ. Для полноценной модели на 8B параметров этого мало. Значит, нужно использовать гибридный режим (часть в GPU, часть в ОЗУ). А это снова замедление.
В сравнении AMD и NVIDIA для локального ИИ мы подробно разбирали, как разные архитектуры справляются с этой задачей. Коротко: у AMD больше видеопамяти в мобильных версиях, но меньше оптимизаций под LLM.
NPU: спаситель или маркетинг?
В 2024-2025 годах все заговорили о Neural Processing Units. Apple M3, Intel Core Ultra, Qualcomm Snapdragon X Elite - у всех есть NPU. Производители обещают «революцию в локальном ИИ».
Реальность сложнее. NPU 2025 года - это специализированные блоки для определенных операций. Чаще всего - для инференса уже обученных моделей. И здесь первая проблема: формат.
Большинство локальных LLM распространяются в форматах GGUF (для CPU через llama.cpp) или EXL2 (для GPU). NPU требуют свои форматы, свои оптимизации. Поддержка в Ollama и LM Studio появляется, но медленно.
Вторая проблема - программная. Драйверы, фреймворки, оптимизации под конкретные модели. Пока что экосистема NPU напоминает ранние дни CUDA: работает, но только с определенными моделями и в определенных условиях.
Что изменится в 2026-2027 годах
Здесь начинается интересное. Производители наконец-то поняли: люди хотят запускать ИИ локально. И готовы платить за это.
1 Больше памяти в базовых конфигурациях
Apple уже перевела MacBook на 24 ГБ в базе. Dell, Lenovo, HP анонсировали ноутбуки с 32 ГБ ОЗУ как стандарт для «ИИ-ноутбуков». К концу 2026 года 24 ГБ станет новой нормой для среднего сегмента.
Но важно не только количество, но и тип. LPDDR5X-8533 уже сегодня дает пропускную способность до 68 ГБ/с. В 2026 появятся LPDDR6 с 100+ ГБ/с. Это критично для NPU, которые работают с системной памятью.
2 GPU с памятью на чипе
NVIDIA уже тестирует архитектуру, где часть VRAM находится на том же кристалле, что и GPU ядра. Задержка уменьшается в 10 раз, пропускная способность растет в 5-7 раз. Для LLM это значит возможность обрабатывать больше параметров без замедления.
AMD идет другим путем: увеличивает объем видеопамяти в мобильных GPU. В 2026 году появятся мобильные Radeon с 16-20 ГБ VRAM. Этого хватит для большинства моделей до 70B параметров в 4-битном квантовании.
3 Специализированные ИИ-ноутбуки
Не просто ноутбук с NPU, а полноценная архитектура, заточенная под LLM. Представьте:
- Выделенный модуль памяти для моделей (типа «ИИ-RAM»)
- Несколько NPU разного типа: один для текста, другой для изображений
- Аппаратное ускорение для конкретных форматов моделей (GGUF, AWQ)
- Встроенный менеджер моделей с предустановленными оптимизациями
ASUS уже анонсировала такую линейку на 2026 год. Не «игровой ноутбук», а «ИИ-ноутбук».
4 Оптимизации на уровне операционной системы
Windows 12 (2025) и macOS 15 уже имеют встроенные оптимизации для локальных LLM. Не просто драйверы, а полноценные подсистемы:
- Автоматическое распределение модели между CPU, GPU и NPU
- Предзагрузка часто используемых моделей в быструю память
- Интеллектуальное кэширование контекста
- Единый API для всех локальных ИИ-моделей
Это уберет главную боль: настройку. Сегодня нужно вручную выбирать слои для GPU, настраивать контекст, подбирать квантование. Завтра система сделает это сама.
Что делать сегодня, если нужно запускать LLM локально
Ждать 2026 года не обязательно. Уже сейчас можно собрать или купить систему, которая справится с большинством задач.
Правило номер один: память важнее всего. 32 ГБ ОЗУ - минимально для комфортной работы. 64 ГБ - оптимально. VRAM: 12 ГБ достаточно для моделей до 13B в полной точности. 16-24 ГБ - для моделей 30-70B в квантованном виде.
Конкретные рекомендации:
- Для бюджета до 150 тыс. руб: Ноутбук с RTX 4070 Mobile (12 ГБ VRAM) и 32 ГБ ОЗУ. Или мини-ПК с внешней GPU (RTX 4060 Ti 16 ГБ).
- Для серьезной работы: Стационарный ПК с RTX 4090 (24 ГБ VRAM) и 64 ГБ ОЗУ. Да, это дорого, но это единственный способ запускать модели типа Qwen 2.5 32B с нормальной скоростью.
- Для Mac-пользователей: MacBook Pro с M3 Max и 48 ГБ единой памяти. Metal и MLX Framework от Apple оптимизированы лучше, чем кажется.
Важный момент: не гонитесь за топовыми CPU. Для LLM важна не частота ядер, а количество памяти и ее пропускная способность. Core i5 с 64 ГБ ОЗУ будет лучше, чем Core i9 с 16 ГБ.
В нашем исследовании о реальных потребностях в VRAM мы пришли к неочевидному выводу: для большинства пользователей хватит 12 ГБ. Потому что даже имея 24 ГБ, вы все равно будете запускать квантованные версии моделей - они быстрее.
Ошибки, которые совершают все (и вы тоже)
Пытаясь запустить LLM на слабом железе, люди делают одни и те же ошибки:
- Запуск в полной точности (FP16/F32): Бессмысленно. Разница в качестве между FP16 и Q4_K_M (4-битное квантование) минимальна для большинства задач. А разница в требованиях к памяти - в 4 раза.
- Использование системной памяти вместо VRAM: Если у вас есть GPU с 8+ ГБ VRAM, загружайте модель туда. Даже через PCIe 3.0 x4 это быстрее, чем системная память.
- Запуск через Python без оптимизаций: Наивный запуск через transformers от Hugging Face съест всю память. Используйте специализированные движки: llama.cpp, Ollama, LM Studio.
- Игнорирование контекстного окна: Установка контекста в 8192 токенов, когда вам нужно 512. Каждый токен контекста - это память. Много памяти.
Больше практических советов - в нашем гайде по избеганию ошибок при локальном запуске.
Какие модели реально запустить сегодня на среднем ноутбуке
Не все потеряно. Даже на ноутбуке с 16 ГБ ОЗУ и без выделенной GPU можно работать. Нужно правильно выбрать модель.
| Модель | Размер (параметры) | Память (Q4) | Скорость на CPU | Для каких задач |
|---|---|---|---|---|
| Phi-3 Mini 3.8B | 3.8B | 2.2 ГБ | 25-35 токенов/сек | Классификация, простой чат |
| Qwen2.5 1.5B | 1.5B | 0.9 ГБ | 40-60 токенов/сек | Простые запросы, summarization |
| Gemma 2 2B | 2B | 1.2 ГБ | 35-50 токенов/сек | Код, инструкции |
| Llama 3.2 1B | 1B | 0.6 ГБ | 60-80 токенов/сек | Быстрый прототипинг |
Эти модели не заменят GPT-4. Но они решают конкретные задачи: проверка кода, суммаризация текстов, простые диалоги. И делают это локально, приватно, бесплатно.
Для более серьезных задач посмотрите подборку лучших локальных LLM по версии Reddit. Сообщество тестирует десятки моделей еженедельно.
Будущее уже здесь, просто неравномерно распределено
Пока вы читаете эту статью, кто-то запускает Llama 3.1 70B на ноутбуке за $5000. А кто-то борется с Phi-3 Mini на ноутбуке за $800. Разница не в деньгах, а в понимании ограничений.
Локальные LLM - это не магия, а математика и физика. Память, шины, процессоры. В 2026 году эта математика станет проще: больше памяти в базе, лучше NPU, умнее оптимизации.
Но ждать 2026 года не нужно. Уже сегодня можно запускать полезные модели на доступном железе. Главное - не пытаться запихнуть 70B модель в 16 ГБ ОЗУ. Это как пытаться залить океан в стакан. Бесполезно и мокро.
Начните с малого. Выберите модель под ваши задачи и железо. Используйте квантование. Оптимизируйте настройки. И помните: даже 3B модель, которая работает мгновенно, полезнее 70B модели, которая думает 10 секунд над каждым ответом.
А если хотите глубже разобраться в инструментах - изучите полное сравнение Ollama и других решений для локального запуска. Там есть конкретные команды, настройки и примеры.
Локальный ИИ - это не будущее. Это настоящее. Просто настоящее требует правильного железа.
