Как суммаризировать 'Войну и мир' на GPU с 10 ГБ памяти: практический гайд по квантованию и обработке длинных текстов

Когда 10 ГБ VRAM - это не приговор, а вызов

Вы открываете полный текст 'Войны и мира'. 1 228 000 символов. Около 300 000 слов. Контекстное окно даже у самых продвинутых моделей на 01.04.2026 редко превышает 128K токенов. А у вас на руках RTX 3080 с ее скромными 10 ГБ видеопамяти. Кажется, задача из разряда 'невозможных'.

Но это только кажется. Потому что за последние два года мир локальных LLM научился жестокой экономии. Квантование из экзотики превратилось в ежедневную практику. И если в нашей предыдущей статье про 3x3090 и 235-миллиардные модели мы говорили о промышленных масштабах, то здесь - чистая тактика выживания на минимальных ресурсах.

1 Выбор оружия: почему Saiga Llama 3 8B, а не что-то новее?

На 2026 год в топах гуляют модели на 100B+ параметров. Qwen3.5-122B, Claude 3.5 Sonnet, Gemini 2.0 Ultra. Все они требуют минимум 24 ГБ VRAM даже в сильно квантованном виде. Для 10 ГБ нужно что-то компактнее, но с хорошим пониманием русского.

Saiga 3 8B - это не самая новая модель. Но она идеально сбалансирована:

• База - Llama 3.1 8B (выпуск август 2024), одна из самых эффективных архитектур своего класса
• Дообучена на русскоязычных данных - меньше 'английского акцента' в выводе
• В 4-битном квантовании занимает ~4.5 ГБ VRAM
• Остается ~5.5 ГБ для контекста - это примерно 7500 токенов

2 Квантование не для слабонервных: выбираем между Q4_K_M и IQ4_XS

Здесь многие промахиваются. Берут первое попавшееся квантование из списка и удивляются, почему модель генерирует абракадабру. Форматы на 01.04.2026:

Для суммаризации художественного текста качество важнее экономии 300 МБ. Берем Q4_K_M. Скачиваем готовую или квантуем сами:

# Скачиваем готовую модель с Hugging Face
wget https://huggingface.co/IlyaGusev/saiga_llama3_8b_gguf/resolve/main/model-q4_K_M.gguf

# Или квантуем самостоятельно (требуется 16 ГБ RAM)
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make -j$(nproc)
python3 convert-hf-to-gguf.py IlyaGusev/saiga_llama3_8b \
  --outtype q4_K_M --outfile saiga-8b-q4_K_M.gguf

3 Режем 'Войну и мир' на куски: магия числа 7500

Токенизация русских текстов - отдельный вид искусства. Одно слово может разбиться на 2-3 токена. Пунктуация, пробелы, переносы строк - все съедает память. Формула простая:

10 ГБ VRAM - 4.5 ГБ (модель) = 5.5 ГБ для контекста
5.5 ГБ ≈ 7500 токенов при 4-битном квантовании
7500 токенов ≈ 5500-6000 символов русского текста

Но мы не можем резать по точному числу символов. Нужно резать по абзацам или хотя бы по предложениям, чтобы не терять смысл. Пишем скрипт-резчик:

import re

def split_text_by_chunks(text, max_chars=6000):
    """Разбиваем текст на чанки по максимум max_chars символов, но не разрываем абзацы"""
    paragraphs = text.split('\n\n')
    chunks = []
    current_chunk = ""
    
    for paragraph in paragraphs:
        if len(current_chunk) + len(paragraph) <= max_chars:
            current_chunk += paragraph + "\n\n"
        else:
            if current_chunk:
                chunks.append(current_chunk.strip())
            current_chunk = paragraph + "\n\n"
    
    if current_chunk:
        chunks.append(current_chunk.strip())
    
    return chunks

# Загружаем текст
with open('voyna_i_mir.txt', 'r', encoding='utf-8') as f:
    full_text = f.read()

chunks = split_text_by_chunks(full_text, max_chars=6000)
print(f'Получилось {len(chunks)} чанков')

4 Суммаризация в конвейере: как не сойти с ума от скорости 2 токена в секунду

На RTX 3080 10 ГБ Saiga 8B в Q4_K_M выдает примерно 8-12 токенов/сек. Для чанка в 7500 токенов ввод + 500 токенов вывод - это 10-15 минут. 'Война и мир' в 200+ чанков... считайте сами.

Ускоряем через пакетную обработку и оптимизацию llama.cpp:

# Запускаем llama.cpp с оптимальными параметрами для RTX 3080
./main -m saiga-8b-q4_K_M.gguf \
  -ngl 33 \
  -c 7500 \
  -b 512 \
  -t 8 \
  --mlock \
  --no-mmap \
  -n 500 \
  -p "[INST] Перескажи кратко следующий текст:\n{текст_чанка}\n[/INST] Краткий пересказ:" \
  -f chunk_1.txt

Ключевые флаги:

• -ngl 33 - загружаем 33 слоя на GPU (максимум для 10 ГБ)
• --mlock - держим модель в RAM после загрузки
• --no-mmap - не используем memory mapping для стабильности

Автоматизируем процесс Python-скриптом:

import subprocess
import time
from pathlib import Path

def summarize_chunk(chunk_text, chunk_id):
    prompt = f"""[INST] Перескажи кратко следующий текст, сохранив основные сюжетные линии и персонажей:\n{chunk_text}\n[/INST] Краткий пересказ:"""
    
    with open(f'chunk_{chunk_id}_input.txt', 'w', encoding='utf-8') as f:
        f.write(prompt)
    
    cmd = [
        './main', '-m', 'saiga-8b-q4_K_M.gguf',
        '-ngl', '33', '-c', '7500', '-b', '512',
        '-t', '8', '--mlock', '--no-mmap',
        '-n', '500', '-f', f'chunk_{chunk_id}_input.txt',
        '-o', f'chunk_{chunk_id}_output.txt'
    ]
    
    result = subprocess.run(cmd, capture_output=True, text=True)
    
    # Ждем 30 секунд между запросами, чтобы GPU остыл
    time.sleep(30)
    
    return result.returncode

# Для каждого чанка вызываем summarize_chunk

Главный подводный камень: модель выдумывает персонажей

Самая смешная и одновременно раздражающая проблема. Saiga 8B, как и многие LLM, страдает галлюцинациями. Особенно на длинных текстах. В пятом томе она может 'вспомнить', что у Наташи Ростовой был брат-близнец, который погиб под Аустерлицем. Этого нет в оригинале.

Как бороться:

1. Явно указывать в промпте: 'Не добавляй информации, которой нет в тексте'
2. Использовать меньшую температуру (temp 0.1 вместо 0.7)
3. Делать два прохода: сначала суммаризация, затем проверка фактов

Промпт-доработка:

better_prompt = f"""[INST] Перескажи кратко следующий текст. Строго придерживайся фактов из текста. Не добавляй персонажей, событий или деталей, которых нет в исходном тексте:\n{chunk_text}\n[/INST] Краткий пересказ (только факты из текста):"""

Склеиваем пересказ: когда итог больше оригинала

После обработки 200+ чанков у вас будет 200+ файлов с пересказами. Общий объем - примерно 150 000 слов. Это половина оригинала. Бессмысленно.

Склеиваем и сжимаем еще раз:

# Собираем все пересказы
all_summaries = []
for i in range(len(chunks)):
    try:
        with open(f'chunk_{i}_output.txt', 'r', encoding='utf-8') as f:
            summary = f.read()
            # Отрезаем промпт и оставляем только ответ
            if 'Краткий пересказ:' in summary:
                summary = summary.split('Краткий пересказ:')[1].strip()
            all_summaries.append(summary)
    except FileNotFoundError:
        continue

full_summary = '\n\n'.join(all_summaries)

# Теперь сжимаем общий пересказ до 10 000 слов
final_prompt = f"""[INST] Сожми следующий текст до 10 000 слов, сохранив главные сюжетные линии:\n{full_summary[:200000]}\n[/INST] Сжатый пересказ (10 000 слов):"""

Что пойдет не так? Список типичных ошибок

Самая обидная ошибка - не проверить, что модель действительно загрузилась на GPU. Запускаете nvidia-smi и видите, что загружено только 2 ГБ из 10. Значит, слои остались в RAM. Увеличивайте -ngl до максимума, который позволяет память.

А есть ли варианты получше?

Если RTX 3080 - это данность, то нет. Но если можно апгрейдить, то RTX 4090 24 ГБ меняет всё. На ней можно запустить Saiga 3 70B в Q4_K_M (примерно 36 ГБ в FP16, ~20 ГБ в Q4) с помощью слоевого распределения между GPU и RAM. Или взять две RTX 4060 Ti 16GB - дешевле и почти те же 32 ГБ.

Но суть не в железе. Суть в понимании, что любая задача решаема, если разбить ее на достаточно мелкие части. 'Война и мир' на 10 ГБ VRAM - это не про технологии. Это про терпение и системный подход. И да, через 15 часов обработки вы получите пересказ, в котором Наполеон все-таки победил. Потому что LLM.

Подписаться на канал