Как заставить локальную LLM писать длинные ответы: настройка max_tokens, параметры генерации и обход early stopping

Почему ваша локальная LLM молчит после 200 слов?

Вы задаете сложный вопрос. Ждете развернутый анализ. А модель выдает пару абзацев и останавливается, будто ей надоело. Знакомо? Это не лень модели. Это вы неправильно ее настроили.

Большинство пользователей видят в интерфейсе LM Studio ползунок max_tokens, выставляют 4000 и думают: «Ну теперь-то она напишет роман». А модель все равно обрывается на середине. Почему? Потому что max_tokens — только один из десятка параметров, влияющих на длину ответа.

Что на самом деле происходит внутри генерации

Представьте нейросеть как очень болтливого, но неуверенного в себе сотрудника. Он генерирует текст слово за словом. Каждое следующее слово — это выбор из тысяч вариантов.

И вот этот сотрудник сталкивается с дилеммой:

• Продолжать говорить, рискуя начать повторяться или нести бред
• Остановиться, чтобы не облажаться

Параметры генерации — это инструкции для этого сотрудника. Как сильно рисковать? Когда остановиться? Что считать «концом ответа»?

Ползунок max_tokens — самый очевидный, но не самый важный

Открою секрет: установка max_tokens=100000 редко помогает. Потому что:

1. Модель физически не может генерировать больше, чем позволяет ее архитектура
2. До достижения лимита токенов срабатывают другие механизмы остановки
3. Память вашей видеокарты закончится раньше, чем модель доберется до 100000 токенов

Вот типичная ошибка новичка в LM Studio:

# Как НЕ надо делать
params = {
    "max_tokens": 10000,  # Ой, много!
    "temperature": 0.1,   # Слишком низко
    "stop": ["\n\n"]     # Остановка на двух переносах строки
}

Что здесь не так? Почти все. Temperature 0.1 сделает текст предсказуемым и скучным. Модель быстро исчерпает «креативность» и остановится. Stop-токен «\n\n» прервет генерацию при любом двойном переносе строки — даже если это просто переход между абзацами.

1 Настройка параметров в LM Studio: что трогать в первую очередь

Откройте LM Studio. Видите эти ползунки? Давайте разберемся, какие из них действительно влияют на длину ответа.

Вот правильная конфигурация для начала:

params = {
    "max_tokens": 3000,
    "temperature": 0.8,
    "top_p": 0.9,
    "repeat_penalty": 1.05,
    "stop": [],  # Пустой список!
    "stream": True
}

Зачем stream=True? Потому что с потоковой генерацией вы видите, как модель думает. И можете прервать, если она пошла не туда. А еще это экономит память.

2 Тихий убийца длинных ответов: stop sequences

Самый коварный параметр. В интерфейсах по умолчанию часто стоят значения, которые обрезают ответы:

• "\n\n" — два переноса строки
• "\n\n\n" — три переноса строки
• "###" — разделитель в некоторых форматах
• "Human:", "Assistant:" — остатки чат-форматирования

Проблема в том, что эти последовательности могут случайно появиться в тексте. Модель пишет: «Во-первых...\n\nВо-вторых...» И все. Генерация остановлена.

Решение? Очистить список stop sequences. Или заменить на что-то уникальное, что гарантированно не появится в ответе:

# Вместо этого
stop = ["\n\n", "###", "Human:", "Assistant:"]

# Используйте это
stop = ["<КОНЕЦ_ОТВЕТА>", ""]

# И в промпте явно укажите:
prompt = "... Ответ должен заканчиваться тегом <КОНЕЦ_ОТВЕТА>."

А если работаете через API?

LM Studio удобен, но ограничен. Когда нужен полный контроль, переходите на API. Вот сравнение типичных проблем:

Вот как выглядит полный запрос к API LM Studio:

import requests

url = "http://localhost:1234/v1/completions"

headers = {
    "Content-Type": "application/json"
}

payload = {
    "prompt": "Напиши подробное руководство по настройке локальных LLM. ",
    "max_tokens": 5000,
    "temperature": 0.85,
    "top_p": 0.92,
    "frequency_penalty": 0.3,  # Новые слова поощряются
    "presence_penalty": 0.4,   # Штраф за повтор тем
    "stop": ["", ""],
    "stream": True
}

response = requests.post(url, json=payload, headers=headers, stream=True)

for chunk in response.iter_lines():
    if chunk:
        print(chunk.decode())

Модель все равно обрывается? Проверьте эти 5 моментов

Бывает: все параметры идеальны, а ответ все равно короче, чем хотелось бы. Вот что еще проверить:

1. Ограничения модели. Некоторые модели (особенно квантованные) имеют жесткие лимиты на генерацию. Проверьте документацию. Если используете Ollama, там свои нюансы.
2. Контекстное окно. Если ваш промпт занимает 3900 токенов из 4096, на ответ останется всего 196. Решение: используйте модели с большим контекстом или техники RAG для работы с длинными документами.
3. Токенизатор. Разные модели по-разному разбивают текст на токены. Слово «подробный» — 1 токен в одной модели и 3 в другой. Проверьте через tokenizer.
4. Температура и top_p конфликтуют. Не используйте оба параметра одновременно. Выберите один: либо temperature (более предсказуемо), либо top_p (более гибко).
5. Аппаратные ограничения. Нехватка VRAM приводит к обрыву генерации. Мониторьте использование памяти. Если нужно больше мощности, посмотрите гайд по сборке станции для локальных LLM.

Продвинутая техника: chain prompting

Иногда одной генерации недостаточно. Нужен действительно длинный текст — инструкция на 10 000 слов, техническая документация, повесть.

Вместо того чтобы заставлять модель генерировать все сразу, разбейте задачу:

def generate_long_text(prompt, max_chunks=10):
    full_text = ""
    current_prompt = prompt
    
    for i in range(max_chunks):
        # Добавляем инструкцию продолжения
        if i > 0:
            current_prompt = f"Продолжи текст: {full_text[-500:]}...\n\nДополни подробно:"
        
        chunk = generate_chunk(current_prompt)
        full_text += chunk
        
        # Проверяем, не закончила ли модель мысль
        if "заключение" in chunk.lower() or i == max_chunks - 1:
            break
            
    return full_text

# Генерируем кусок с правильными параметрами
def generate_chunk(prompt):
    params = {
        "prompt": prompt,
        "max_tokens": 1500,  # Небольшие куски
        "temperature": 0.7,
        "stop": ["\n\nСледующий раздел:", "\n\nГлава"]
    }
    # ... вызов API ...

Этот подход решает сразу несколько проблем:

• Обходит ограничения на длину одной генерации
• Дает модели «передохнуть» между частями
• Позволяет корректировать направление текста

Чего никогда не делать при настройке длинных ответов

За годы работы с локальными LLM я собрал коллекцию фатальных ошибок. Избегайте этих ловушек:

Еще одна распространенная ошибка — неправильный выбор модели. Не все LLM одинаково хорошо генерируют длинные тексты. Некоторые, особенно маленькие модели (7B-13B), просто не способны удерживать длинную мысль. Они начинают повторяться или теряют нить рассуждения.

Если вам критически важны длинные связные ответы, посмотрите обзор лучших локальных LLM по мнению сообщества. Там есть рекомендации конкретно для длиннотекстовой генерации.

Проверка: как понять, что все настроено правильно

Вы внесли изменения. Запустили генерацию. Как оценить результат?

Хороший длинный ответ имеет:

• Логическую структуру — введение, основная часть, заключение
• Плавные переходы между абзацами
• Развитие мысли — каждый следующий абзац добавляет что-то новое
• Естественное завершение — не обрыв на полуслове

Плохой длинный ответ (да, такое бывает):

• Повторение одних и тех же идей разными словами
• Резкие скачки темы
• Нагромождение фактов без связок
• Внезапная остановка без завершения мысли

Если получается второй вариант — вернитесь к настройкам temperature и top_p. Скорее всего, они слишком высокие или слишком низкие.

Что делать, если ничего не помогает

Бывает. Модель упорно молчит после 300 токенов, хотя все параметры вроде бы правильные.

В этом случае:

1. Смените модель. Некоторые модели просто не предназначены для длинных ответов. Попробуйте Mixtral, Qwen2.5 или другие модели из обзора моделей с поддержкой tool calling — они обычно лучше справляются с длинными задачами.
2. Проверьте загрузку модели. Возможно, вы используете квантованную версию с ограничениями. Загрузите полную версию (если хватает памяти).
3. Обновите софт. В ранних версиях LM Studio и llama.cpp были баги с генерацией.
4. Спросите сообщество. На Reddit в r/LocalLLaMA знают о специфических проблемах конкретных моделей.

И последний совет, который редко где услышишь: иногда проблема не в настройках, а в промпте. Модель получает расплывчатую инструкцию «Напиши подробно» и не понимает, что значит «подробно» в вашем контексте.

Попробуйте конкретизировать:

# Вместо этого
"Напиши подробное руководство по установке Linux"

# Используйте это
"Напиши руководство по установке Ubuntu 24.04 на ноутбук Dell XPS. 
Руководство должно содержать не менее 10 разделов, включая: 
1) Подготовка загрузочной флешки
2) Настройка BIOS
3) Разметка диска
4) Установка системы
5) Настройка после установки
... и так далее. 
Каждый раздел должен быть не короче 200 слов. 
В конце добавь раздел 'Частые проблемы и решения'."

Конкретный промпт дает модели четкий план. Она знает, что нужно написать 10+ разделов по 200+ слов. И будет стараться соответствовать.

Если же вам нужно генерировать действительно огромные тексты (техническая документация, книги, длинные аналитические отчеты), посмотрите продвинутые приложения для локальных LLM — там есть инструменты, специально заточенные под длиннотекстовую генерацию.

Помните: заставить локальную LLM писать длинные ответы — это не магия. Это понимание того, как работает генерация, и правильная настройка параметров. Начните с очистки stop sequences, установите temperature 0.7-0.8, max_tokens в разумных пределах. Дальше экспериментируйте.

И да — если модель все-таки начинает нести чушь на 1500 токене, не бойтесь остановить генерацию. Иногда короче действительно значит лучше.