Архитектура Vision-Language моделей: как дообучить текстовую LLM для работы с изображениями

Когда LLM слепнет: зачем текстовой модели глаза

Ваша любимая Llama 3.2 или Qwen3.5 отлично генерирует текст. Но покажите ей картинку - и она молчит. Это все равно что просить слепого описать закат. К 2026 году это уже не проблема, а рутина - лепим к LLM "глаза" за пару недель.

Почему все так делают? Потому что тренировать VLM с нуля - это как строить небоскреб на болоте. А вот взять готовую, умную текстовую модель и научить ее смотреть - это рабочий рецепт. Именно так появились LLaVA-Next, Qwen2-VL и десятки других моделей.

Разрезаем изображение на кусочки: как Vision Backbone превращает картинку в язык

Представьте, что вы пытаетесь объяснить ИИ что такое "яблоко" через текстовый интерфейс. Безнадежно. А если дать фотографию? Тут и начинается магия.

В 2026 году выбор сузился до трех вариантов:

• CLIP-ViT-L/336px - классика, проверенная годами. Дает 257 токенов на изображение (256 патчей + 1 cls токен).
• SigLIP-SO400M/14 - новая модель от Google, показывает лучшие результаты на мультимодальном выравнивании.
• DINOv2 - если вам важны детали и пространственные отношения, а не просто семантика.

Важный нюанс: backbone почти всегда замораживается. Вы не тренируете его с нуля, а используете как готовый "переводчик" из мира пикселей в мир векторов. Тренировка займет месяцы и потребует огромный датасет, а результат будет хуже, чем у предобученной модели.

Adapter Layer: мост между двумя мирами, который чаще всего ломается

Вот мы имеем: с одной стороны - последовательность векторов от изображения (допустим, 256 штук). С другой - текстовые эмбеддинги LLM. Они говорят на разных языках. Adapter - это переводчик.

В 2026 году почти все используют один из двух подходов:

Здесь кроется главная ошибка новичков - пытаются сделать адаптер слишком сложным. Видели же где-то, что в LLaVA-Next используют перцептрон из 4 слоев? И ставят такой же. А забывают, что у них в 100 раз меньше данных. Результат - модель запоминает датасет, но не обобщает.

Пошаговый план: как не сжечь GPU и остаться в здравом уме

1 Выбираем компоненты и готовим данные

Начните с малого. Не пытайтесь повторить LLaVA-1.5 на первом же проекте. Возьмите:

• Текстовую модель: Qwen2.5-3B-Instruct - идеальный баланс размера и интеллекта на 2026 год.
• Image Backbone: SigLIP-SO400M/14 - скачайте веса с Hugging Face.
• Адаптер: простая проекционная матрица, меняющая размерность с 1152 (SigLIP) на 3072 (Qwen2.5).

Данные - это боль. Не используйте общие датасеты вроде COCO, если задача специфическая. Соберите 10-20 тысяч пар, где описание именно то, что нужно. Хотите, чтобы модель описывала архитектурные стили? Найдите фото зданий с подробными описаниями стилей.

Кстати, если ваша задача - работа с документами и сканами, посмотрите мой разбор проблемы почему VLM не читают текст на сканах. Там есть конкретные рецепты подготовки данных для OCR-задач.

2 Собираем архитектуру и замораживаем все, кроме адаптера

Пишем код на PyTorch. В 2026 году уже есть десятки библиотек, но понимать, что происходит под капотом, все равно нужно.

Вот как выглядит forward pass правильно собранной модели:

class SimpleVLM(nn.Module):
    def __init__(self, llm, vision_backbone, adapter):
        super().__init__()
        self.llm = llm  # Замороженная текстовая LLM
        self.vision = vision_backbone  # Замороженный Vision Backbone
        self.adapter = adapter  # Единственная обучаемая часть
        
    def forward(self, images, text_tokens):
        # 1. Извлекаем фичи из изображения
        with torch.no_grad():
            image_features = self.vision(images)  # [batch, 257, 1152]
            
        # 2. Проецируем в пространство LLM
        visual_tokens = self.adapter(image_features)  # [batch, 257, 3072]
        
        # 3. Конкатенируем с текстовыми эмбеддингами
        # [IMAGE_TOKEN] + visual_tokens + text_embeddings
        combined_embeddings = torch.cat([visual_tokens, text_embeddings], dim=1)
        
        # 4. Пропускаем через LLM
        output = self.llm(inputs_embeds=combined_embeddings)
        return output

Ключевой момент: веса LLM и Vision Backbone заморожены. Обучается только адаптер. Иначе модель "забудет", как генерировать текст, пытаясь научиться видеть.

3 Поэтапное обучение: сначала смотрим, потом говорим

Не пытайтесь сразу научить модель и видеть, и рассуждать. Это как учить ребенка читать и писать одновременно.

1. Pre-alignment этап (1-2 эпохи): Обучаем только адаптер на задаче предсказания подписи к изображению. Loss - простой cross-entropy. Цель - научить модель "переводить" визуальные токены в нечто, что LLM сможет понять. Используйте высокий learning rate (1e-3) и маленький batch size.
2. Instruction tuning этап (3-5 эпох): Когда адаптер более-менее работает, добавляем задачи с инструкциями. "Опиши изображение", "Что не так на этой картинке?", "Придумай историю по фото". Learning rate снижаем до 1e-5, batch size увеличиваем.

Для этапа instruction tuning вам пригодятся готовые промпты для тестирования логики и зрения. Они помогут создать разнообразные обучающие примеры.

В 2026 году появился еще один важный этап - spatial reasoning tuning. Если обычные VLM часто путают "слева" и "справа", как я писал в статье про слепые пятна VLM, то сейчас это исправляют специальными датасетами с акцентом на пространственные отношения.

Ошибки, которые отправят ваш GPU в отпуск

Я видел, как команды тратили недели и тысячи долларов на обучение, а потом выяснялось, что модель не работает. Вот главные грабли:

• Неправильные special tokens: Забыли добавить [IMAGE_TOKEN] в словарь LLM? Модель будет игнорировать визуальные токены. Или, что хуже, пытаться их "прочитать" как текст.
• Несоответствие размерностей: Vision Backbone выдает векторы размерности 768, а LLM ожидает 4096. Адаптер должен это исправить, но если вы ошиблись в расчетах - получите NaN в loss на первой же итерации.
• Утечка памяти из-за незамороженных моделей: Если забыть .requires_grad_(False) для LLM и Vision Backbone, в памяти будут храниться градиенты для миллиардов параметров. 40GB видеопамяти хватит на 2 batch size.
• Неправильная нормализация изображений: CLIP ожидает нормализацию одним способом, SigLIP - другим. Используете не ту - получаете шум вместо фич.

А что если нужно еще и аудио? Или видео?

Архитектура масштабируется. Добавляете еще один адаптер для аудиофич (например, из NVIDIA NeMo или открытых моделей) и конкатенируете токены: [AUDIO] + аудио-токены + [IMAGE] + визуальные токены + текст.

Но предупреждаю: каждая новая модальность увеличивает сложность обучения в геометрической прогрессии. Для видео есть отдельный гайд - Multi-modal RAG 2024, принципы те же, но данных нужно в 10 раз больше.

Интересный факт: иногда VLM, дообученная на изображениях, начинает лучше понимать текст. Особенно описательный. Видимо, визуальные представления помогают "укоренить" семантику. Это заметили еще в 2025 году, когда модели, тренированные на художественных описаниях с иллюстрациями, начали генерировать более яркие тексты.

Что будет дальше? К 2027 году, я suspect, мы придем к универсальным адаптерам - одной маленькой сети, которая сможет подключить к LLM что угодно: изображения, аудио, сенсорные данные, даже запахи (шучу. пока что). А пока - берите простую архитектуру, не усложняйте, и тестируйте на реальных задачах. Не на "придумай описание котику", а на "найди дефект на этом снимке с производства".

P.S. Если после прочтения кажется, что это слишком сложно - посмотрите на готовые решения вроде GLM-Image. Может быть, они уже решают вашу задачу. Но если нет - теперь вы знаете, как сделать свою VLM. И да, начинайте с аренды GPU на RunPod или другом сервисе. Свои видеокарты для этого слишком жалко.

Подписаться на канал