Claude + Qwen Omni: делаем текстового ассистента мультимодальным для анализа видео (инструкция)

Текстовый гений и слепой. История про ваш текущий Claude

Вы отправляете Claude ссылку на свой новый танцевальный клип или обзорный ролик. Вы ждете анализа композиции, эмоций артиста, смысловых акцентов. В ответ получаете вежливое: "Как языковая модель, я не могу обрабатывать визуальный контент". Это тупик. Самый умный текстовый собеседник на планете оказывается слепым. И это бесит.

Архитектура победы: почему именно эта связка

Можно взять просто Qwen Omni. Он мультимодальный. Но его текстовые ответы часто уступают в глубине и структуре Claude. Можно попробовать GPT-4o, но вы читаете эту статью, значит, вам нужен контроль, гибкость и, возможно, экономия. Наша связка - это четкое разделение труда:

• Qwen Omni работает как "глаза и уши". Его задача - смотреть видео (или ключевые кадры), извлекать визуальные факты: объекты, действия, эмоции по мимике, текст на экране, общую сцену.
• Claude работает как "мозг и голос". Он получает детальное текстовое описание от Qwen и строит на его основе сложный анализ: нарратив, советы по улучшению, культурные отсылки, структурированный отчет.

Это как взять лучшего кинооператора в мире и дать ему в напарники лучшего кинокритика. Результат будет мощнее, чем если бы один человек пытался делать обе работы.

1 Готовим инструменты: API-ключи и окружение

Без ключей никуда. Вам понадобятся два аккаунта. Для Claude - зарегистрируйтесь в Anthropic Console (партнерская ссылка). Для Qwen Omni - у Alibaba Cloud есть сервис Bailian или можно использовать открытые веса модели через локальный запуск, как в нашем тесте Qwen3.5 Omni Plus. Мы для простоты возьмем облачные API.

# Устанавливаем базовые библиотеки. Актуальные версии на апрель 2026.
pip install anthropic qwen-api opencv-python moviepy requests

2 Пишем ядро: скрипт для расчленения видео и запросов

Самая частая ошибка - отправить целое видео в API. Это дорого и часто превышает лимиты контекста. Правильный путь - семплирование ключевых кадров. Простой, но рабочий метод - извлекать кадры с фиксированным интервалом.

import cv2
import anthropic
from qwen_api import QwenClient  # Условный импорт, проверьте актуальное название!
import base64
from moviepy.video.io.VideoFileClip import VideoFileClip
import tempfile

# Инициализация клиентов. Ключи храните в переменных окружения!
claude_client = anthropic.Anthropic(api_key=os.environ["ANTHROPIC_API_KEY"])
qwen_client = QwenClient(api_key=os.environ["QWEN_API_KEY"])

def extract_key_frames(video_path, interval_sec=5):
    """Извлекает кадры каждые N секунд, кодирует в base64."""
    clip = VideoFileClip(video_path)
    duration = clip.duration
    frames = []
    
    for t in range(0, int(duration), interval_sec):
        # Сохраняем кадр во временный файл
        frame_filename = tempfile.NamedTemporaryFile(suffix=".jpg", delete=False).name
        clip.save_frame(frame_filename, t=t)
        
        with open(frame_filename, "rb") as f:
            img_data = base64.b64encode(f.read()).decode('utf-8')
        frames.append({"time": t, "image": img_data})
        os.unlink(frame_filename)  # Удаляем временный файл
    
    clip.close()
    return frames

def analyze_frame_with_qwen(frame_base64):
    """Отправляет один кадр в Qwen Omni для описания."""
    # Актуальный формат запроса для Qwen3.5 Omni Plus API (проверьте доки!)
    prompt = [
        {"role": "user", "content": [
            {"type": "image", "image": frame_base64},
            {"type": "text", "text": "Дай детальное текстовое описание этой сцены. Упомяни объекты, действия людей, их эмоции по выражению лиц, текст на экране, если есть, общую атмосферу. Будь максимально подробным."}
        ]}
    ]
    response = qwen_client.chat(prompt, model="qwen-omni-plus")  # Укажите актуальное имя модели
    return response.choices[0].message.content

# Главный пайплайн
key_frames = extract_key_frames("мой_клип.mp4", interval_sec=3)
visual_descriptions = ""

for idx, frame in enumerate(key_frames):
    print(f"Анализ кадра на {frame['time']} секунде...")
    description = analyze_frame_with_qwen(frame['image'])
    visual_descriptions += f"\n--- Кадр {idx+1} (время: {frame['time']}с) ---\n{description}\n"

print("Сбор визуальных данных завершен. Отправка Claude...")

3 Синтез: отправляем сводку Claude для гениального вывода

Теперь у нас есть сырой, но богатый текст с описанием сцен. Это не видео, а его текстовый скелет. Claude умеет работать с такими скелетами мастерски.

def ask_claude_for_analysis(video_context, user_question):
    """Формируем продвинутый промпт для Claude, используя собранные данные."""
    system_prompt = """Ты - профессиональный видеокритик и аналитик. Ты получишь детальное текстовое описание ключевых кадров из видео. На основе этих данных ответь на вопрос пользователя, построив связный, глубокий анализ. Если информации по какому-то аспекту не хватает, отметь это, но сделай выводы на основе имеющегося."""
    
    user_prompt = f"""
    Вот детальное описание ключевых кадров видео:
    
    {visual_descriptions}
    
    Вопрос или задача для анализа: {user_question}
    """
    
    message = claude_client.messages.create(
        model="claude-3-7-sonnet-20250226",  # Укажите самую новую стабильную модель на 16.04.2026
        max_tokens=4000,
        system=system_prompt,
        messages=[
            {"role": "user", "content": user_prompt}
        ]
    )
    return message.content[0].text

# Пример запроса для артиста
question = """
Проанализируй это танцевальное видео с точки зрения хореографии и эмоциональной подачи.
1. Как развивается история от кадра к кадру?
2. Какие эмоции передает артист (по мимике и позам) и насколько они соответствуют музыке (если она известна из описания)?
3. Дай три конкретных совета по улучшению визуального воздействия: работа с кадром, свет, монтажные склейки.
"""

final_analysis = ask_claude_for_analysis(visual_descriptions, question)
print("\n=== АНАЛИЗ CLAUDE ===\n")
print(final_analysis)

Где спрятаны черти: нюансы и подводные камни

В теории все гладко. На практике вы упретесь в следующие проблемы:

• Стоимость: Два API - два счета. Обработка длинного видео с десятками кадров через Qwen Omni может быть дороже, чем через специализированные сервисы компьютерного зрения. Считайте заранее.
• Потеря динамики: Статичные кадры теряют движение. Qwen Omni умеет работать с короткими видеофрагментами напрямую - используйте эту функцию последних версий! Вместо извлечения кадра, вырежьте 2-3 секундный клип и отправьте его. Это даст модели понять движение.
• Контекст Claude: Если описаний кадров наберется на 50 тысяч токенов, вы упретесь в лимит контекста модели. Решение: агрегируйте. Перед отправкой к Claude, попросите другую LLM (или даже самого Qwen) сжать и обобщить описания, оставив только самое важное. Или используйте техники RAG для работы с большими текстами.
• Аудио: В вашем видео есть важный диалог или музыка? Qwen Omni Plus умеет анализировать аудио. Вы можете извлечь аудиодорожку и отправить ее отдельным запросом, затем слить текстовую расшифровку с визуальным описанием. Или использовать специализированные инструменты вроде Whisper.cpp для точной транскрипции.

Живой пример: ассистент для видеоблогера-художника

Представьте, вы создаете таймлапсы рисования. Ваш запрос к системе: "Проанализируй мой последний таймлапс. Как можно улучшить композицию кадра? Достаточно ли хорошо виден процесс смешения красок?"

Пайплайн работает так:

1. Видео разбивается на кадры в ключевые моменты (начало мазка, смешение цветов).
2. Qwen Omni описывает каждый кадр: "Художник наносит мазок ультрамарина в левый верхний угол. Кисть крупная, краска густая. Освещение падает справа, создавая тень от руки. Палитра внизу кадра частично вне фокуса."
3. Claude получает все описания и знание контекста (это таймлапс рисования). Он строит ответ: "В целом композиция удачна, однако между 45 и 78 секундами ваша рука закрывает 30% холста. Совет: переместите камеру на 15 градусов выше. Смешение красок на палитре плохо видно из-за глубины резкости. В следующий раз положите палитру ближе к камере."

Это не абстрактная обратная связь, а конкретика, привязанная к таймкодам. Такой ассистент становится незаменимым соавтором.

Вопросы, которые у вас останутся (FAQ)

Главный совет на будущее: архитектура "сенсор + аналитик" переживет сегодняшние версии моделей. Через год появятся новые Claude и Qwen. А принцип останется. Вы не привязываетесь к конкретному API, вы строите систему, где слагаемые можно заменять. Сегодня это лучшая связка для тех, кому нужен не просто чат с картинками, а инструмент для работы.

Подписаться на канал