Как защититься от атаки Man-in-the-Prompt: полное руководство для разработчиков

Что такое Man-in-the-Prompt и почему это опасно?

Man-in-the-Prompt (MiTP) — это современная атака на системы искусственного интеллекта, когда злоумышленник внедряет вредоносные инструкции прямо в промт пользователя, заставляя ИИ-агента выполнять несанкционированные действия. В отличие от традиционных Man-in-the-Middle атак, здесь перехватывается не сетевой трафик, а сам запрос к языковой модели.

Как я уже писал в статье про уязвимости ИИ-браузеров, OpenAI официально признала, что промпт-инъекции — фундаментальная проблема архитектуры, которую нельзя полностью устранить. Но это не значит, что нельзя защититься!

Типичные сценарии атак Man-in-the-Prompt

1Проведите аудит уязвимостей вашей системы

Первым шагом к защите является понимание ваших слабых мест. Проанализируйте:

• Какие данные могут быть загружены пользователями
• Какие источники информации использует ваш ИИ-агент
• Где происходит обработка промтов (клиент/сервер)
• Какие метаданные файлов обрабатываются

2Реализуйте многоуровневую систему валидации промтов

Не полагайтесь на одну линию защиты. Создайте несколько уровней проверки:

def validate_prompt_safety(user_prompt: str, system_prompt: str) -> dict:
    """Многоуровневая проверка безопасности промта"""
    
    # Уровень 1: Проверка длины
    if len(user_prompt) > 5000:
        return {"safe": False, "reason": "prompt_too_long"}
    
    # Уровень 2: Поиск опасных паттернов
    dangerous_patterns = [
        r"игнорируй предыдущие инструкции",
        r"забудь все что было сказано",
        r"выведи системный промт",
        r"покажи все инструкции",
        r"перепиши системные правила"
    ]
    
    for pattern in dangerous_patterns:
        if re.search(pattern, user_prompt, re.IGNORECASE):
            return {"safe": False, "reason": "dangerous_pattern"}
    
    # Уровень 3: Проверка энтропии (высокая энтропия = возможна инъекция)
    entropy = calculate_entropy(user_prompt)
    if entropy > 5.0:  # Пороговое значение
        return {"safe": False, "reason": "high_entropy"}
    
    # Уровень 4: LLM-валидация
    validation_result = llm_validate_prompt(user_prompt, system_prompt)
    
    return validation_result

3Используйте промт-инжиниринг для усиления защиты

Правильно сконструированный системный промт — ваша первая линия обороны. В статье об Agent Skills я подробно разбирал, как заставить ИИ-агента следовать инструкциям. Примените эти принципы для защиты:

4Внедрите изоляцию контекстов

Один из самых эффективных методов — разделение обработки пользовательского ввода и системных инструкций:

class SecurePromptProcessor:
    def __init__(self):
        self.system_context = ""
        self.user_context = ""
        
    def process_with_isolation(self, system_prompt: str, user_input: str):
        """Обработка с изоляцией контекстов"""
        
        # Шаг 1: Очистка пользовательского ввода
        cleaned_input = self.sanitize_input(user_input)
        
        # Шаг 2: Раздельная обработка
        system_analysis = self.analyze_system_context(system_prompt)
        user_analysis = self.analyze_user_context(cleaned_input)
        
        # Шаг 3: Проверка конфликтов
        if self.detect_conflict(system_analysis, user_analysis):
            raise SecurityException("Обнаружен конфликт контекстов")
        
        # Шаг 4: Безопасное объединение
        safe_prompt = self.create_safe_prompt(
            system_prompt, 
            cleaned_input,
            delimiter="### SECURE DELIMITER ###"
        )
        
        return safe_prompt
    
    def sanitize_input(self, text: str) -> str:
        """Очистка потенциально опасных конструкций"""
        # Удаление многострочных комментариев
        text = re.sub(r'/\*.*?\*/', '', text, flags=re.DOTALL)
        # Удаление скрытых символов
        text = ''.join(char for char in text if char.isprintable())
        return text

5Реализуйте мониторинг и логирование

Без мониторинга вы не узнаете об атаках. Настройте:

• Логирование всех промтов (без пользовательских данных)
• Анализ аномалий в длине и структуре запросов
• Алертирование при обнаружении подозрительных паттернов
• Сбор метрик успешных/неуспешных атак

class PromptSecurityMonitor:
    def __init__(self):
        self.suspicious_patterns = [
            (r"системный промт", 10),  # паттерн и вес
            (r"игнорируй.*инструкци", 15),
            (r"забудь.*правила", 12),
            (r"выполни.*команду", 8)
        ]
    
    def monitor_prompt(self, prompt: str, user_id: str) -> dict:
        """Мониторинг промтов на предмет атак"""
        
        risk_score = 0
        detected_patterns = []
        
        for pattern, weight in self.suspicious_patterns:
            if re.search(pattern, prompt, re.IGNORECASE):
                risk_score += weight
                detected_patterns.append(pattern)
        
        # Анализ энтропии
        entropy = self.calculate_entropy(prompt)
        if entropy > 4.5:
            risk_score += 5
        
        # Проверка на инъекции кода
        if self.detect_code_injection(prompt):
            risk_score += 20
        
        # Логирование
        self.log_security_event({
            "user_id": user_id,
            "risk_score": risk_score,
            "patterns": detected_patterns,
            "timestamp": datetime.now(),
            "prompt_hash": self.hash_prompt(prompt)  # Хеш для анонимности
        })
        
        # Алертирование
        if risk_score > 25:
            self.send_alert(f"Высокий риск MiTP: {risk_score} баллов")
        
        return {"risk_score": risk_score, "patterns": detected_patterns}

6Обучите пользователей основам безопасности

Техническая защита — это только половина дела. Как показывает практика из статьи про 10 ошибок новичков, многие проблемы возникают из-за незнания пользователей:

7Регулярно обновляйте защитные механизмы

Безопасность — это процесс, а не состояние. Как я упоминал в статье про признание OpenAI, промпт-инъекции эволюционируют, и ваша защита должна развиваться вместе с ними:

• Ежеквартальные аудиты безопасности
• Обновление списка опасных паттернов
• Тестирование новых методов атак на своей системе
• Участие в сообществах по безопасности ИИ

Частые ошибки и как их избежать

Инструменты для защиты от Man-in-the-Prompt

Вам не нужно изобретать велосипед. Вот проверенные инструменты:

• Vigil: Open-source фреймворк для безопасности LLM
• PromptArmor: Коммерческое решение с ML-детекцией атак
• LLM Guard: Библиотека Python для валидации промтов
• Rebuff: Защита от промпт-инъекций через векторный поиск

Заключение

Защита от Man-in-the-Prompt — это комплексный подход, сочетающий технические меры, правильную архитектуру и обучение пользователей. Помните, что абсолютной защиты не существует, но вы можете снизить риски до приемлемого уровня.

Как правильно проектировать безопасные системы, я рассказывал в руководстве по проектированию современных AI-агентов. Эти принципы помогут вам создать систему, устойчивую не только к MiTP, но и к другим типам атак.