Медицинские записи в JSON за 15 минут: как заставить локальные LLM читать почерк врачей

А что с SQL?

SQL кажется более прямолинейным. Но здесь свои подводные камни. Модель должна знать структуру вашей базы данных.

sql_prompt = """
Преобразуй медицинскую запись в SQL INSERT запросы.

Структура таблиц:
1. Таблица patients: id, name, birth_date
2. Таблица visits: id, patient_id, visit_date, doctor_id
3. Таблица diagnoses: id, visit_id, diagnosis_code, description
4. Таблица prescriptions: id, visit_id, medication_name, dosage, frequency

Правила:
1. Если пациента нет в базе - сначала INSERT в patients
2. Каждый визит - отдельный INSERT в visits
3. Используй существующие ID там, где они известны
4. Все даты в формате 'YYYY-MM-DD'
5. ТОЛЬКО SQL, без объяснений

Запись:
{text}
"""

Проблема SQL подхода в том, что он менее гибкий. Если структура базы изменится, нужно переписывать промпты. JSON можно потом трансформировать во что угодно.

Полный пайплайн: от скана до структурированных данных

Теперь соберём всё вместе. Вот как выглядит рабочий процесс:

1. Загрузка PDF/изображения
2. Двойной OCR (Tesseract + медицинская коррекция)
3. Валидация текста через маленькую LLM (исправление очевидных ошибок)
4. Структурирование через медицинскую LLM в JSON
5. Валидация JSON и исправление ошибок
6. Преобразование в SQL (опционально)
7. Загрузка в базу данных

from pathlib import Path
import sqlite3

class MedicalRecordProcessor:
    def __init__(self, llm_client, db_path='medical.db'):
        self.llm = llm_client
        self.conn = sqlite3.connect(db_path)
        
    def process_file(self, file_path):
        # 1. OCR
        text = self.extract_text(file_path)
        
        # 2. Валидация через LLM
        validated_text = self.validate_with_llm(text)
        
        # 3. Структурирование в JSON
        json_data = self.extract_to_json(validated_text)
        
        # 4. Сохранение
        self.save_to_db(json_data)
        
        return json_data
    
    def extract_text(self, file_path):
        # Реализация OCR с коррекцией
        pass
    
    def validate_with_llm(self, text):
        prompt = f"""Исправь очевидные ошибки в медицинской записи:
        {text}
        
        Ищи:
        1. Нереальные дозировки (например, '1000 мг каждые 5 минут')
        2. Опечатки в названиях лекарств
        3. Неправильные даты
        4. Противоречивые инструкции
        """
        return self.llm.generate(prompt)
    
    def extract_to_json(self, text):
        # Используем промпт для JSON
        json_prompt = self.create_json_prompt(text)
        response = self.llm.generate(json_prompt)
        return extract_and_validate_json(response)
    
    def save_to_db(self, json_data):
        # Преобразование JSON в SQL и выполнение
        pass

Ошибки, которые сломают вашу систему

Я видел десятки падений медицинских пайплайнов. Вот самые частые причины:

• Доверие без проверки: LLM сказала "дозировка: 500 мг" - значит, так и есть. На самом деле в оригинале могло быть "50 мг".
• Игнорирование контекста: "Аспирин 100 мг" без указания "после еды" или "при болях".
• Смешение пациентов: Когда в одном PDF записи нескольких людей, а модель не разделяет их.
• Потеря отрицаний: "Не принимать аспирин" превращается в "Принимать аспирин".

Защита простая, но её постоянно забывают:

def safety_check(json_data):
    """Проверка на опасные значения"""
    warnings = []
    
    for med in json_data.get('medications', []):
        # Проверка дозировок
        dosage = med.get('dosage', '')
        if '1000' in dosage and 'каждые' in dosage and 'час' in dosage:
            warnings.append(f"Подозрительно высокая частота: {med['name']}")
        
        # Проверка взаимодействий (упрощённая)
        dangerous_combinations = [
            ('warfarin', 'aspirin'),
            ('simvastatin', 'clarithromycin')
        ]
        
        med_names = [m['name'].lower() for m in json_data.get('medications', [])]
        for combo in dangerous_combinations:
            if all(drug in med_names for drug in combo):
                warnings.append(f"Опасное сочетание: {combo[0]} + {combo[1]}")
    
    return warnings

Что делать, когда ничего не работает

Бывают случаи, когда стандартный подход не срабатывает. Рукопись нечитаема. Модель галлюцинирует. JSON ломается на каждом шагу.

Мой emergency plan:

1. Переходите на ISON вместо JSON - более устойчивый формат
2. Используйте семантический пайплайн для итеративной обработки
3. Разбейте документ на части и обрабатывайте отдельно
4. Для совсем плохих сканов - ручной ввод с последующей LLM-обработкой

И главное - никогда не удаляйте оригиналы. Всегда храните сканы вместе со структурированными данными. Через месяц обнаружите ошибку в пайплайне - сможете переобработать.

Сколько это стоит на самом деле

Не верьте статьям про "обработка 1000 документов за 5 долларов". С медицинскими записями всё иначе:

• Ollama с Llama 3.2 3B: бесплатно, но требует GPU или быстрого CPU
• Meditron на облачном GPU: ~$0.5 за 1000 страниц
• Ручная проверка 10% записей: 2-5 часов работы специалиста
• Настройка и отладка: от 20 часов инженерного времени

Но когда пайплайн работает - он обрабатывает за день то, на что у человека ушла бы неделя. И делает это без усталости, без ошибок от невнимательности.

Начните с маленькой тестовой выборки - 50 документов. Отладьте на них весь пайплайн. Убедитесь, что точность превышает 95% (для медицины меньше нельзя). И только потом масштабируйтесь.

И помните: даже самая умная LLM - всего лишь инструмент. Последнее слово всегда должно оставаться за врачом. Особенно когда на кону - человеческая жизнь.