Зачем врачу нейросеть на своём ноутбуке?
Представьте: у вас есть папка с МРТ позвоночника. Нужно найти грыжи, оценить дегенеративные изменения, измерить расстояния. В идеале — за пять минут, а не за час. Коммерческие системы анализа стоят как автомобиль. Облачные сервисы отправляют ваши данные неизвестно куда (и это нарушает законы о медицинской тайне в половине стран).
MRI-GPT решает эту проблему радикально. Это связка двух open-source моделей: Qwen3-VL:8b (мультимодальная LLM от Alibaba) и nnU-Net (чемпион по сегментации медицинских изображений). Всё работает локально через Ollama. Никаких API, подписок и отправки DICOM-файлов в облако.
Что умеет этот Frankenstein из нейросетей?
Стандартный пайплайн выглядит так:
- Загружаете DICOM-файлы (целая папка или отдельные срезы)
- nnU-Net автоматически находит и сегментирует позвонки — от C1 до крестца
- Qwen3-VL анализирует результаты сегментации и оригинальные снимки
- Получаете текстовый отчёт с локализацией патологий, измерениями и рекомендациями по дальнейшим исследованиям
Собираем конструктор: что нужно скачать
MRI-GPT — не единый исполняемый файл. Это скорее рецепт, который связывает готовые компоненты. Вот что понадобится:
| Компонент | Зачем нужен | Размер на диске |
|---|---|---|
| Ollama | Локальный сервер для запуска LLM | ~500 МБ |
| Qwen3-VL:8b в GGUF | Анализ изображений и генерация отчётов | 5-8 ГБ (в зависимости от квантования) |
| nnU-Net с предобученными весами для позвоночника | 3D сегментация позвонков | ~2 ГБ |
| Python-скрипты для связки | Конвертация DICOM, вызов API, постобработка | Несколько МБ |
Важный момент: nnU-Net для позвоночника нужно искать отдельно. Базовая версия nnU-Net не включает предобученные веса для позвонков. Ищите "nnU-Net spine segmentation weights" или готовьтесь обучать свою модель на датасете VerSe (это ещё 20 ГБ данных и неделя тренировки на хорошей GPU).
Три шага до рабочего прототипа
1 Запускаем визуальную модель
Сначала ставим Ollama — это проще, чем возиться с vLLM и сложным квантованием. Потом качаем Qwen3-VL:8b в GGUF-формате. Для МРТ хватит квантования Q4_K_M — баланс между качеством и размером.
Если у вас слабый компьютер, попробуйте сначала Qwen3-VL:4b. Но для медицинских задач лучше не опускаться ниже 8b параметров — точность падает заметно. Проверено на реальных снимках: 4b-версия иногда "галлюцинирует" номера позвонков.
2 Настраиваем nnU-Net
Тут сложнее. nnU-Net — не просто библиотека, а целый фреймворк с кучей зависимостей. Установите Python 3.9+, PyTorch с CUDA (если есть GPU), затем сам nnU-Net через pip. Веса для сегментации позвоночника ищите на GitHub — есть несколько реализаций от исследовательских групп.
Проверьте, что nnU-Net корректно определяет позвонки на тестовых данных. Если сегментация работает плохо — проблема либо в весах, либо в предобработке DICOM. nnU-Net ожидает определённую ориентацию и контрастность.
3 Пишем glue-код
Это самая творческая часть. Нужно написать Python-скрипт, который:
- Берёт DICOM-файлы, конвертирует в NIfTI (формат, который понимает nnU-Net)
- Запускает nnU-Net, получает маску сегментации
- Накладывает маску на оригинальное изображение, создаёт аннотированную картинку
- Отправляет картинку в Qwen3-VL через Ollama API с промптом типа "Проанализируй МРТ позвоночника, найди патологии, измерь высоту дисков"
- Парсит ответ, сохраняет отчёт
Чем MRI-GPT лучше (и хуже) альтернатив
Давайте сравним с тем, что уже есть на рынке:
| Решение | Плюсы | Минусы |
|---|---|---|
| MRI-GPT (наша сборка) | Бесплатно, локально, кастомизируемо | Сложная настройка, нет поддержки |
| Коммерческие системы (например, Aidoc) | Высокая точность, интеграция с PACS | Стоят от $50 000 в год, облачные |
| MedGemma или другие медицинские LLM | Специализированы на медицине | Только текст, нет анализа изображений |
| Ручной анализ радиологом | Золотой стандарт | Дорого, медленно, человеческие ошибки |
Главное преимущество MRI-GPT — цена и контроль. Вы можете дообучить nnU-Net на своих данных (если есть размеченные снимки). Можете заменить Qwen3-VL на MiniMax-M2.1, если та покажется точнее. Можете даже запустить всё это на Raspberry Pi 5 с внешним SSD (хотя это будет очень медленно).
Где этот инструмент взрывается (в плохом смысле)
Не обольщайтесь — MRI-GPT не заменит радиолога. Вот типичные проблемы:
- Артефакты на снимках — металлические импланты, движение пациента. nnU-Net сегментирует их как часть позвонка, Qwen3-VL не распознаёт артефакт.
- Аномальная анатомия — сколиоз 4-й степени, послеоперационные изменения. Модели тренированы на "нормальных" случаях.
- Разрешение снимков — если МРТ сделано на старом аппарате с толщиной среза 5 мм, сегментация будет неточной.
- Контекст — модель не знает историю болезни пациента. Грыжа L5-S1 может быть случайной находкой, а может объяснять все симптомы.
ВАЖНО: MRI-GPT — инструмент второго мнения, а не первичной диагностики. Все его выводы нужно проверять. В некоторых юрисдикциях использование таких систем без сертификации FDA/CE может быть незаконным для клинического применения.
Кому стоит попробовать собрать MRI-GPT
Это не для всех. Идеальная аудитория:
- Исследователи в медицинском AI — хотите прототип системы анализа изображений без бюджета в $100k
- Радиологи-энтузиасты — готовы потратить выходные на настройку, чтобы получить бесплатного ассистента
- Разработчики медицинского ПО — ищете open-source компоненты для своего продукта
- Студенты-медики — хотите тренироваться на автоматически размеченных снимках (есть публичные датасеты)
Если вы из этой группы — начинайте с малого. Скачайте Ollama, запустите Qwen3-VL на тестовой картинке (не медицинской). Потом установите nnU-Net и проверьте на примере из датасета VerSe. Только когда оба компонента работают по отдельности — соединяйте их.
Что будет дальше? (Спойлер: всё ускорится)
MRI-GPT сегодня — proof of concept. Через год такие системы станут проще. Вот что изменится:
- Единые модели — появятся LLM, которые сразу сегментируют и анализируют (как Ministral-3-14B-Reasoning, но для медицины)
- Аппаратное ускорение — NPU в потребительских CPU (как в AI MAX 395) ускорят инференс в 3-5 раз
- Стандартизация — появятся контейнеры Docker с предустановленными медицинскими моделями (сейчас каждый собирает с нуля)
Пока этого нет — MRI-GPT остаётся инструментом для гиков. Сложным, капризным, но работающим. И главное — полностью под вашим контролем. Никаких слежек, никаких внезапных изменений в API, никаких счётов в конце месяца.
Самый интересный эксперимент — дать MRI-GPT проанализировать свой же МРТ-снимок (если он у вас есть). И сравнить вывод нейросети с заключением врача. Расхождения будут. Вопрос в том, кто окажется точнее в каждом конкретном случае.
