Gemma нашла раку брешь: как маленькая LLM открыла новый путь терапии

Проблема: горы данных и ни одной идеи

Биоинформатики десятилетиями копят геномные данные раковых клеток. Терабайты секвенирования. Петабайты белковых структур. Океан информации, в котором утонули тысячи гипотез.

Традиционный подход выглядит так: берешь геномную последовательность, сравниваешь с базой данных, находишь мутации. Потом смотришь литературу. Потом строишь гипотезу. Потом проверяешь. Цикл занимает месяцы.

Решение: заставить LLM думать как биолог, а не как статистик

Большинство попыток применить ИИ к биоинформатике сводится к классическому машинному обучению. Обучаешь модель на известных случаях, она предсказывает похожие. Тупик.

Наша команда пошла другим путем. Мы взяли Gemma - не самую большую, но достаточно умную модель - и научили ее читать научные статьи как человек. Не извлекать ключевые слова. А понимать логику эксперимента, видеть связи между методами и результатами.

1Подготовка данных: не просто тексты, а смыслы

Первая ошибка - скормить модели сырые PDF-ки. Вторая - дать только абстракты. Мы сделали иначе:

• Извлекли полные тексты 50 000 статей по онкологии
• Разметили структуру: проблема - метод - результаты - выводы
• Добавили данные экспериментов в структурированном виде (уровни экспрессии, выживаемость, p-value)
• Создали граф знаний: белки взаимодействуют с генами, гены регулируют пути, пути влияют на фенотипы

# Пример структуры данных для обучения
article_data = {
    \"problem\": \"Резистентность к химиотерапии при раке молочной железы\",
    \"methods\": [\"RNA-seq\", \"CRISPR скрининг\", \"вестерн-блоттинг\"],
    \"findings\": {
        \"gene_upregulated\": [\"EGFR\", \"MET\"],
        \"pathway_activated\": \"PI3K/AKT\",
        \"survival_impact\": -2.3,  # hazard ratio
        \"p_value\": 0.003
    },
    \"conclusion\": \"Ингибирование EGFR повышает чувствительность к доксорубицину\"
}

2Обучение: не предсказывать, а генерировать

Вместо классического fine-tuning мы использовали подход, похожий на обучение с подкреплением. Gemma получала:

1. Описание биологического контекста (тип рака, известные мутации)
2. Данные экспрессии генов
3. Задание: предложить механизм, который объяснил бы эти данные

Модель оценивали не по точности предсказания известных путей (это слишком просто), а по:

• Новизне гипотезы
• Биологической правдоподобности
• Согласованности с данными
• Возможности экспериментальной проверки

3Открытие: странная связь, которую все пропустили

Через три недели обучения Gemma выдала гипотезу, от которой биоинформатики в лаборатории сначала просто отмахнулись.

"При резистентности к ингибиторам PARP при раке яичников, обратите внимание не на репарацию ДНК, а на метаболизм железа. Гены FTH1 и FTMT показывают аномальную экспрессию. Предполагаю, что опухоль использует железо для альтернативного пути выживания."

Проблема в том, что связь между метаболизмом железа и резистентностью к PARP-ингибиторам в литературе практически не описана. Все исследования сфокусированы на репарации ДНК. Но Gemma увидела паттерн в данных экспрессии, который люди пропустили.

4Проверка: от гипотезы к эксперименту

Скептицизм был настолько сильным, что на проверку гипотезы выделили минимальные ресурсы. "Проверим быстро и забудем".

Эксперимент занял две недели:

# Пример экспериментального пайплайна
# 1. Культивирование клеток рака яичников с резистентностью к PARP-ингибиторам
# 2. Обработка хелаторами железа (дефероксамин)
# 3. Измерение выживаемости клеток
# 4. Анализ экспрессии генов метаболизма железа

Результаты шокировали всех. Хелаторы железа повышали чувствительность к PARP-ингибиторам в 3.2 раза. Гены метаболизма железа действительно были гиперэкспрессированы. Gemma оказалась права.

Почему это сработало, когда другие методы провалились?

Традиционные методы биоинформатики ищут то, что уже знают. Статистика находит корреляции, но не может предложить причинно-следственные механизмы.

Gemma сделала три вещи, которые не под силу стандартным алгоритмам:

• Синтез разрозненных знаний: соединила данные о метаболизме железа из исследований анемии с литературой по резистентности к раку
• Генерация механизмов: не просто "гены A и B коррелируют", а "белок X регулирует путь Y, что приводит к фенотипу Z"
• Игнорирование модных тем: модель не знает, что "репарация ДНК" - популярная тема в онкологии. Она смотрит только на данные

Как и в случае с Gemma Vision, ключом стала специализация модели на конкретной задаче, а не попытка сделать универсальное решение.

Технические детали: что скрыто под капотом

Многие спрашивают: почему именно Gemma, а не более крупные модели? Ответ в трех словах: качество, скорость, контроль.

Большая модель не значит лучшая. Gemma 7B, правильно настроенная на домен, била гигантов по точности. И делала это локально, без API-лимитов и конфиденциальных проблем.

Настройка включала:

# Ключевые параметры обучения
lora_config = {
    \"r\": 16,  # ранг LoRA
    \"lora_alpha\": 32,
    \"target_modules\": [\"q_proj\", \"v_proj\", \"k_proj\", \"o_proj\"],
    \"lora_dropout\": 0.1,
    \"bias\": \"none\",
    \"task_type\": \"CAUSAL_LM\"
}

# Особенность: учили не на next token prediction,
# а на sequence-to-sequence генерацию гипотез
# Это критически важно для научных задач

Ошибки, которые мы совершили (чтобы вы их не повторили)

Первая версия провалилась полностью. Вот почему:

1. Слишком много данных сразу: скормили модели все 50 000 статей разом. Она переобучилась на шум и выдавала банальности
2. Неправильный лосс: использовали стандартный cross-entropy. Нужен был custom loss, который штрафует за очевидные гипотезы
3. Игнорирование контекста: не учитывали, что модель видит только текст, а не графики и таблицы из статей

Исправление третьей ошибки стало прорывом. Мы начали преобразовывать таблицы и графики в текстовые описания:

# Пример преобразования таблицы в текст
table_data = \"\"\"
Gene    | Expression | p-value
--------|------------|---------
FTH1    | 4.2x       | 0.001
FTMT    | 3.8x       | 0.002
TRFC    | 1.1x       | 0.450
\"\"\"

description = \"\"\"
Ген FTH1 показывает 4.2-кратное увеличение экспрессии со статистической значимостью p=0.001.
Ген FTMT показывает 3.8-кратное увеличение экспрессии с p=0.002.
Ген TRFC не показывает значимых изменений.
\"\"\"

Этот простой шаг улучшил качество гипотез на 40%. Модель начала видеть то, что раньше было скрыто в цифрах.

Что дальше? От одной гипотезы к платформе

Открытие связи метаболизма железа с резистентностью к PARP-ингибиторам - только начало. Сейчас мы строим платформу, где любой исследователь может:

• Загрузить свои данные экспрессии генов
• Получить сгенерированные Gemma гипотезы
• Увидеть предполагаемые механизмы
• Получить рекомендации по экспериментальной проверке

Технически это требует решения проблемы Lost in the Middle - когда модель теряет важную информацию в середине длинного контекста. Наши данные часто занимают 50-100 тысяч токенов.

Решение - иерархическая обработка: сначала Gemma анализирует общие паттерны, потом фокусируется на деталях, как это делают опытные ученые.

FAQ: вопросы, которые задают чаще всего

Почему не использовали более специализированные модели для биоинформатики?

Потому что они обучены на предсказании известного. Нам нужна была модель, которая может генерировать новое. Gemma, обученная на общих текстах, но дообученная на научных данных, показала лучшие результаты генерации.

Сколько стоило обучение?

Около $3000 на облачных GPU за 3 недели. Дешевле, чем зарплата одного постдока на месяц. Эффективность - выше.

Можно ли воспроизвести результат на других моделях?

Да, но не на всех. Ключевые требования: хорошее понимание английского научного текста, способность к логическим выводам, поддержка длинного контекста. Mistral 7B показывает похожие результаты, Llama 3 - немного хуже.

Что это значит для будущего исследований рака?

Мы стоим на пороге смены парадигмы. Раньше открытия делались случайно или после десятилетий систематических исследований. Теперь LLM может:

1. Анализировать всю мировую литературу за дни, а не годы
2. Видеть связи между разными областями медицины
3. Генерировать проверяемые гипотезы со скоростью компьютера

Но есть и риски. LLM могут генерировать правдоподобный бред. Могут усиливать публикационные предубеждения. Могут создавать иллюзию понимания там, где его нет.

Наш рецепт: всегда проверять гипотезы в лаборатории. Всегда иметь в команде скептически настроенных биологов. Всегда помнить, что модель - инструмент, а не оракул.

Как и в случае с код-ревью с LLM, успех приходит не от слепого доверия к модели, а от правильного разделения труда между человеком и алгоритмом.

Следующий шаг - интеграция с экспериментальными платформами. Gemma предлагает гипотезу, роботизированная лаборатория проверяет ее, результаты возвращаются для обучения модели. Замкнутый цикл открытий.

Это не замена ученых. Это их усиление. И судя по всему, усиление довольно мощное.