LLamjinLab
Новости ИИЗнаков 9226Время чтения≈ 24 мин

Microsoft выпускает GigaPath-Flash и GigaTIME-Flash для эффективного ИИ в патологии

Открытые по весам патологические модели Microsoft сокращают вычисления для целых слайдов в 50× раз и потребление памяти при пространственной протеомике почти в 8× раз.

ИИОткрытый исходный код
Содержание · 11
  1. 1. Две уменьшенные модели для разных задач патологии
  2. 2. Что показывают бенчмарки
  3. 3. Сокращение вычислений в масштабе популяции
  4. 4. Открытый по весам релиз с практическими условиями
  5. Частые вопросы
  6. В чём разница между GigaPath-Flash и GigaTIME-Flash?
  7. Насколько GigaPath-Flash меньше?
  8. Являются ли модели открытыми?
  9. Могут ли больницы использовать модели для ухода за пациентами?
  10. Прошло ли исследование Flash рецензирование?
  11. Источники

Microsoft Research выпустила GigaPath-Flash и GigaTIME-Flash — две уменьшенные модели для патологии, призванные сделать анализ целых слайдов и виртуальную пространственную протеомику практически применимыми для значительно более крупных исследовательских когорт.

Главный результат — резкое сокращение вычислений, а не новая клиническая возможность. GigaPath-Flash сохранила 97% средней производительности исходной GigaPath на двух бенчмарках классификации слайдов, используя примерно в 49.5 раза меньше операций с плавающей точкой. В представленных тестах GigaTIME-Flash превзошла исходную GigaTIME по средней производительности предсказания белков, работая примерно в шесть раз быстрее и используя почти в восемь раз меньше памяти GPU при наибольшем протестированном размере батча.

Microsoft опубликовала анонс 31 августа 2026 года. Сопутствующий технический отчёт впервые был отправлен в arXiv 20 июля и переработан 22 июля. Модели созданы совместно Microsoft Research, University of Washington, Providence Genomics, Providence Cancer Institute и Providence Research Network.

1. Две уменьшенные модели для разных задач патологии

GigaPath-Flash преобразует гигапиксельный патологический слайд в представления, которые могут поддерживать последующие исследовательские задачи, такие как классификация опухолей. Как и исходная GigaPath, она обрабатывает слайд в два этапа: кодировщик тайлов извлекает локальные визуальные признаки, а кодировщик слайда объединяет эти признаки с их пространственными позициями для моделирования контекста по всей ткани.

Версия Flash заменяет кодировщик тайлов ViT-g GigaPath с примерно одним миллиардом параметров на модель ViT-S/16 с 22 миллионами параметров. Каждый тайл размером 224 на 224 пикселя становится 384-мерным эмбеддингом. Затем отдельный 12-слойный кодировщик слайдов LongNet, содержащий примерно 21 миллион параметров, контекстуализирует эмбеддинги с помощью разреженного внимания, масштабируемого линейно с числом тайлов.

Меньший кодировщик был дистиллирован из замороженной миллиарднопараметрической модели, а не обучен независимо. Исследователи использовали самоконтролируемую цель DINOv2 на изображениях целых слайдов из Providence, перенося представления от более крупной модели-учителя в компактную модель-ученика. Затем кодировщик слайдов предварительно обучили с помощью masked autoencoding, чтобы он учился восстанавливать представление тайла по окружающему слайду.

GigaTIME-Flash служит другой цели. Она принимает тайлы изображений, полученных при рутинном окрашивании гематоксилином и эозином, или H&E, и предсказывает пространственные карты для 21 белкового канала, обычно измеряемого с помощью мультиплексной иммунофлуоресценции. Её выпущенная реализация формирует 23 выходных канала, включая два фоновых канала.

Исходная GigaTIME использовала свёрточную архитектуру U-Net++ с девятью миллионами параметров. Вместо этого GigaTIME-Flash объединяет дистиллированный кодировщик ViT-S со свёрточным декодером с двумя миллионами параметров, всего около 23.8 миллиона параметров. Признаки из четырёх слоёв трансформера поступают на последовательные стадии декодера, сохраняя пространственную детализацию, тогда как большая часть вычислений происходит в низкоразрешающем представлении токенов.

Во время адаптации обучаются только адаптеры LoRA и декодер; остальные параметры кодировщика остаются замороженными. Представленная конфигурация использует ранг LoRA 8, коэффициент масштабирования 16 и dropout 0.1. Обучение проводилось 300 эпох на оборудовании NVIDIA A100 с использованием тех же данных, что и в сравнении исходной GigaTIME.

2. Что показывают бенчмарки

GigaPath-Flash оценивалась на двух общедоступных наборах данных для классификации на уровне слайдов. PANDA тестирует предсказание степени рака простаты по шести классам, а EBRAINS охватывает 30 подтипов опухолей мозга.

Для слайда EBRAINS, содержащего 31,469 тайлов, исследователи оценили вычислительную стоимость GigaPath-Flash в 290.3 TFLOPs по сравнению с 14,367.3 TFLOPs для исходной GigaPath. Её квадратично-взвешенная каппа на PANDA составила 0.947 против 0.965 у GigaPath, а сбалансированная точность на EBRAINS — 0.705 против 0.741.

Среднее этих двух показателей составило 0.826 для GigaPath-Flash и 0.853 для GigaPath. Это служит основанием для утверждения Microsoft, что уменьшенная модель сохраняет примерно 97% средней производительности GigaPath.

GigaPath-Flash также превзошла все включённые в исследование базовые модели, работающие только с тайлами, на обоих бенчмарках. Этим моделям требовался дополнительный компонент multiple-instance learning на основе внимания, чтобы объединять независимые представления тайлов. Среди оценённых моделей, предварительно обученных на уровне целых слайдов, GigaPath-Flash имела наименьшую оценочную стоимость инференса.

Эти сравнения остаются более узкими, чем общая оценка в патологии. Исследователи создали собственные разбиения на обучающую, валидационную и тестовую выборки, обучали каждую последующую модель в течение пяти эпох и представили по одному запуску для каждого набора данных. Поэтому результаты подтверждают контролируемое сравнение эффективности, а не утверждение, что GigaPath-Flash универсально превосходит другие модели во всех задачах патологии.

GigaTIME-Flash тестировалась на 9,204 зарегистрированных тайлах от пяти пациентов с аденокарциномой лёгкого, а также на внерепрезентативных тканевых микрочипах, охватывающих рак мозга, молочной железы, толстой кишки и лёгкого. Каждая внешняя когорта по типу рака включала образцы примерно от 10 до 20 пациентов.

Производительность измерялась с помощью корреляции Пирсона между предсказанной и экспериментально измеренной активацией белков, агрегированной по окнам, приблизительно соответствующим отдельным клеткам. GigaTIME-Flash достигла более высокой средней корреляции, чем GigaTIME, на исходном тестовом наборе и во всех четырёх внешних когортах.

Улучшения не были равномерными для всех белков. GigaTIME-Flash улучшила предсказания для нескольких ядерных, эпителиальных, миелоидных маркеров, маркеров пролиферации и апоптоза. Исходная свёрточная модель оставалась конкурентоспособной для некоторых сосудистых, стромальных и разреженных лимфоидных паттернов, включая CD34, Transgelin, Actin и CD20.

3. Сокращение вычислений в масштабе популяции

Для входного изображения размером 256 на 256 пикселей GigaTIME-Flash требует 14.9 GFLOPs по сравнению с 69.1 GFLOPs для GigaTIME — сокращение примерно в 4.6 раза.

Её преимущество росло при батчинге на NVIDIA A100. Пропускная способность выросла с 60.3 тайла в секунду при размере батча 1 до 1,679.2 тайла в секунду при размере батча 128. Исходная GigaTIME вышла на плато примерно в 390 тайлов в секунду.

При размере батча 128 пиковое потребление памяти GPU составило 2.16 GB для GigaTIME-Flash и 16.68 GB для GigaTIME. Новая модель больше по числу параметров, но её трансформерная основа эффективнее использует матричные операции, которые хорошо распараллеливаются на современных GPU, тогда как исходная модель выполняет плотные свёртки и вложенные skip-операции на картах признаков высокого разрешения.

Microsoft оценивает, что генерация виртуальных карт мультиплексной иммунофлуоресценции для одного миллиона слайдов потребует примерно 70 дней на одном A100 с GigaTIME-Flash, исходя из 10,000 тайлов на слайд и размера батча 128. Соответствующая оценка для GigaTIME составляет около 300 дней. Для 100,000 слайдов оценки равны семи дням и 30 дням соответственно.

Эти цифры являются прогнозами, а не измерениями сквозных запусков на когортах. Фактическое время зависит от размеров слайдов, разрешения тайлинга, предобработки, пропускной способности хранилища, реализации и оборудования.

Масштаб важен, поскольку исходное исследование GigaTIME применило виртуальное предсказание белков к 14,256 пациентам Providence с 24 типами рака и 306 подтипами. Оно создало 299,376 виртуальных белковых карт и сообщило о 1,234 статистически значимых ассоциациях белок–биомаркер. Снижение стоимости инференса делает более осуществимым повторение такого анализа для альтернативных биомаркеров, подмножеств пациентов и когорт валидации.

4. Открытый по весам релиз с практическими условиями

Microsoft и её соавторы выпустили оба чекпойнта Flash и их код под лицензией Apache License 2.0. Веса GigaPath-Flash размещены через организацию Prov-GigaPath на Hugging Face, а GigaTIME-Flash распространяется через организацию Prov-GigaTIME. Публичные репозитории GitHub включают инструкции по загрузке и ноутбуки для инференса.

Доступ к весам ограничен: пользователи должны войти в систему, согласиться с условиями репозитория и предоставить токен Hugging Face с правами только на чтение перед их скачиванием. Это означает, что артефакты имеют открытую лицензию и доступны для изучения после предоставления доступа, однако их нельзя анонимно скачать одним кликом.

Также следует различать лицензию и заявленное целевое использование. Apache 2.0 — разрешительная лицензия на ПО, однако в обеих карточках моделей чекпойнты описаны как исследовательские ресурсы и указано, что развёрнутые применения, коммерческие или иные, выходят за рамки их предполагаемого использования. Материалы не объясняют, как эти рекомендации в карточках моделей должны соотноситься с каждым использованием, разрешённым лицензией, поэтому организациям, рассматривающим развёртывание, следует запросить разъяснения, а не считать «Apache 2.0» доказательством клинического или операционного одобрения.

Ни одна из моделей не валидирована для диагностики, прогноза, выбора лечения или иных решений по уходу за пациентами. Авторы призывают к многоинституциональной и проспективной валидации на разных сканерах, в учреждениях, популяциях пациентов и последующих задачах.

Эта осторожность подтверждается более широкими исследованиями патологии. Независимое исследование 2026 года показало, что фундаментальные модели патологии могут кодировать специфичные для больниц сигнатуры окрашивания, подготовки образцов и сканеров, позволяя последующим системам полагаться на институциональные артефакты вместо биологических признаков. В этом исследовании оценивалась исходная Prov-GigaPath среди более широкого набора моделей, а не GigaPath-Flash, поэтому оно не устанавливает дефект нового релиза. Оно показывает, почему более низкие вычислительные затраты и благоприятные показатели на бенчмарках не могут заменить межсайтовую валидацию.

Частые вопросы

В чём разница между GigaPath-Flash и GigaTIME-Flash?

GigaPath-Flash создаёт контекстуализированные представления целых патологических слайдов. GigaTIME-Flash предсказывает пространственные карты экспрессии белков по рутинным H&E-изображениям.

Насколько GigaPath-Flash меньше?

Её кодировщик тайлов имеет примерно 22 миллиона параметров по сравнению примерно с одним миллиардом в исходной GigaPath. Её кодировщик слайдов имеет примерно 21 миллион параметров по сравнению с 86 миллионами ранее.

Являются ли модели открытыми?

Код и веса опубликованы под Apache 2.0, но скачивание чекпойнтов требует учётной записи Hugging Face и принятия условий доступа. Поэтому наиболее точное описание — «открытые по весам».

Могут ли больницы использовать модели для ухода за пациентами?

Нет. Microsoft и карточки моделей указывают, что модели являются исследовательскими релизами и не предназначены и не валидированы для клинической диагностики, прогноза, выбора лечения или иных решений по уходу.

Прошло ли исследование Flash рецензирование?

Результаты Flash в настоящее время документированы в препринте arXiv. Исследования исходных GigaPath и GigaTIME были опубликованы в Nature и Cell соответственно.

Источники

Share

Поделиться статьёй