Российские ученые усомнились в надежности большинства ИИ-моделей для прогнозирования рецидива рака

Исследователи из России разработали новаторский подход, позволяющий оценивать надежность работы алгоритмов машинного обучения, специализирующихся на оценке вероятности рецидива рака. Проведенные с его помощью проверки показали, что подавляющее большинство подобных моделей выдает результаты, близкие к случайным, что ставит под сомнение их практическую ценность.

В последние годы наблюдается бурный рост интереса к использованию искусственного интеллекта (ИИ) в медицине, в том числе для прогнозирования риска рецидива рака на основе данных об экспрессии генов в опухолевых клетках. Однако, до сих пор отсутствовали надежные методы оценки того, насколько хорошо эти алгоритмы действительно предсказывают рецидив, а не просто подстраиваются под случайные шумы в данных.

«Наш тест может стать важным инструментом для проверки надежности алгоритмов в биологии и медицине. Он помогает избежать ложных выводов и сосредоточиться на моделях, которые действительно находят важные закономерности, что критично для принятия решений о лечении пациентов», — пояснил профессор НИУ ВШЭ (Москва) Александр Тоневицкий.

Руководствуясь этой идеей, ученые подобрали такой набор случайно сгенерированных данных, который позволял наиболее оптимальным и точным образом оценивать влияние случайных шумов на работу систем медицинского ИИ.

Результаты оказались весьма тревожными: оказалось, что подавляющее большинство классификаторов не выявляли реальных различий между пациентами с рецидивом и без него, причем при дополнительной проверке 559 из 570 моделей показали случайные результаты.

В то же время, исследователям удалось выявить и небольшое число надежных систем ИИ, способных реально оценивать вероятность развития рака груди и других форм новообразований по особенностям в работе генов ELOVL5 и IGFBP6 и других участков ДНК.