Когда алгоритм был протестирован на другой партии рентгеновских снимков горы Синай, он работал превосходно, точно выявляя пневмонию в 93% случаев. Но Оерманн также протестировал его на десятках тысяч изображений пациентов с двух других сайтов: Клинического центра Национального института здоровья в Бетесде и Сети помощи пациентам штата Индиана. С рентгеновскими снимками из тех мест, где уровень заболеваемости пневмонией только что превысил 1%, показатель успеха снизился с 73% до 80%, сообщила команда в прошлом году в PLOS Medicine. “Это не сработало так хорошо, потому что пациенты в других больницах были другими”, - говорит Оерманн.

На горе Синай многие инфицированные пациенты были слишком больны, чтобы вставать с постели, и поэтому врачи использовали портативный рентгеновский аппарат грудной клетки. Портативные рентгеновские снимки выглядят совсем не так, как те, которые создаются, когда пациент стоит. Из-за того, что он узнал из рентгеновских снимков горы Синай, алгоритм начал ассоциировать портативный рентген с болезнью. Он также ожидал высокого уровня пневмонии, что привело к ошибочным диагнозам.

Было опубликовано несколько многосайтовых исследований, подобных Oermann, и в "дорожной карте" за прошлый месяц это вызвало беспокойство. В этом году южнокорейская команда опубликовала в Korean Journal of Radiology анализ 516 исследований алгоритмов ИИ, предназначенных для интерпретации медицинских изображений. Авторы обнаружили, что только в 6% исследований их алгоритм проверялся более чем в одной больнице. “Это очень тревожно”, - говорит Элейн Нсоеси, компьютерный эпидемиолог из Бостонского университета. Даже марка сканера имеет значение, поскольку рисунок пикселей может меняться, нарушая то, как ИИ оценивает изображение.
Источник https://robotsforpeople.blogspot.com/