В статье, опубликованной в журнале Nature 14 октября 2020 года, ученые из Онкологического центра принцессы Маргарет, Университета Торонто, Стэнфордского университета, Джона Хопкинса, Гарвардской школы общественного здравоохранения, Массачусетского технологического института и др. Бросают вызов научным журналам с просьбой удерживать исследователей в области вычислений. к более высоким стандартам прозрачности и призывают своих коллег делиться своим кодом, моделями и вычислительными средами в публикациях.
«Научный прогресс зависит от способности исследователей тщательно анализировать результаты исследования и воспроизводить основной вывод, на котором можно учиться», – говорит д-р. Бенджамин Хайбе-Каинс, старший научный сотрудник онкологического центра принцессы Маргарет и первый автор статьи. "Но в компьютерных исследованиях это еще не широко распространенный критерий полной доступности деталей исследования ИИ.
Это вредит нашему прогрессу."
Авторы выразили обеспокоенность отсутствием прозрачности и воспроизводимости исследований ИИ после исследования Google Health, проведенного McKinney et al., опубликованная в известном научном журнале в январе 2020 года, утверждалось, что система искусственного интеллекта (ИИ) может превзойти радиологов-людей как по надежности, так и по скорости при скрининге рака груди. Исследование произвело фурор в научном сообществе и вызвало ажиотаж в обществе, заголовки появились в BBC News, CBC, CNBC.
Более внимательное изучение вызвало некоторые опасения: в исследовании отсутствовало достаточное описание используемых методов, включая их код и модели.
Отсутствие прозрачности не позволяло исследователям точно узнать, как работает модель и как они могут применить ее в своих учреждениях.
"На бумаге и в теории McKinney et al. учеба прекрасна ", – говорит доктор. Хайбе-Каинс: "Но если мы не можем извлечь из этого урока, то он не имеет почти никакого научного значения."
По словам доктора. Хайбе-Каинс, который совместно назначен адъюнкт-профессором медицинской биофизики в Университете Торонто и членом Института искусственного интеллекта Vector, это всего лишь один пример проблемной модели в вычислительных исследованиях.
«Исследователи больше заинтересованы публиковать свои открытия, а не тратить время и ресурсы на то, чтобы их исследование можно было воспроизвести», – объясняет д-р. Хайбе-Каинс. «Журналы уязвимы для« ажиотажа »искусственного интеллекта и могут снизить стандарты приема статей, которые не включают все материалы, необходимые для воспроизводимости исследования – часто в противоречии с их собственными руководящими принципами."
Это может фактически замедлить перевод моделей искусственного интеллекта в клинические условия.
Исследователи не могут понять, как работает модель, и продуманно воспроизвести ее. В некоторых случаях это может привести к необоснованным клиническим испытаниям, поскольку модель, которая работает на одной группе пациентов или в одном учреждении, может не подходить для другой.
В статье под названием «Прозрачность и воспроизводимость в искусственном интеллекте» авторы предлагают множество фреймворков и платформ, которые позволяют безопасно и эффективно обмениваться данными, чтобы поддерживать три столпа открытой науки, чтобы сделать исследования ИИ более прозрачными и воспроизводимыми: обмен данными, обмен компьютерным кодом и обмен прогнозными данными. модели.
«Мы возлагаем большие надежды на полезность ИИ для наших онкологических больных», – говорит д-р. Хайбе-Каинс. "Делиться нашими открытиями и опираться на них – это настоящее научное влияние."