Теперь новый инструмент, разработанный исследователями USC Viterbi Engineering, генерирует автоматические индикаторы, если данные и прогнозы, созданные с помощью алгоритмов искусственного интеллекта, заслуживают доверия. Их исследовательская работа «Все-таки есть надежда: количественная оценка мнения и надежности нейронных сетей», написанная Минкси Ченг, Шахин Назарян и Пол Богдан из USC Cyber Physical Systems Group, была опубликована в Frontiers in Artificial Intelligence.
Нейронные сети – это тип искусственного интеллекта, который моделируется по образцу мозга и генерирует прогнозы. Но можно ли доверять прогнозам, которые генерируют эти нейронные сети?? Одним из ключевых препятствий для внедрения беспилотных автомобилей является то, что транспортные средства должны действовать как независимые лица, принимающие решения в отношении автопилота, и быстро расшифровывать и распознавать объекты на дороге – будь то лежачий полицейский или неодушевленный объект. , домашнее животное или ребенок – и принимать решения о том, как действовать, если к нему сворачивает другой автомобиль. Если автомобиль ударится о встречный автомобиль или свернет и ударит то, что автомобиль воспринимает как неодушевленный предмет или ребенка?
Можем ли мы доверять компьютерному программному обеспечению в транспортных средствах, чтобы принимать обоснованные решения за доли секунды, особенно когда противоречивая информация поступает от различных способов восприятия, таких как компьютерное зрение с камер или данные с лидара? Знание, каким системам доверять и какая система зондирования является наиболее точной, может помочь определить, какие решения должен принять автопилот.
Ведущий автор Мингси Ченг был вынужден работать над этим проектом следующей мыслью: «Даже люди могут быть нерешительными в определенных сценариях принятия решений. В случаях, связанных с противоречивой информацией, почему машины не могут сказать нам, когда они не знают?"
Созданный авторами инструмент под названием DeepTrust может количественно оценить степень неопределенности ", – говорит Пол Богдан, доцент кафедры электротехники и вычислительной техники Мин Се и автор-корреспондент, и, следовательно, при необходимости вмешательства человека.
Разработка этого инструмента заняла почти два года исследовательской группы USC, которая использовала так называемую субъективную логику для оценки архитектуры нейронных сетей. В одном из своих тестовых примеров, опросах, проведенных на президентских выборах 2016 года, DeepTrust обнаружил, что прогноз, указывающий на победу Клинтона, имел больший предел ошибки.
Другое значение этого исследования заключается в том, что оно дает представление о том, как проверить надежность алгоритмов ИИ, которые обычно обучаются на тысячах и миллионах точек данных.
Было бы невероятно много времени, чтобы проверить, точно ли помечена каждая из этих точек данных, которые информируют прогнозы ИИ. По мнению исследователей, более важным является то, что архитектура этих нейросетевых систем имеет большую точность. Богдан отмечает, что, если компьютерные специалисты хотят одновременно добиться максимальной точности и доверия, эта работа также может служить ориентиром для определения того, сколько «шума» может быть в тестируемых образцах.
Исследователи считают эту модель первой в своем роде. Богдан говорит: «Насколько нам известно, не существует модели количественной оценки доверия или инструмента для глубокого обучения, искусственного интеллекта и машинного обучения. Это первый подход и открывает новые направления исследований.Он добавляет, что этот инструмент может сделать «искусственный интеллект осведомленным и адаптивным."