«Что мы сделали, так это записали сложные паттерны нервного возбуждения во вторичной слуховой коре, связанные с тем, что приматы слышат определенные слова», – сказал Арто Нурмикко, профессор инженерной школы Брауна, научный сотрудник Института мозга Карни Брауна. Наука и старший автор исследования. "Затем мы используем эти нейронные данные, чтобы восстановить звучание этих слов с высокой точностью.
«Главная цель – лучше понять, как звук обрабатывается в мозгу приматов, – добавил Нурмикко, – что в конечном итоге может привести к новым типам нейронного протезирования."
Системы мозга, участвующие в первичной обработке звука, у людей и приматов похожи. Первый уровень обработки, который происходит в так называемой первичной слуховой коре, сортирует звуки в соответствии с такими атрибутами, как высота или тон.
Затем сигнал перемещается во вторичную слуховую кору, где обрабатывается дальше. Например, когда кто-то слушает произносимые слова, здесь звуки классифицируются по фонемам – простейшим функциям, которые позволяют нам отличать одно слово от другого.
После этого информация отправляется в другие части мозга для обработки, которая позволяет человеку понимать речь.
Но поскольку эта ранняя стадия обработки звука похожа у людей и нечеловеческих приматов, изучение того, как приматы обрабатывают слова, которые они слышат, полезно, даже если они, вероятно, не понимают, что эти слова означают.
Для исследования два имплантата размером с горошину с 96-канальным набором микроэлектродов регистрировали активность нейронов, в то время как макаки-резус слушали записи отдельных английских слов и криков макак.
В этом случае макаки слышали довольно простые односложные или двухсложные слова – «дерево», «добро», «север», «сверчок» и «программа»."
Исследователи обработали нейронные записи с помощью компьютерных алгоритмов, специально разработанных для распознавания нейронных паттернов, связанных с определенными словами. Оттуда нейронные данные могут быть переведены обратно в компьютерную речь. Наконец, команда использовала несколько показателей, чтобы оценить, насколько точно восстановленная речь соответствовала исходному произнесенному слову, которое слышала макака.
Исследование показало, что записанные нейронные данные позволили произвести реконструкции с высокой точностью, которые были понятны слушателю-человеку.
Исследователи говорят, что использование многоэлектродных матриц для записи такой сложной слуховой информации было первым.
«Ранее в ходе работы собирались данные из вторичной слуховой коры с помощью отдельных электродов, но, насколько нам известно, это первая многоэлектродная запись с этой части мозга», – сказал Нурмикко. "По сути, у нас есть около 200 микроскопических постов для прослушивания, которые могут предоставить нам требуемые объем и более высокое разрешение данных."
Одна из целей исследования, эксперименты по которому проводил докторант Джихун Ли, заключалась в том, чтобы проверить, работает ли какой-либо конкретный алгоритм модели декодирования лучше других.
Исследование, проведенное в сотрудничестве с Уилсоном Тракколо, экспертом в области вычислительной нейробиологии, показало, что рекуррентные нейронные сети (RNN) – тип алгоритма машинного обучения, часто используемый в компьютерном переводе на язык, – дают реконструкцию с высочайшей точностью. RNN значительно превзошли более традиционные алгоритмы, которые показали свою эффективность при декодировании нейронных данных из других частей мозга.
Кристофер Хилан, научный сотрудник Brown и соавтор исследования, считает, что успех сетей RNN обусловлен их гибкостью, которая важна для декодирования сложной слуховой информации.
«Более традиционные алгоритмы, используемые для нейронного декодирования, делают сильные предположения о том, как мозг кодирует информацию, и это ограничивает способность этих алгоритмов моделировать нейронные данные», – сказал Хилан, который разработал вычислительный инструментарий для исследования. "Нейронные сети делают более слабые предположения и имеют больше параметров, что позволяет им изучать сложные взаимосвязи между нейронными данными и экспериментальной задачей."
В конечном итоге, как надеются исследователи, такого рода исследования могут помочь в разработке нейронных имплантатов, которые могут помочь в восстановлении слуха людей.
«Желательный сценарий заключается в том, что мы разрабатываем системы, которые обходят большую часть слухового аппарата и попадают непосредственно в мозг», – сказал Нурмикко. «Те же микроэлектроды, которые мы использовали для регистрации нейронной активности в этом исследовании, однажды могут быть использованы для подачи небольшого количества электрического тока в паттернах, которые дадут людям ощущение того, что они слышали определенные звуки."
Исследование поддержано U.S. Агентство перспективных оборонных исследовательских проектов (N66001-17-C-4013) и частный подарок Брауну.