Эти результаты были опубликованы сегодня в Scientific Reports.
«Наши голоса помогают соединить нас с нашими друзьями, семьей и миром вокруг нас, поэтому потеря силы голоса из-за травмы или болезни так разрушительна», – сказал Нима Месгарани, доктор философии, старший автор статьи и главный исследователь. в Мортимере B Колумбийского университета. Zuckerman Mind Brain Behavior Institute. "Благодаря сегодняшнему исследованию у нас есть потенциальный способ восстановить эту силу. Мы показали, что с помощью правильной технологии мысли этих людей могут быть расшифрованы и поняты любым слушателем."
Десятилетия исследований показали, что, когда люди говорят – или даже воображают, что говорят, – в их мозгу появляются характерные закономерности активности. Отчетливый (но узнаваемый) образец сигналов также появляется, когда мы слушаем, как кто-то говорит, или представляем, что слушаем. Эксперты, пытающиеся записать и расшифровать эти закономерности, видят будущее, в котором мысли не обязательно будут оставаться скрытыми внутри мозга, а вместо этого могут быть по желанию переведены в устную речь.
Но совершить этот подвиг оказалось непросто.
Ранние попытки расшифровать сигналы мозга доктора. Месгарани и другие сосредоточились на простых компьютерных моделях, которые анализировали спектрограммы, которые представляют собой визуальные представления звуковых частот.
Но поскольку этот подход не дал ничего похожего на внятную речь, доктор. Вместо этого команда Месгарани обратилась к вокодеру, компьютерному алгоритму, который может синтезировать речь после обучения на записях разговоров людей.
«Это та же технология, которую используют Amazon Echo и Apple Siri для устных ответов на наши вопросы», – сказал д-р. Месгарани, который также является адъюнкт-профессором электротехники в Колумбийской школе инженерии и прикладных наук Fu Foundation.
Чтобы научить вокодер интерпретировать мозговую активность, доктор. Месгарани объединился с Ашешем Динеш Мехтой, доктором медицины, нейрохирургом из Института нейробиологии Northwell Health Physician Partners и соавтором сегодняшней статьи.
Доктор. Мехта лечит пациентов с эпилепсией, некоторым из которых необходимо регулярно делать операции.
"Работа с доктором.
Мехта, мы попросили пациентов с эпилепсией, уже перенесших операцию на головном мозге, послушать предложения, произносимые разными людьми, в то время как мы измеряли паттерны мозговой активности ", – сказал доктор. Mesgarani. "Эти нейронные паттерны обучили вокодер."
Затем исследователи попросили тех же пациентов послушать говорящих, произносящих цифры от 0 до 9, при этом записывая сигналы мозга, которые затем можно было пропустить через вокодер.
Звук, производимый вокодером в ответ на эти сигналы, анализировался и очищался нейронными сетями, типом искусственного интеллекта, который имитирует структуру нейронов в биологическом мозге.
Конечным результатом стал роботизированный голос, который произносил последовательность цифр. Чтобы проверить точность записи, Dr.
Месгарани и его команда поручили людям прослушать запись и сообщить о том, что они услышали.
«Мы обнаружили, что люди могут понимать и повторять звуки примерно в 75% случаев, что намного превосходит любые предыдущие попытки», – сказал д-р.
Mesgarani. Улучшение разборчивости было особенно очевидно при сравнении новых записей с более ранними попытками, основанными на спектрограммах. "Чувствительный вокодер и мощные нейронные сети с удивительной точностью воспроизводили звуки, которые пациенты изначально слышали."
Доктор. Месгарани и его команда планируют в следующий раз протестировать более сложные слова и предложения, и они хотят провести те же тесты на сигналах мозга, которые излучаются, когда человек говорит или воображает, что говорит.
В конечном итоге они надеются, что их система может быть частью имплантата, подобного тем, который носят некоторые пациенты с эпилепсией, который переводит мысли владельца прямо в слова.
«В этом сценарии, если владелец думает:« Мне нужен стакан воды », наша система может принять сигналы мозга, генерируемые этой мыслью, и превратить их в синтезированную вербальную речь», – сказал доктор.
Mesgarani. "Это изменит правила игры. Это даст любому, кто потерял способность говорить, будь то из-за травмы или болезни, новый шанс на связь с окружающим миром."