Учёные разработали технологию, переводящую мысли в устную речь
«С помощью речи мы взаимодействуем друг с другом, с нашими друзьями, семьёй, окружающим миром, поэтому нарушение или утрата голоса становится очень сильным ударом для человека, — говорит Нима Месгарани, автор исследования, профессор Колумбийского университета. — Но уже скоро мы сможем вернуть утраченную способность. При правильном использовании нашей технологии мысли людей могут быть расшифрованы и воспроизведены, сделав их понятными слушателю».
Десятилетия исследований показали, что когда люди говорят или воображают в их мозгу появляются характерные шаблоны активности. Четкая узнаваемая схема сигналов также возникает, когда мы слушаем чужую речь или вспоминаем услышанное.
Учёные давно пытались записать и расшифровать эти паттерны, чтобы в последствии перевести их в устную речь, но до недавнего времени совершить прорыв никому не удавалось.
Ранние попытки расшифровать сигналы мозга были сосредоточены на простых компьютерных моделях, которые анализировали спектрограммы, являющиеся визуальным представлением звуковых частот. Однако, этот подход не дал ничего похожего на понятную речь. Команда доктора Месгарани пошла иным путём и обратилась к вокодеру — компьютерному алгоритму, который может синтезировать речь после обучения по записи разговоров людей. «Это та же технология, которая используется в голосовых помощниках Amazon Echo и Apple Siri для устного ответа на наши вопросы», — отвечает доктор Месгарани.
Чтобы научить вокодер интерпретировать мозговую деятельность, доктор Месгарани объединился с Ашешем Динеш Мехта, доктором медицины, нейрохирургом в Институте нейробиологии Northwell Health Physician Partners. Доктор Мехта лечит пациентов с эпилепсией, некоторые из которых должны регулярно проходить операции.
«Работая с доктором Мехтой, мы попросили пациентов, страдающих эпилепсией, уже перенесших операцию на головном мозге, выслушать предложения разных людей, в то время как мы измерили закономерности мозговой активности, — говорит Месгарани. — Эти нейронные паттерны стали основой для тренировки вокодера».
Затем исследователи попросили тех же пациентов прослушать динамики, произносящие цифры от 0 до 9, во время записи сигналов мозга, которые затем можно было бы пропустить через вокодер. Звук, производимый вокодером в ответ на эти сигналы, анализировался и очищался с помощью нейронных сетей — одного из типов искусственного интеллекта.
Конечным результатом был роботизированный голос, повторяющий последовательность чисел. Чтобы проверить точность записи, доктор Месгарани и его команда попросили коллег и добровольцев прослушать запись и сообщить, что они услышали.
«Мы обнаружили, что люди могут понимать и повторять звуки примерно в 75% случаев, что значительно превосходит любые предыдущие попытки, — уверяет Месгарани. Чувствительный вокодер и мощные нейронные сети представляли звуки, которые пациенты первоначально слушали с удивительной точностью». Улучшение разборчивости было особенно очевидным при сравнении новых записей с более ранними попытками, основанными на спектрограмме.
Доктор Месгарани и его команда планируют протестировать более сложные слова и предложения, и планируют выполнить те же тесты для сигналов мозга, излучаемых, когда человек говорит или воображает речь. В конечном счете, учёные надеются, что в ближайшей перспективе разработанная ими система может стать частью имплантата, способного переводить мысли владельца в слова.
Источник: Science Daily
