Мозговые сигналы прямо в речь с помощью речевого робота переводят исследователи

В революционном исследовании, опубликованном в журнале Scientific Reports , Инженеры из Колумбийского университета в Нью-Йорке описывают систему, способную контролировать деятельность мозга человека и переводить мысли в четкую речь.

«Наши голоса помогают связать нас с нашими друзьями, семьей и окружающим миром, поэтому потеря силы голоса из-за травмы или болезни настолько разрушительна», – сказала Нима Месгарани, доктор философии, старший автор статьи и руководитель следователь из Института психического поведения Мортимера Б. Цукермана.

Мозговые сигналы и речь

С некоторыми дальнейшими изменениями и обновлениями система, построенная с использованием доступных в настоящее время синтезаторов речи и искусственного интеллекта, может вскоре стать спасательным кругом для людей, которые потеряли способность говорить из-за инсульта или заболеваний, таких как боковой амиотропный склероз (БАС).

Кроме того, способность преобразовывать паттерны мозга, которые коррелируют с речью, как слышимой, так и производимой, может оказаться чрезвычайно полезной для исследователей, работающих над приложениями интерфейса мозг-компьютер (BCI).

Эксперименты и результаты

Для исследования Нима Месгарани и его коллеги набрали группу пациентов с эпилепсией, перенесших операцию на головном мозге, которых попросили выслушать предложения, произносимые разными людьми, в то время как исследовательская группа измеряла активность их мозга.

Затем участники слушали выступающих, которые читали цифры от 0 до 9, записывая свои мозговые сигналы, которые затем подавались в вокодер – компьютерный алгоритм, способный синтезировать речь после обучения записи разговоров людей (та же технология используется Amazon Echo и Apple Siri). После некоторой очистки звук, звучащий роботом, был успешно распознан 75% участников, что превышает любые предыдущие попытки.

Эта технология принесет людям огромную пользу

Теперь команда планирует провести дальнейшие эксперименты с использованием более сложных предложений, в надежде на то, что в конечном итоге система будет использоваться как часть имплантата, подобного тем, которые носят люди с эпилепсией, которые будут переводить мысли непосредственно в речь.

«В этом сценарии, если владелец думает: «Мне нужен стакан воды», наша система может воспринимать сигналы мозга, генерируемые этой мыслью, и превращать их в синтезированную словесную речь», – сказал доктор Месгарани. «Это изменит правила игры. Это дало бы каждому, кто потерял способность говорить, будь то из-за травмы или болезни, новый шанс соединиться с окружающим миром».