Сигналы мозга преобразовали в членораздельную речь

Сотрудники Колумбийского университета в США воплотили в реальность идею о воспроизведении мозговой активности посредством устной речи. Созданная ими система отслеживает активность мозга и преобразовывает сигналы в слова, Соответствующая статья опубликована в журнале Developmental Science.

Для реализации проекта ученые из США прибегли к помощи вокадера – специального алгоритма, он синтезирует устную речь после обучения на основе разговоров людей. Данная система используется в таких программах, как Amazon Echo и Apple Siri.

Для обучения вокадера понимать сигналы мозга, для исследования были привлечены пациенты с эпилепсией, которые уже перенесли операции на мозге. Они прослушивали записи с речью людей, параллельно отслеживая их мозговую деятельность. Затем эти же пациенты слушали запись, в которой произносились цифры от 0 до 9. Сигналы мозга также фиксировались учеными, а потом перерабатывались в вокадере.

Эксперимент позволил создать технологию, способную преобразовать мозговую активность в устную речь. Пока таким способом удалось перевести в слова только цифры от 0 до 9.

Для оценки качества речи роботизированного голоса были приглашены добровольцы. 75% всей устной речи было воспринято без каких-либо трудностей, что превзошло все ожидания ученых из США.

В дальнейшем технологию по воспроизведению устной речи обучат воспроизводить сложные слова и предложения. Преобразователь сигналов мозга в речь, как полагают ученые, поможет людям, которые потеряли возможность говорить из-за травм или болезни.