Российский программист научил компьютер переводить с языка жестов

Российский программист, выпускник Новосибирского государственного технического университета (НГТУ НЭТИ), разработал алгоритм, позволяющий компьютеру переводить жестовую азбуку глухих людей на письменный русский язык. Об этом сообщает сайт вуза.

Глухой программист Алексей Приходько из Новосибирска победил на российском конкурсе «Цифровой прорыв» с проектом «Жестовый интерфейс». Его программа позволяет человеку с нарушениями слуха управлять компьютером на языке жестов, который с помощью специальных камер переводится на обычный русский.

«Помимо встроенной функции переводчика, движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши», – говорится в сообщении.

До этого ни одна программа не могла заменить живого переводчика из-за сложности грамматики жестового языка. В нем значение имеют не только движения рук, но и других элементов артикуляции, например, выражения лица и движения губ.

«С письменного языка на жестовый переводить не сложно. Технически тяжело распознать жесты и их перевести. Все зависит еще от того, какая камера и какие датчики. Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система – это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Я пошел сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер», – рассказал Алексей Приходько.

В настоящее время прототип алгоритма способен переводить азбуку жестового языка. В течение ближайших двух лет программист хочет научить программу распознавать и переводить целые слова и выражения.

Ранее сообщалось, что в Нур-Султане врач открыл необычное кафе, где работают слабослышащие люди.