Алексей Приходько — единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на письменный язык.
Он уже создал прототип системы, которая переводит на уровне азбуки глухих. На десять миллионов от гранта Президента РФ Алексей планирует обучить программу другим компонентам грамматики русского жестового языка, чтобы довести ее до готового продукта для широкого использования. «Я — исполнитель, я же — и разработчик. Представьте, если бы я занимался пианино, я не смог бы ремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка. Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики», — объясняет разработчик.
Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод. Помимо встроенной функции переводчика, система способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.
Комментарии (0)