В НГУ обучили искусственный интеллект переводить жестовый язык в текст

В пресс-службе новосибирского университета сообщили, что приложение «работает на компьютере в режиме реального времени и на мобильных устройствах».

Ярослав Чеканов, студент третьего курса Института интеллектуальной робототехники НГУ, создал программу, позволяющую переводить жесты в текст. Приложение основано на технологиях искусственного интеллекта, работает на ПК в режиме реального времени и на мобильных устройствах. В дальнейшем Ярослав планирует доработать модель, сделав ее более устойчивой, добавить больше жестов для перевода и обратный перевод, сообщает пресс-служба вуза.

«Для создания приложения, над которым я работал самостоятельно, мне пришлось изучить русский жестовый язык. Очень трудоемкой была задача собирать огромный датасет (массив данных для обучения модели) и сделать тестовое решение на нем. Однако оно оказалось удачным, — делится Ярослав. — Я собрал приложение в исполняемый файл. Оно читает изображение с видеокамеры до момента, пока не будет закончен перевод, который в дальнейшем выводится на экран»

Талантливый студент считает, что его проект имеет важное социальное значение. «Он не только способствует инклюзивности, но и открывает новые возможности взаимодействия для людей с ограниченными возможностями. Кроме того, проект может быть интересен специалистам в области обучения жестовому языку, машинного обучения и лингвистам, изучающим эту форму коммуникации», — рассказывает Ярослав Чеканов.