В Великобритании ученые из Университета Суррея представили нейросеть, способную превращать текст в видео с человеком, показывающим его на языке жестов.
Препринт с соответствующим исследованием опубликовали на arXiv.
Разработчики создали алгоритм, который может переводить текст на жестовый язык. В частности нейросеть отдельно учится вырисовывать кисти рук, потому что именно они важны для точно сурдоперевода. Далее текст проходит через кодирование и превращается в скелетную модель тела, которая показывает текст жестами. После этого последовательность поз кодируется в вектор, а тот объединяется с изображением человека, которое нужно анимировать. Тогда последовательность поз передается на нейросеть U-Net, которая превращает изменение поз в реалистичное видео.
Созданный алгоритм совершенствует собственные навыки, анализируя, насколько удачно сделал скелетную модель тела, и улучшает ее в следующий раз.
ЧИТАЙТЕ ТАКЖЕ: Создали приложение для понимания кошачьего языка
По данным Всемирной федерации глухонемых, различные нарушения слуха проявляются у каждого 9-го жителя планеты.
На планете кроме 2,5 тыс. языков, есть еще одна форма общения - язык взгляда и жестов. Всемирная Федерация глухих в 1950-х для обслуживания международных мероприятий глухих, то есть конгрессов, симпозиумов, конференций, в том числе и спортивных, разработала Жестуно - систему жестов.
2 
79692
Комментарии