Рейтинг@Mail.ru
SIGNification
Система распознавания и интерактивного обучения языку жестов.

Описание идеи



1. Почему мы делаем этот проект.



Язык жестов — самостоятельный язык, состоящий из комбинации жестов, каждый из которых производится руками в сочетании с мимикой, формой или движением рта и губ, а также в сочетании с положением корпуса тела. Он является одним из самых популярных языков мире. В России на этом языке говорит более 150000 человек, а количество людей в мире владеющих тем или иным языком жестов сопоставимо с владеющими другим международным языком - эсперанто.

Знание языка жестов дает следующие плюсы:

  • Возможность общаться, когда необходимо соблюдать тишину;
  • Развивает нестандартное мышление и образную память;
  • Новая область исследований компьютерной лингвистики.

Текущие существующие решения обучения ЯЖ основаны на удаленной проверке правильности выполнения заданий живым преподавателем, что сказывается на сроках, качестве и цене обучения. Использование обучающего курса, построенного на автоматической системе распознавания, позволит избежать недостатков классического подхода к изучению.

2. Что делаем



Разрабатываемая система позволит распознавать различные аспекты жеста: движение головы, рук, кистей, мимику, – что позволит увеличить объем распознаваемой лексики и снизить количество ошибок распознавания. Кроме того, будет разработан базовый недельный курс, который используя механики геймификации позволит сделать процесс изучения языка жестов более увлекательным.

Цели проекта:



  • создание доступной платформы для обучения, распознавания и перевода языка жестов;
  • популяризация языка жестового общения;
  • привлечение внимания к проблемам общения и социальной интеграции слабослышащих.


3. Как делаем



Распознавание различных "уровней" жеста будет выполнено с использованием различных датчиков и сенсоров. Для распознавания уровня "тела" и "руки" достаточно использования "грубых" датчиков, распознающих положение "скелета" человека (Kinect, OpenCV).
Для распознавания уровня "ладони" можно использовать как специализированные датчики (leap motion, RealSense), так и программную реализацию и различные SDK. Для распознавания выражения лица подходят как спец датчики и SDK (RealSense etc), так и собственные разработки, распознающие необходимое подмножество распознаваемых выражений.
Специализированные датчики позволят достичь повышенной точности, которая может быть необходима на этапе обучения системы распознавания, в процесс изучения языка, можно использовать более простые решения на основе оптических стереопар и OpenCV.
Комментарии
8 июня 2016 г. 21:23

разбирались почему этого еще никто не сделал? может есть непреодалимые сложности какие то?

8 июня 2016 г. 22:43

Для слабослышащих есть такое приложение: https://play.google.com/store/apps/details?id=ru.yandex.subtitles&hl=ru . Просто вряд ли люди, не страдающие этой проблемой, станут учить язык жестов, а вот такой подход, как у яндекс разговора, в этом плане логичнее

10 июня 2016 г. 13:36

Есть несколько путей для разработки данной темы:
1) приложение "речь -> текст", чтобы люди могли общаться между собой
2) платформа обучения языку жестов.

В данном проекте, делается акцент именно на создании обучающей платформы. Среди моих знакомых есть довольно большое количество людей, которые заинтересованы в такой программе.

18 июня 2016 г. 0:46

Классный проект, я бы сказал благоТворительный! Удачи