O SIECIACH NEURONOWYCH I ROZPOZNAWANIU RUCHU

Zasoby serwerowe z Microsoftu pozwoliły nam rozpocząć prace nad stworzeniem modelu uczących się sieci neuronowych. Język migowy to pokazanie znaku. Wykorzystując Kinecta, rozpoznajemy znaki, składające się na język migowy. Recorder zbiera dane o najważniejszych punktach na ciele, analizuje ich ruch i oznacza współrzędne. Dane te zapisujemy do bazy danych w celu późniejszej analizy. System zbiera dane na potrzeby nauki algorytmów, które wykorzystujemy do rozpoznawania gestów. Dzięki temu, że sieci neuronowe się uczą, dane są rozdzielane na prawidłowe i nieprawidłowe. Nasz system uczy się języka migowego od osób głuchych.

Dziś nasza sieć w ponad 90% poprawnie rozpoznaje proste znaki testowe. Do końca br. system powinien rozpoznawać większość znaków z polskiego języka migowego. Mamy pierwszą wersję awatara. W kolejnych etapach projektu myślimy o przeniesieniu rozwiązania na urządzenia mobilne.

O AWATARZE W URZĘDZIE

Nasz system będzie rozwiązywał problem komunikacji w obu kierunkach czyli będzie rozpoznawał, co osoba niesłysząca miga i przełoży to na tekst lub mowę, a jednocześnie pozwoli zamienić wypowiedziany lub napisany tekst na znaki migowe. Umożliwi obustronną komunikację i będzie mógł zastąpić tradycyjnych tłumaczy.

Na świecie jest ok. 70 mln osób, dla których język migowy jest pierwszym językiem. Moim marzeniem jest, by każdy miał w telefonie swojego awatara, który umożliwiłby mu porozumiewanie się z osobami nieznającymi języka migowego. Nasz system mógłby być też wykorzystywany w polskich urzędach. W Polsce osób niesłyszących jest ok. 470 tys. a tłumaczy jedynie 200-400.

Pod koniec br., kiedy będziemy mieli już gotowy nasz algorytm i go opatentujemy, będziemy mogli stworzyć osobną markę, która zajmie się udostępnianiem innym naszego API. Nasza technologia może być wykorzystana np. do tworzenia rozwiązań, które nie dotyczą języka migowego, takich jak ćwiczenia fitness, nauka sztuk walki, nauka tańca czy rehabilitacja.

O MISJI SPOŁECZNEJ

Migam.pl to nie tylko projekt badawczy. Prowadzimy akcję społeczną mającą na celu aktywizację zawodową osób niesłyszących. Sami zatrudniamy niesłyszących informatyków. Takie osoby myślą obrazami, mają dobrą wyobraźnię i są naprawdę świetnymi specjalistami IT. Moglibyśmy pomagać w ich szkoleniu i przygotowywaniu do pracy w różnych firmach, ułatwiając im wejście na rynek pracy. Wierzę, że branża IT będzie świeciła przykładem i zatrudniała niesłyszących programistów.