Miganie na ekranie

Na Politechnice Śląskiej jest realizowany pionierski projekt budowy systemu mającego tłumaczyć teksty pisane na język migowy.

Na Politechnice Śląskiej jest realizowany pionierski projekt budowy systemu mającego tłumaczyć teksty pisane na język migowy.

Od początku było dla nas ważne, że prace, które podjęliśmy, mogą naprawdę ułatwić życie dużej grupie osób potrzebujących. Wielu z nas - pracujących na uczelni - uczestniczyło już przecież w różnych projektach, które niczemu pożytecznemu nie służyły" - mówi dr Przemysław Szmal, kierownik projektu systemu tłumaczenia komputerowego z języka polskiego na język migowy. W Polsce żyje ok. 50 tys. osób niesłyszących lub głuchoniemych, dla których podstawowym środkiem porozumiewania się jest język migowy. System, tworzony w Zakładzie Oprogramowania Instytutu Informatyki na Politechnice Śląskiej, miałby stanowić ułatwienie w kontaktach tych osób ze światem zewnętrznym.

Osoby niesłyszące najpierw uczą się języka migowego. Czytanie i pisanie spra- wia im kłopoty - dla nich jest to język obcy. Językiem pisanym posługują się zatem mniej wprawnie. Trudności sprawia nie tylko skojarzenie danego słowa z konkretnym pojęciem (głuchoniemi posługują się przecież gestami, nie słowami), lecz również zrozumienie sensu zdania. "To skala trudności podobna do tej, jaką ma przed sobą Europejczyk, który chcąc odczytać pismo chińskie lub japońskie, spotyka się ze sposobem opisu rzeczywistości zupełnie odmiennym od tego, do którego jest przyzwyczajony" - wyjaśnia Przemysław Szmal.

Miganie na ekranie

Celem projektu było stworzenie progra-mu - translatora, który tłumaczyłby tekst pisany na język migowy. Na wyjściu ma pojawiać się ruchomy obraz stworzony za pomocą animacji komputerowej. Początkowo myślano o wykorzystaniu łączonych na bieżąco wcześniej nagranych sekwencji wideo poszczególnych gestów. Poważnym problemem było jednak utrzymanie płynności obrazu bez stosowania "ręcznego sterowania".

By na ekranie pojawił się migowy odpowiednik tekstu, trzeba zastosować rozwiązania lingwistyki komputero- wej w zakresie przetwarzania języka naturalnego. Tą stroną projektu zajmuje się dr Nina Suszczańska z Politechniki Śląskiej.

Najpierw trzeba określić treść wypowiedzi źródłowej na podstawie jej automatycznej analizy lingwistycznej. Dopiero po analizie można ustalić odpowiednik w języku migowym (nie jest to aż tak skomplikowane, jak w przypadku tłumaczenia z języka na język, ale szyk zdania migowego jest na ogół inny niż w języku naturalnym, zaś poszczególne elementy struktury zdania są określane przez odmienne mechanizmy językowe). Wymaga to, jeśli nie samego rozumienia tekstu, to przynajmniej dokonania analizy semantycznej oraz odnalezienia związków syntaktycznych pomiędzy jednostkami strukturalnymi zdania. Co ciekawe, języki migowe w różnych krajach również w pewnym stopniu się różnią. Tworzony system będzie jednak można zaadaptować do obsługi także tych innych języków.

Tajniki mignięć

Budowa zdania migowego ma strukturę pozycyjną, tj. o znaczeniu zdania decyduje porządek wyrazów, wyrazy zaś mają prawie zawsze tylko jedną formę gramatyczną.

Istnieje wiele znaków ("mignięć") złożonych, w których - podobnie jak w języku angielskim - słowa tworzy się przez łączenie dwu innych (np. apteka = lekarstwo +sklep). Sprawiają trudności takie rozwiązania, jak np. zaimek "my", który miga się na różne sposoby, zależnie od tego, jakiej liczby osób to "my" dotyczy. Nazwy własne zaś na ogół nie mają oddzielnych znaków i potrzebna jest do ich rozumienia wiedza zewnętrzna (np. połączenie Anglii i stolicy oznacza Londyn). Dlatego program tłumaczący musi dysponować źródłami wiedzy zewnętrznej.

Przede wszystkim potrzebny jest dokładny zapis znaków gestykulacyjnych określających litery, liczby, całe słowa czy nawet krótkie zwroty. Jest to tzw. gestogram. Opisuje on dokładnie położenie palców obu rąk, miejsce ułożenia rąk oraz ich ruch.

Problem translacji tekstu na język migowy do tej pory nigdzie w pełni nie został rozwiązany. Politechnika Śląska jest jednym z nielicznych ośrodków, gdzie prowadzone są nad nim badania naukowe. W transformacji wypowiedzi na język migowy wykorzystano osiągnięcia Ośrodka Szkolno-Wychowawczego dla Głuchych im. Jana Siestrzyńskiego w Warszawie (w tym badania dr. Bogdana Szczepankowskiego) oraz dr Doroty Gąbały-Pustoszkin z Gliwic, pracującej z głuchoniemymi dziećmi. "Pomysł zajęcia się tym problemem powstał na uniwersytecie w Lille we Francji, z którym współpracujemy przy realizacji naszego projektu" - mówi Przemysław Szmal.

System dla głuchych

Docelowo praktycznym aspektem re- alizacji projektu ma być zaimplemen- towanie konstruowanego programu w urządzeniu stanowiącym interfejs komunikacyjny dla głuchoniemych. Takie urządzenie przynajmniej początkowo byłoby dość drogie, dlatego znajdzie zastosowanie w instytucjach publicznych. "Pierwsza wersja systemu jest tworzona z myślą o służbie zdrowia" - mówi Przemysław Szmal. W realizowanym pro- jekcie zawężono zakres tłumaczonych słów do zagadnień odnoszących się do pierwszej pomocy medycznej. Automatyczne tłumaczenie może również pomóc w zapewnieniu dyskrecji przy załatwianiu spraw osobistych, ponieważ nie trzeba będzie angażować tłumacza. Przeprowadzono już pierwsze rozmowy z jedną ze śląskich firm wytwarzających spec- jalistyczny sprzęt dla osób niepełnosprawnych na temat budowy takiego urządzenia. "Nawet bez pomocy zewnętrznej system lub jego elementy mogą znaleźć zastosowanie w dydaktyce, np. do szkolenia tłumaczy języka migowego czy nauki czytania i pisania osób niesłyszących" - twierdzi Przemysław Szmal.

Na realizację projektu Komitet Badań Naukowych przyznał grant w wysokości 200 tys. zł. Oznacza to finansowanie prac do połowy tego roku. Prowadzący projekt zamierzają więc starać się o następny - tym razem celem byłoby stworzenie translatora z języka mówionego na migowy. Wymagałoby to oczywiście dodania następnego modułu służącego do rozpoznawania ję-zyka mówionego - modułu fonicznego. Takie rozwiązanie mogłoby zostać ostatecznie zaimplementowane w urządzeniu, z którego korzystaliby głuchoniemi, jako proteza tłumacząca mowę.

W celu komercyjnej reprodukcji treści Computerworld należy zakupić licencję. Skontaktuj się z naszym partnerem, YGS Group, pod adresem [email protected]

TOP 200