W jakich głównych obszarach tematycznych koncentrują się zainteresowania studentów i podejmowane w kierowanym przez Pana Instytucie programy badawcze?

Dużym zainteresowaniem cieszy się interaktywna narracja (interactive narrative). Najbardziej spektakularne jej przejawy są w grach komputerowych, gdzie ktoś steruje akcją, która została wcześniej zaplanowana. Przemysł gier komputerowych przynosi dzisiaj więcej zysków niż przemysł filmowy. Producenci gier zainwestowali dużo w technologię, ale narracja w ich produktach jest często banalna, nawet wręcz prymitywna. Zastanawiamy się jednak, czy nie można by wykorzystać ich doświadczeń, ich dorobku do innych celów, na przykład w edukacji, do pomagania ludziom upośledzonym, do zwiedzania muzeów itp. Badamy, jak można by użyć naturalnej dla człowieka narracji do wspomagania uczenia się, orientowania się w rzeczywistości, jak pokazać ludziom ścieżki, którymi mogą podążać, by nie czuli się zagubieni. To niebawem będą ważne zagadnienia, gdy popularne stanie się nauczanie na odległość, e-learning.

Studenci zajmują się też wizualną muzyką (visual music). Na przykład w filmie mamy połączone dwie domeny - obraz i dźwięk. Jeżeli do tego dodamy jeszcze interakcję w czasie rzeczywistym, to wtedy rozszerzamy doznania użytkownika. Dzięki nowym technologiom jest to już dzisiaj możliwe. Trzeba pamiętać, że informacja może być dostarczana w kilku domenach jednocześnie - już nigdy nie dowiemy się wszystkiego tylko z tekstu. Tekst, owszem, będzie ważny i potrzebny, ale też w coraz większym zakresie będzie wykorzystywany obraz, dźwięk, ruch.

Multimedia docierają do nas wieloma zmysłami. Jeśli dodamy możliwość wyboru w jakiejś domenie, to będziemy mieli nową sytuację. Człowiek może mieć wiele inteligencji - werbalną, przez Zachód najbardziej obecnie faworyzowaną, ale też i obrazową, fonetyczną czy kinetyczną, np. taniec. Technologia, która będzie dostarczała informacji w tych różnych dziedzinach, będzie stanowiła przełom (na przykład dziecko autystyczne będzie mogło odbierać sygnały, które dzisiaj do niego nie docierają).

Ruch to kolejny obszar komunikacji, którym się zajmujemy. Czas zacząć kodyfikować ruch, widzieć go jako język. Ruch jest eksploatowany w nauczaniu od pokoleń, projektanci komunikacji powinni mu się dokładniej przyjrzeć i nauczyć. Spójrzmy na dyrygenta - przecież on przekłada tekst nut na ruch batuty i swojego ciała, by potem wygenerować przeżycia dźwiękowe. Jeżeli jest transmisja telewizyjna, to jeszcze kamerzysta musi wybrać konkretne ujęcia przez skierowanie, czyli ruch kamery w odpowiednie miejsce.

Każdy z nas widział zapewne wielokrotnie dyrygenta prowadzącego orkiestrę, ale nie sądzę, by wielu z nas myślało wtedy o ruchach wykonywanych przez dyrygenta jako o formie komunikacji. Jak to spostrzeżenie może być wykorzystane w projektowaniu interfejsów?

Znaczenie ruchu jako środka komunikacji docenili już twórcy reklam telewizyjnych. Ponieważ widzowie często wyłączają dźwięk w odbiornikach, reklamy są tak tworzone, by reklamowane logo było widoczne i czytelne nawet bez dźwięku. Ruch jako element komunikacji może być użyty na różny sposób, np. teksty na ekranie można zsuwać i rozsuwać, napisy mogą się przesuwać od dołu do góry lub na odwrót, jak kto woli. Może kiedyś komunikacja ruchowa zostanie skodyfikowana tak jak werbalna, jak np. ustalono, że cytaty pisze się wersalikami. Może kiedyś w komputerach, oprócz menu tekstowego, będzie też menu obrazowe, dźwiękowe i menu ruchu.

Jedna z moich studentek przygotowała projekt oznaczania za pomocą ruchu zawartości skrzynki mailowej - ikona szybko się porusza, gdy jest nowy mail, wolno, gdy mail już został przeczytany, jest nieruchoma, gdy została wysłana odpowiedź. Ruch może nieść też informację zawartą w bazach danych, ta informacja może być bardzo łatwa do odczytania. Ruch może być np. nośnikiem informacji, która została oznaczona jako bardzo ważna. Próbujemy robić komputerowe systemy do nauczania języka migowego, gdzie ruch jest bardzo ważnym elementem.

Coraz większym problemem staje się ogarnięcie przez człowieka coraz większej ilości informacji. Czy odpowiednio zaprojektowany interfejs może pomóc poradzić sobie z natłokiem informacji?

To jest definicja dobrego interfejsu - żeby były widoczne właściwe informacje, we właściwym czasie i dla właściwego użytkownika. A co to jest informacja? To jest coś takiego, co "przykleja się" do naszej struktury umysłowej. Przez doświadczenie waloryzujemy nasze informacje. Dane nic nie znaczą - stają się informacją, gdy przychodzą w odpowiednim momencie i są w stanie "dokleić się" do naszego umysłu.

Ważny jest proces rozumienia. Dane nie niosą z sobą znaczenia. Mogą stać się informacją przez obecność w odpowiednim kontekście. Informacje z kolei muszą być ułożone w odpowiednie struktury, by stały się wiedzą. My mamy przesyt danych, brakuje nam sposobów dostępu do danych, których akurat potrzebujemy. Jest więc dużo pracy dla projektantów interfejsów, by dane stawały się informacjami.

Co zrobić, by ludzie potrafili twórczo korzystać z dostępnych im narzędzi, np. wyszukiwarek internetowych?

Można i trzeba projektować tak interfejsy, by sprzyjały kreatywności. Kreatywność jest jednak cechą człowieka. Bardzo duże znaczenie ma architektura systemu. Język programowania nie jest naturalny, struktura informacji musi być taka, by jak najbardziej przystawać do doświadczeń ludzi. Im lepsza struktura informacji, tym łatwiej "przykleja się" do naszych struktur umysłowych. Co zrobić, aby informacja mogła łatwo "przykleić się" do naszego mózgu? Musi być podobna do struktury uczenia się człowieka, musi być bliska ludzkiemu doświadczeniu, a nie teoretycznej strukturze programowania.

Dostęp do informacji musi mieć ponadto charakter dynamiczny, zmieniać się wraz ze zmianą sytuacji człowieka. Może w tym pomóc np. wizualizacja dynamiczna; ta metoda prezentacji ma dużą siłę oddziaływania. Wystarczy popatrzeć na wizualizację ruchu samolotów nad Stanami Zjednoczonymi w ciągu doby. Można za pomocą świetlnych linii i punktów na jednej planszy przedstawić to, co jest zapisane w grubej książce. Widać, gdzie jest największe natężenie, kiedy poszczególne stany budzą się ze snu, na jakich kierunkach dominuje ruch pasażerski, a na jakich towarowy itd. Jeżeli do tego dodamy aspekt przestrzenny i możliwość zatrzymywania prezentacji, to będziemy mieli możliwość wejścia w szczegółowe sytuacje i zapoznania się ze szczegółowymi informacjami dotyczącymi konkretnego miejsca czy wydarzenia.

Szczegółowe informacje na temat projektów realizowanych w Dynamic Media Institute można znaleźć na stronie:http://www.dmiboston.org