Bardzo kompaktowy format

Niewielka australijska firma WindSpring opracowała interesujący format danych dla urządzeń kieszonkowych.

Niewielka australijska firma WindSpring opracowała interesujący format danych dla urządzeń kieszonkowych.

Innowacyjność formatu MDF (Micro Data Format) polega na tym, że zmniejsza on objętość plików (według WindSpring zmniejszenie objętości sięga od 65 do 90%) nie stosując kompresji. W rezultacie pliki w formacie MDF mogą mieć niewielką objętość, a jednocześnie w każdej chwili mogą być edytowane, czego nie da się osiągnąć w przypadku plików poddanych algorytmom kompresującym.

Kompaktowanie danych w przypadku MDF polega na identyfikowaniu w pliku (dowolny typ i format) powtarzających się danych, zwanych przez WindSpring symbolami kwantowymi (quantum symbols). Dla pliku tekstowego będą to sekwencje znaków ASCII albo symbole Unicode, dla pliku wideo - strumienie RGB, a dla grafiki - sekwencje wektorów. Najczęściej powtarzające się zestawy zidentyfikowanych symboli kwantowych rejestrowane są jako sekwencje kwantowe (quantum sequences), którym w powiązanym z plikiem słowniku przypisywane są odnośniki (pointers).

Format MDF jest więc w rezultacie mapą oryginalnego pliku połączoną ze słownikiem. Słowniki dla poszczególnych plików (lub ich części) mogą być logicznie łączone i wspólnie zarządzane, co pozwala jeszcze bardziej zmniejszyć globalną objętość danych. Wspólne dla wielu plików może być ich indeksowanie i przeszukiwanie, choć faktycznie słownik jest integralną częścią każdego pliku w formacie MDF. Słowniki i logika zarządzająca nimi (dedykowana biblioteka) pełnią rolę uniwersalnej warstwy dostępowej dla aplikacji.

Zastosowane mechanizmy redukcji objętości plików są podobne do tych, które stosowane są w akceleratorach sieciowych, o których w swoim czasie pisaliśmy szeroko, jak również w nowatorskich rozwiązaniach backupowych, jak np. te przejęte przez IBM wraz z firmą Data Domain. Jest to jednak porównanie bardzo ogólne, bowiem w akceleratorach identyfikacja powtarzających się sekwencji jest tylko jednym z wielu mechanizmów podnoszenia efektywności transmisji. Stosowane są także multipleksacja, lokalne potwierdzanie odbioru plików, kompresja nagłówków, optymalizacja wielkości ramek i pakietów oraz wiele innych.

WindSpring jest przekonana, że jej format nadaje się do zastosowań oszczędzających pasmo sieciowe lub ograniczonych lokalnym zasobnikiem na dane. W oczywisty sposób w definicji tej mieszczą się aplikacje dla nowoczesnych telefonów komórkowych i urządzeń PDA, a także aplikacje wbudowane, jak (wymagające aktualizacji) systemy nawigacji. WindSpring twierdzi, że jest bliska podpisania umów licencyjnych z dwoma producentami baz danych dla urządzeń mobilnych.


TOP 200