Powstała nowatorska technika kompresowania danych
-
- Janusz Chustecki,
- 04.05.2019, godz. 10:16
Stosowane obecnie techniki kompresowania danych nie są doskonałe i naukowcy od lat starają się je udoskonalić. Ostatnio bardzo ciekawą i obiecującą technikę opracowali naukowcy z MIT (chodzi konkretnie o laboratorium CSAIL; Computer Science and Artificial Intelligence Laboratory), nadając jej nazwę Zippads.
Słowo „pad” (w tym przypadku można to przetłumaczyć jako warstwa czy poziom) nie bez powodu znalazło się w nazwie tej techniki. Jest to bowiem podstawowy element rozwiązania bazującego na specyficznej architekturze noszącej nazwę Hotpads. Cały system składa się bowiem z wielu odpowiednio zhierarchizowanych poziomów kompresowania danych nazywanych padami, które mają postać dedykowanych do tego celu układów scalonych.
Ważną cechą architektury Hotpads jest to, że system ma bezpośredni dostęp do wszystkich poziomów (czyli pad’ów) kompresowania danych, a przedmiotem kompresowania są obiekty. Gdy w systemie pojawia się nowy obiekt wymagający skompresowania, trafia najpierw do pierwszego, pracującego najszybciej poziomu, gdzie ma postać nieskompresowanego zasobu. Przechodząc do kolejnych poziomów, stopień kompresji jest coraz wyższy.
Zobacz również:
- Ta technika rozwiązuje problem ograniczonej wielkości okien kontekstowych obsługujących modele językowe LLM
- Szyfrowanie plików, a szyfrowanie dysku - jaka jest różnica?
Twórcy rozwiązania twierdzą, że może ono zwiększyć współczynnik kompresji 1,63 razy i poprawić wydajność o 17%. Chwalą się też, że „jest to pierwsza metoda kompresowana danych wykorzystująca odpowiednio zhierarchizowane poziomy, zaprojektowana z myślą o aplikacjach obsługujących obiekty”.
Kluczową rolę w procesie kompresowania danych odgrywa specjalny algorytm, który najpierw wybiera kilka reprezentatywnych obiektów traktując je jako obiekty „bazowe”, a następnie w nowych obiektach zapisanych w kolejnym poziomie przechowuje tylko te skompresowane dane, które w poprzednim poziomie nie zostały skompresowane.
Nie wdając się w szczegóły tego dość skomplikowanego rozwiązania finalny efekt jest taki, że nowa technika sprawuje się rewelacyjnie i może znacznie przyspieszyć wszelkiego rodzaju operacje wymagające ciągłego kompresowania i dekompresowania danych.
Szczegółowe informacje opisujące technikę kompresowania danych ZipPads (dokument noszący tytuł „Compress Objects, Not Cache Lines: An Object-Based Compressed Memory Hierarchy”) znajdują się tutaj.
