Super Big Data, czyli Hadoop na komputerach Cray

Firma Cray Inc. to amerykańskie przedsiębiorstwo zajmujące się budową superkomputerów, których moc liczy się obecnie już nawet nie w teraflopsach, ale w petaflopsach. W sam raz do analizy big data.

<!--more-->

Przez długie lata maszyny wyprodukowane w laboratoriach Cray zajmowały miejsca w czołówce maszyn o największej mocy obliczeniowej na świecie. Obecnie, w zestawieniu Top 500, w pierwszej dziesiątce znajdują się aż dwa komputery Cray. Na miejscu drugim, niedaleko chińskiego Tianhe ulokował się Titan z Oak Ridge National Labs (USA). Komputer oparto na procesorach Opteron i koprocesorach Nvidia. Moc Titana szacuje się na 17,5 petaflopsów. Kolejny z komputerów Cray - Piz Daint - pracuje w Szwajcarii w Swiss National Computing Center w Lugano i cechuje się mocą 6,27 petaflopsów. Jest też najbardziej energooszczędny spośród pierwszej dziesiątki superkomputerów.

Bill Blake, CTA w Cray inc. przyznał, że firma zamierza umożliwić obsługę pakietu Hadoop na maszynach z serii Cray XC30. Nie są to może rekordowo wydajne komputery, ale według specyfikacji, można je skonfigurować tak, aby jedna szafa odznaczała się mocą nawet 99 teraflopsów. Nadal jest to więc potężny zapas i doskonale nada się do analiz typu big data. Ma w tym pomóc Cray Framework for Hadoop, oraz Cray Performance Pack for Hadoop.

Zobacz również:

  • IDC CIO Summit – potencjał drzemiący w algorytmach

Firma widzi swoją szansę zwłaszcza w wykorzystaniu Hadoop do analizy olbrzymich zestawów danych w szeroko pojętej nauce, a szczególnie w badaniach laboratoryjnych. Bill Blake twierdzi, że Cray otrzymał ostatnio wiele tego typu zapytań. Niestety, filozofia działania Hadoop nie odzwierciedla mechanizmów funkcjonowania superkomputerów, ani obliczeń naukowych. Aby więc móc optymalnie wykorzystywać obie platformy, konieczne jest dostosowanie.

Pakiety zostały zapowiedziane podczas trwającej właśnie konferencji SC2013 w Denver. Do użytku mają jednak wejść dopiero na początku 2014 roku.

W celu komercyjnej reprodukcji treści Computerworld należy zakupić licencję. Skontaktuj się z naszym partnerem, YGS Group, pod adresem [email protected]

TOP 200