Równocześnie z szybkimi połączeniami fizycznymi rozwijały się technologie wyższych warstw, co zaowocowało standaryzacją wymiany komunikatów w postaci protokołu MPI (Message Passing Interface) i silnie równoległymi systemami plików w rodzaju Lustre czy GPFS. Upowszechniły się modele i technologie do zarządzania obliczeniami w czasie rzeczywistym na wielką skalę – MapReduce (Google) i jego otwarta wersja Hadoop, powstała przy współudziale Yahoo!. To na nich opierają się współczesne środowiska określane zbiorczo jako Big Data.

Klaster? Farma?

Drugim obszarem innowacji w dziedzinie szybkiej wymiany danych między serwerami były klastry aplikacyjne. Był to jeden z głównych powodów powstania technologii RDMA (Remote Direct Memory Access), wykorzystywanej dziś powszechnie w rozwiązaniach o podwyższonej dostępności i klastrach wydajnościowych. Pomimo znacznego postępu na różnych polach, ograniczenia w skalowaniu środowisk serwerowych nadal występują, co sprawia, że innowacji wymaga już nie tylko technologia sieciowa, lecz cała architektura wymiany danych między serwerami.

Tym razem impuls do innowacji wyszedł ze środowiska firm hostingowych. Upowszechnienie się miniserwerów, choć oczekiwane przez klientów, wyraźnie zaogniło problem zarządzania. Tymczasem na rynek wchodzą właśnie jeszcze „gęściejsze” platformy oparte na procesorach ARM. Niezależnie od tego dostawcy chcący oferować elastyczne „plany taryfowe” napotykają bariery. Jedną z nich jest zbyt duża ziarnistość zasobów na skutek zbyt silnego powiązania zasobów obliczeniowych z pamięcią RAM i lokalnymi zasobami I/O. Inną barierą jest poziom utylizacji zasobów, których zakup i utrzymanie kosztują, a ich wirtualizacja nie jest opłacalna.

Nowe pomysły

Najnowsze pomysły w tej dziedzinie idą w kierunku rezygnacji z tradycyjnych przełączników sieciowych agregujących ruch na poziomie obudowy kasetowej, szafy, czy nawet wielu szaf – na rzecz przełączników rozproszonych, logicznych, mających postać współpracujących ze sobą układów działających na kartach sieciowych serwerów. W ten sposób bezpośrednią komunikację 1 do 1, bez dodatkowych skoków, a więc opóźnień, może nawiązać ze sobą kilkaset serwerów. To tak, jakby każdy z nich podłączony był do sieci szkieletowej!

Przykładem takiej technologii jest DCAT (Dynamic Computation-Allocation Technology) firmy SeaMicro, przejętej dwa lata temu przez AMD. Dzięki dużej szybkości sieci oraz uwzględnieniu specyficznej obsługi sieci na poziomie procesorów jest możliwość współdzielenia przez poszczególne serwery lokalnych zasobów pamięci i dysków. Specyficzna implementacja sieci Ethernet stała się odpowiednikiem krosownic stosowanych w dużych systemach SMP czy NUMA, pozwalających na synchronizację buforów pamięci między procesorami.

Nie mówimy już o technologiach w stadium laboratoryjnym. Według najnowszych informacji rozwiązania AMD zastosował u siebie gigant telekomunikacyjny Verizon, rugując z centrów danych odpowiedzialnych za hosting część tradycyjnych serwerów. Klienci Verizon mogą kupować hosting na godziny, zwiększać wykorzystanie zasobów pamięci w przyrostach 512 MB i zmieniać szybkość serwerów liczoną w MHz. Na masową skalę, oczywiście.