Architektura Meru okazała się lepsza również w testach VoIP. Zbudowana sieć była w stanie obsłużyć najwięcej jednoczesnych połączeń. Belanger przyznał, że nie udało się określić górnej granicy, gdyż wszystkie rozmowy zachowały odpowiednią jakość. W przypadku 10 punktów dostępowych Cisco, sieć WLAN pozwoliła jedynie na 24 połączenia VoIP. Testy 48 i więcej symulowanych transmisji VoIP wykazały, że Cisco nie zachowuje niezbędnej jakości. Próba z prawdziwymi telefonami VoIP zakończyła się dla Cisco z wynikiem 26 lub 28 rozmów.
Czy ten test jest obiektywny?
Test został przeprowadzony na zlecenie Meru Networks. To może budzić podejrzenia - np. wpływ pracowników Meru obecnych podczas badań jest nieznany. Wiara w rzetelność zależy także od tego, co sądzimy o założeniach przyjętych przez Novarum.
Bezprzewodowa oferta firmy Aruba Wireless Networks
Być może próby wymyślone przez testerów odbiegają od rzeczywistości. Sam Phil Belanger w końcowych wnioskach raportu przyznał, że test z tak dużym stałym obciążeniem jest niezwykły. Przypomina on sytuację, gdy 72 osoby pracujące w tej samej sieci pobierają film z serwera i wszyscy robią to jednocześnie. Belanger dodał, iż mimo że nie jest to sytuacja typowa dla większości sieci korporacyjnych, to infrastruktura powinna sprostać takiej próbie. W przedsiębiorstwach mogą się zdarzyć przypadki, gdy wielu klientów pobiera tę samą informację z serwera. Przykładem może być dystrybucja poprawek lub nowych aplikacji. Dlatego przeprowadzone badanie ma sens.
Czy test był zrobiony fair? Inżynierowie Cisco i Aruba nie mieli możliwości skonfigurowania urządzeń podczas testów, w przeciwieństwie do Meru.
Wielka szkoda, że tego typu testy należą do rzadkości. Gdyby było inaczej, moglibyśmy porównywać metody przyjęte w trakcie badań i uzyskane wyniki, bez pytań o obiektywizm testujących.
Współzałożyciel Novarum Phil Belanger przyznał, że zdaje sobie sprawę jak postrzegany może być test i jego wyniki. Podkreślił jednak, że głównym celem badań nie było porównanie osiągnięć danych produktów, tylko zweryfikowanie zachowania się protokołu 802.11 w sytuacji dużego obciążenia i w różnych architekturach.
Aruba zarzuciła testującym brak obiektywizmu, błędne założenia i wykonanie. Nie chciała jednak komentować wyników, argumentując, że mogłoby to zostać mylnie odebrane jako usprawiedliwianie się przegranego. Następnie jednak specjaliści z Aruba wdali się w dyskusję z Belangerem, jednak nie udało się jednoznacznie wykazać złych intencji i błędów popełnionych przez testerów. Konfiguracje kontrolerów i punktów dostępowych były dobrane zgodnie z instrukcjami. Wszelkie odstępstwa zostały udokumentowane w końcowym raporcie i miały na celu poprawę działania urządzeń. Novarum stoi na stanowisku, że badanie było weryfikacją protokołu 802.11g.
Rozwiązaniem nie "n", tylko "k" i "v"?
W teście wykorzystano kontrolery WLAN Cisco 4402 i punkty dostępowe Cisco 1242
W roku 2006 zespół z Network World (IDG) egzaminował sieć opartą na 25 punktach dostępowych -http://www.networkworld.com/reviews/2006/110606-wifi-test.html . Wówczas najlepszym producentem okazała się Aruba. Sprzęt Meru nie ukończył sprawdzianu ze względu na problemy z oprogramowaniem. Dwa lata później, w opisywanym tutaj teście, przeprowadzonym na własne zlecenie, Meru okazało się najlepsze. Można mieć zastrzeżenia co do formuły badań i sponsora. Konkluzje zawarte w raporcie Novarum wydają się jednak bezdyskusyjne. Zakłócenia współkanałowe od sąsiadujących punktów dostępowych wywierają znaczący wpływ na wydajność obciążonej sieci. Zdaniem Belangera problem wynika ze sposobu działania warstwy MAC 802.11. Nie jest to wina Aruba i Cisco, gdyż one działają zgodnie z istniejącym standardem i nie zawierają mechanizmów, które przeciwdziałałyby spadkowi wydajności. Poruszone w raporcie kwestie są przedmiotem prac IEEE 802.11. Opracowywane standardy 11k i 11v umożliwią lepszą kontrolę punktów dostępowych i klientów. Dzięki temu uzyskiwane przepływności powinny być wyższe. Niestety, prace IEEE trwają. Nam pozostaje jedynie mieć nadzieję, że słabość ta zostanie wyeliminowana.
Wielka szkoda, że tego typu testy należą do rzadkości. Gdyby było inaczej, moglibyśmy porównywać metody przyjęte w trakcie badań i uzyskane wyniki, bez pytań o obiektywizm testujących.
