Porównanie bezpieczeństwa oprogramowania różnych dostawców jest dość trudne. Powszechnie stosuje się miernik w postaci ilości zgłaszanych błędów, ale obraz, który przedstawia takie porównanie, nie oddaje rzeczywistej ilości usuwanych podatności. Producenci rozwiązań zamkniętych (na przykład Microsoft czy Adobe) nie zawsze ujawniają wszystkie usunięte luki. Potwierdza to Mike Reavey, dyrektor Microsoft Security Response Center (MSRC), informując, że ujawniane są informacje o podatnościach wraz z numerem w bazie CVE (Common Vulnerabilities and Exposures) dla kilku podatności, które posiadają tę samą ważność, taki sam wektor ataku i sposób tymczasowego obejścia problemu. Stąd wynika fakt, że jeśli kilka luk posiada te same właściwości, nie będą one raportowane osobno.

Coś, co środowisko open source podejrzewało od dawna, zostało ujawnione na początku bieżącego roku przez firmę Core Security Technologies. Badacze po analizie łat MS10-024 oraz MS10-028 wykryli trzy aktualizacje, o których nie wspominano w oficjalnym biuletynie. Podatność opisana w MS10-028 umożliwiała przejęcie kontroli nad komputerem przy pomocy wykorzystania błędu przepełnienia bufora w programie Microsoft Visio. Informacja o tych trzech załatanych lukach została pominięta, gdyż charakteryzowały się identycznymi właściwościami, mimo że błędy dotyczyły różnych składników oprogramowania.

Firma Adobe także łata niektóre podatności nie ujawniając szczegółów. Jak twierdzi Brad Arkin, dyrektor do spraw bezpieczeństwa i prywatności produktów w firmie Adobe, niekiedy nie przydziela się nawet numerów CVE błędom, które zostały wykryte w laboratoriach wewnątrz firmy. Zgłoszenia i numery identyfikacyjne CVE są używane jedynie przy tych błędach, które są aktywnie wykorzystywane lub zostały opisane przez zewnętrznych badaczy.

Zafałszowany obraz

Nieujawnianie podatności niesie za sobą poważne konsekwencje. Zarówno dostawcy, jak i badacze, korzystają z CVE w związku z podatnościami różnych aplikacji i systemów. Porównanie dostawców, którzy raportują wszystkie błędy niezależnie (a tak często robi się w niektórych projektach open source), na pewno będzie zafałszowane. Z kolei, trudno ustalić rzeczywistą ilość błędów, gdy poprawa jednej linii kodu powoduje usunięcie wielu podatności naraz.