Koniec intuicji

Rozmowaz Ianem Ayresem, autorem bestsellera "Super Crunchers: Why Thinking-by-Numbers Is the New Way to Be Smart".

Rozmowaz Ianem Ayresem, autorem bestsellera "Super Crunchers: Why Thinking-by-Numbers Is the New Way to Be Smart".

Jego książka początkowo miała nosić tytuł "The end of intuition" ("Koniec intuicji"). Jak jednak przystało na gorącego zwolennika prób losowych, o tytule książki zadecydowali internauci, którzy chętniej odwiedzali witrynę "Super Crunchers". O tym, że stała się bestsellerem, nie zadecydował jednak efektowny tytuł, a koncepcje tego profesora prawa i zarządzania na Yale Law School, regularnego autora w "Forbesie" i "The New York Times".

Dlaczego nie lubimy liczb i zawsze myślimy, że jesteśmy mądrzejsi niż statystyka?

Częściowo wynika to z lęku przed utratą prestiżu i pracy. Specjaliści, którzy przewidują przyszłość na podstawie własnego doświadczenia, nie chcą słyszeć o tym, że maszyny mogłyby policzyć coś z większą dokładnością. Co powinien zrobić Burger King, gdyby chciał się dowiedzieć, czy lepiej sprzedają się hamburgery z dwoma, czy z trzema płatkami bekonu? Najlepiej wziąć dostatecznie dużą grupę restauracji i podzielić ją na pół. W jednej połowie dodawać dwa plasterki bekonu, a w drugiej trzy. Co jednak powie każdy menedżer Burger Kinga, czy każdej innej firmy? "Moje działanie miałoby zależeć od jakichś testów? To ja decyduję, co powinniśmy robić!" To odbicie problemu, z którym borykamy się od zawsze. Woźnice nie lubili samochodów, które jeździły szybciej. Wszyscy baliśmy się kiedyś komputerów.

To chyba coś więcej niż tylko opór przed nowością. Lęk przed statystyką jest co najmniej tak stary, jak sama statystyka. Ponad 100 lat temu Benjamin Disraeli powiedział, a Mark Twain powtórzył za nim, że są trzy rodzaje kłamstwa: małe, duże i statystyka...

Warto pomyśleć nad stworzeniem stanowiska audytora ds. danych. Kogoś, kto od czasu do czasu przyjdzie i oceni metody analizy statystycznej, czy w metodach obliczeń nie ma jakichś błędów. Od dawna robimy to w księgowości – czemu nie wprowadzić podobnych zasad w analizie danych? Ryzyko błędu i potencjalne straty są w obu przypadkach porównywalne.Oczywiście! Właśnie dlatego brakuje nam słownictwa, aby mówić o statystyce. Gdybym zapytał, ile zajmuje podróż z Warszawy do Krakowa, to każdy policzyłby szybko pewną średnią. Gdybym chciał wejść w szczegóły, nie wiedziałbym nawet, jak w krótkich słowach o to zapytać. Pewnie z 10% studentów amerykańskich szkół wyższych mniej więcej wie, co to statystyka. Nie mówiąc już o szkołach średnich. A mogłoby się to przydać nam wszystkim, chociażby po to, żeby zrozumieć badania wyborcze. Powiedzenie o trzech rodzajach kłamstw jest na pewno prawdziwe. Odnosi się jednak przede wszystkim do sytuacji, w której opieramy się na niedostatecznej ilości danych statystycznych.

W swojej książce stworzył Pan nowy termin "Super Crunching"? Co to właściwie jest?

Super crunching to nowy typ procesu podejmowania decyzji w oparciu o dane. Testy kliniczne oparte na próbach losowych są stosowane w przemyśle farmaceutycznym od dobrych 100 lat. Niemal tyle samo lat mają metody oparte na regresji, wykorzystywane w badaniach przemysłowych. W ostatnich latach pojawiły się technologie, które pozwalają na przechowywanie i analizę wielkich zbiorów danych. To umożliwia nam podejmowanie decyzji w oparciu o zbiory danych tak wielkie i przeszukiwane tak szybko. Rezygnując z możliwości porównania pewnych danych, pozbawiamy się szansy na podjęcie lepszej decyzji.

Ja nawet częściowo rozumiem tę niechęć. Nie wszyscy zdają sobie sprawę z tego, że słówko "tera" w słowie "terabajt" pochodzi od greckiego słowa "potwór". Wszyscy będziemy jednak musieli przywyknąć do operowania na takich właśnie potwornych ilościach danych. Hurtownie danych przechowują często więcej informacji niż Biblioteka Kongresu USA. Posiadanie tych wszystkich danych nie oznacza, że mamy wiedzę o wszystkim, co zachodzi w naszym otoczeniu. Możemy natomiast dokonać przeglądu ewentualnych luk, które mamy i uzupełnić je właśnie dzięki analizie statystycznej.

Co by Pan sugerował wszystkim tym firmom, które chcą usprawnić proces pozyskiwania i wykorzystania danych statystycznych?

Po pierwsze, muszą zatrudnić ludzi z głęboką wiedzą o statystyce. Po drugie wprowadzić pewne zasady ich nadzoru. Wprowadzenie nowoczesnych metod predykcji do zarządzania nie oznacza "końca intuicji". Oznacza jedynie możliwość sprawdzenia tych intuicji. Jedna uwaga! Niektóre firmy zbyt mocno polegają na technikach predykcji. Mam wrażenie, że cały "kryzys na rynku hipotecznym" zaczął się, bo niektóre z instytucji zbyt mocno wierzyły w dane. Postawiły na te decyzje dziesięć razy więcej, niż postawiłyby na decyzje podjęte na podstawie ludzkich intuicji.

Jak zatem rozwiązać dylemat: intuicja czy predykcja?

Na pewno nie można zawierzyć tylko jednej z metod. Być może potrzeba nowego podejścia do data mining. Może warto pomyśleć nad stworzeniem stanowiska audytora ds. danych. Kogoś, kto od czasu do czasu przyjdzie i oceni metody analizy statystycznej, czy w metodach obliczeń nie ma błędów. Od dawna robimy to w księgowości - czemu nie wprowadzić tych zasad w analizie danych? Ryzyko błędu i potencjalne straty są w obu przypadkach porównywalne.

Który z sektorów gospodarki jest najlepiej przygotowany do statystycznej analizy zjawisk?

Nie ma dobrej odpowiedzi na to pytanie. Chciałbym zwrócić uwagę na jeden fakt. W wielu przypadkach najlepiej przygotowana do korzystania z metod statystycznych jest administracja. Od lat przyglądam się meksykańskiemu projektowi Progresa Oportunidades, którego celem jest dożywianie ubogich dzieci. Kilka lat temu wyznaczono 500 ubogich wiosek, z których połowa została objęta specjalnym programem. W ramach projektu, meksykańskie matki dostawały środki na dożywianie dzieci, pod warunkiem regularnych wizyt w przychodni. Po 2,5 roku okazało się, że dzieci objęte programem urosły o 1 cm więcej, co jest wielkim sukcesem. Dziś projekty oparte na meksykańskim wzorcu prowadzi trzydzieści innych państw, w tym także burmistrz Nowego Jorku.

Jaki będzie długofalowy wpływ upowszechnienia technik predykcji na nasze życie?

Coraz poważniejszym wyzwaniem stanie się zachowanie poufności danych. Będzie to problem, który dotknie nas zarówno jako pracowników, jak i osoby prywatne. Na pewno pojawią się nowe metody nadzoru pracowników liniowych, analityków kredytowych czy nauczycieli. Ich praca coraz częściej będzie polegać na wiernym odtwarzaniu skryptów opartych na badaniach predykcyjnych.

Jako klienci, możemy liczyć na obsługę na wyższym poziomie. To uczyni nasze życie lżejszym. Z jednym wyjątkiem. Upowszechnienie predykcji w badaniach wartości sprawi, że będziemy musieli trzymać się za portfele. Na szczęście pojawi się coraz więcej firm, które będą analizować przewidywane spadki cen produktów i doradzać nam odpowiedni moment na dokonanie zakupu. Przykładem takiej usługi jest witryna http://www.farecast.com, która pomaga w wyborze optymalnej ceny za połączenia lotnicze.

Ian Ayres był gościem ostatniej edycji konferencji Teradata Universe.