Czego książka Nassima Nicholasa Taleba na temat prawdopodobieństwa i losowości może nauczyć specjalistów od danych

Nassim Taleb jest byłym handlarzem finansowymi instrumentami pochodnymi i badaczem prawdopodobieństwa. W swojej książce „The Black Swan: The Impact of the Highly Improbable” podkreśla, w jaki sposób wysoce nieprawdopodobne zdarzenia wpływają na nasze codzienne życie i rynki finansowe. Nic dziwnego, że zawiera wiele lekcji dla specjalistów od danych, ponieważ zarówno finanse ilościowe, jak i nauka o danych obejmują modele statystyczne i teorię prawdopodobieństwa.

Co to jest czarny łabędź?

Czarny łabędź jest metaforą wysoce nieprawdopodobnego, ale bardzo doniosłego wydarzenia. Według Nassima nasze modele nigdy nie wydają się odpowiednio przygotowywać do takich wydarzeń, pomimo czarów, których używamy do ich tworzenia. Wybuch Covid-19 jest prawdopodobnie najnowszym przykładem nieprzewidzianego wydarzenia, którego nikt nie przewidział, a które miało druzgocący wpływ na codzienne życie. Dla rynków finansowych kryzys finansowy z 2008 roku był czarnym łabędziem, który doprowadził do bankructwa Lehman Brothers i globalnej recesji.

Czarne łabędzie niekoniecznie muszą być destrukcyjne. Odkrycie ropy naftowej na Morzu Północnym w Norwegii można uznać za czarnego łabędzia. Jak głosi historia, nikt nie wierzył, że kiedy Norwegia domagała się praw do Morza Północnego, istniały ogromne rezerwy ropy. Innym „pozytywnym” czarnym łabędziem może być wynalezienie lasera, kiedy został opracowany, nie miał prawdziwego celu, ale z czasem odkryto zastosowania, takie jak leczenie wzroku. W obu tych przypadkach nieoczekiwany wynik był nieprzewidziany (wysoce nieprawdopodobny), ale bardzo wpływowy.

Trójka Nieprzezroczystości

Nassim stwierdza trzy błędy popełniane przez ludzi przy ocenie wydarzeń historycznych:

1. Iluzja zrozumienia: wydaje nam się, że wiemy, co spowodowało, ale wszystkie nasze wyjaśnienia mogą być fikcyjne. Stwarzanie złudzenia, że ​​możemy przewidzieć i wyjaśnić zdarzenia, podczas gdy w rzeczywistości mogą one być nieprzewidywalne.
2. Zniekształcenie retrospektywne : Wymyślamy wyjaśnienia, rozwiązania i środki ostrożności po fakcie. Dając złudzenie, że negatywny Czarny Łabędź mógł zostać złagodzony.
3. Przecenianie faktów: nie zdajemy sobie sprawy, że to, co wydaje się „rzeczywiste”, może być zniekształceniem lub niekompletnością.

Niektórych rzeczy nie da się przewidzieć ani wytłumaczyć. Jeśli można je wyjaśnić, wyjaśnienie zwykle pojawia się po problemie, a nie wcześniej, ostrzegając nas, że są to nieprzewidziane zdarzenia, które nie są uchwycone w danych, a zatem nasze modele są ślepe. Ostatni punkt dotyczy wniosków wyciągniętych z modeli, które uważamy za faktyczną reprezentację relacji w naszych zbiorach danych, które mogą być tendencyjnymi szacunkami wyciągniętymi z „niekompletnych” próbek.

Błąd narracji

Jako ludzie mamy tendencję do konstruowania historii i narracji, gdy obserwujemy przypadkowe zdarzenia. Nasze umysły są podatne na wyciąganie wniosków bez odpowiednich dowodów.

Rozważmy następujący scenariusz: jesteś analitykiem danych pracującym dla agencji nieruchomości zajmującej się sprzedażą wieżowców. Twoim zadaniem jest ustalenie następującego pytania, ile miejsca powinni przeznaczyć na parking w swoim nowym projekcie deweloperskim?

Oto wykres przedstawiający zależność między czynszami a miejscem parkingowym:

Jako specjalista ds. danych widzisz powyższy wykres. Jaki wniosek wyciągasz? Jeśli mają 1000 m² na cały projekt, ile powinni przeznaczyć na parking? Łatwo zbudować narrację, że parkowanie to ogromne udogodnienie dla najemców, dlatego przydzielenie ogromnej powierzchni pozwoliłoby pośrednikowi na pobieranie wyższego czynszu! Wydaje się rozsądne?

Wspomniana linia rozumowania niekoniecznie jest fałszywa, ale ma problem z popadnięciem w błąd narracji . Prawda jest taka, że ​​przeglądając tylko dane, które otrzymaliśmy do tej pory, nie możemy ustalić związku przyczynowego. Istnieją setki innych wyjaśnień, które możemy skonstruować, aby wyjaśnić to, co obserwujemy . Na przykład można argumentować, że pośrednik jest zaangażowany zarówno w duże, jak i małe projekty budowlane, duże projekty budowlane przynoszą wyższe czynsze, a także mają więcej miejsca na parking. W związku z tym brak wpływu powierzchni parkingowej na czynsze.

Jaki jest prawdziwy sposób interpretacji danych? Wymaga dodania kontroli i być może zebrania większej ilości dowodów.

Wiem, co musisz myśleć, to absurd! Oczywiście to, że nigdy nie będzie idealnie, nie oznacza, że ​​nie powinniśmy odpowiadać, prawda?

Nie, to nie jest główny punkt. Najważniejsze jest, aby być sceptycznym! Jako ludzie konstruujemy historie, aby wyjaśnić to, co obserwujemy; jako specjaliści od danych powinniśmy oprzeć się pokusie konstruowania narracji (bez konkretnych dowodów). Nigdy nie powinniśmy próbować wyciągać wniosków wykraczających poza to, co obserwujemy, ani uważać na ryzyko, jeśli to zrobimy. Zawsze powinniśmy uważać na fałszowanie naszych narracji. Opowiadanie historii może być dobre dla sprzedaży, ale także utrwala samooszukiwanie się!

Podoba Ci się ta historia? Potrzebujesz pomocy w kodowaniu? Proszę rozważyć zostanie patronem! ( Średni program partnerski jest niedostępny w moim kraju, Patreon to jedyny sposób na zarabianie na moim pisaniu )

Ludzki błąd

Nassim zapoczątkował nazwę tego błędu. Zwraca uwagę, że eksperci akademiccy skonstruowali modele, które nie pasują do rzeczywistości, a my uparcie ich używamy. Wskazuje w szczególności na to, w jaki sposób współczesna teoria portfela i niewłaściwe użycie rozkładu gaussowskiego doprowadziły współczesnego analityka finansowego do niedoszacowania ryzyka zdarzeń typu „czarny łabędź”.

Nieprawdopodobne zdarzenia mogą być bardziej prawdopodobne niż nam się wydaje!

Nassim wyjaśnia, że ​​rozkład zwrotów na giełdzie nie jest rozkładem gaussowskim i zamiast tego podlega rozkładowi z grubym ogonem, który sprawia, że ​​zdarzenia ekstremalne są bardziej prawdopodobne, niż sugeruje model gaussowski. Co z kolei powoduje, że handlowcy opcjami nadmiernie lewarują lub nadmiernie wystawiają swój portfel na ryzyko spadku.

Jako specjaliści od danych wszyscy jesteśmy przyzwyczajeni do zestawu metod i dystrybucji, które ułatwiają nam życie. Większość modeli liniowych podąża za błędami, aby mieć rozkład normalny (gaussowski), jednak natura lub cokolwiek, co wybierzemy do modelowania, nie musi być gaussowskie. Błąd ludyczny rozciąga się poza samą dystrybucję, każda konstrukcja matematyczna, której używamy, może narazić nas na błąd.

Chodzi o to, na ile możemy sobie pozwolić na poleganie na tych uproszczeniach. Rozpowszechnienie narzędzi i technik danych sprawiło, że jesteśmy bardziej podatni na przyjmowanie błędnych odpowiedzi jako prawdy! Tylko dlatego, że dobrze znana metoda szacuje lub przewiduje coś, nie czyni tego prawdziwym. Jest tak prawdziwe, jak pozwalają na to dane i założenia modelu.

Prognozy to nie fakty!

To jest oczywiste, gdy się o tym mówi, ale teraz traktujemy prognozy poważniej niż kiedykolwiek. W większości przypadków są one nieszkodliwe, a błędna prognoza sprzedaży dla Twojej firmy w większości przypadków nie będzie katastrofalna. Jednak nastąpił wzrost liczby firm zajmujących się sztuczną inteligencją, które próbują zakłócić tradycyjne branże, takie jak Opendoor próbujące zakłócić rynek mieszkaniowy. Cały ich model biznesowy opiera się na zdolności ich algorytmu do prognozowania cen domów i dostarczania klientom dokładnych prognoz wartości ich domów.

Niektóre rzeczy są bardzo łatwe do przewidzenia, ale większość rzeczy dotyczących nauk społecznych, takich jak ekonomia, już nie. Zwłaszcza, gdy w grę wchodzą ludzkie zachowania. Ekonomiści notorycznie się mylą, ale nadal polegamy na ich przewidywaniach.

Coraz więcej firm polega na prognozach i prognozach, aby zarabiać pieniądze. Nassim podkreśla, że ​​świat jest chaotyczny, dlatego małe zmiany w naszych danych wejściowych mogą spowodować ogromne zmiany w wynikach. Bez względu na to, jakiej magii użyto, chaosu z definicji nie da się przewidzieć. Prognozy i przewidywania tracą moc, im bardziej rozciągasz je w czasie.

Kluczowym wnioskiem jest to, że im bardziej polegasz na prognozach, tym większa szansa na awarię systemu, ponieważ jeśli jeden model wygeneruje błędne prognozy, może to spowodować awarię innych systemów. Im bardziej polegamy na modelach, tym więcej zagrożeń wprowadzamy do systemu.

Dziękuję za przeczytanie! Jeśli podoba Ci się to, co piszę, obserwuj, a także subskrybuj, aby otrzymywać e-mail za każdym razem, gdy coś opublikuję!

Oto kilka moich postów, które mogą Ci się spodobać: