Cosa può insegnare il libro di Nassim Nicholas Taleb su probabilità e casualità ai professionisti dei dati

Nassim Taleb è un ex commerciante di derivati ​​finanziari e ricercatore di probabilità, il suo libro "The Black Swan: The Impact of the Highly Improbable" evidenzia come eventi altamente improbabili influenzino la nostra vita quotidiana e i mercati finanziari. Non sorprende che abbia molte lezioni per i professionisti dei dati poiché la finanza quantitativa e la scienza dei dati coinvolgono entrambi modelli statistici e teoria della probabilità.

Cos'è un cigno nero?

Black Swan è una metafora di un evento altamente improbabile ma di grande impatto. Secondo Nassim, i nostri modelli non sembrano mai prepararsi adeguatamente a tali eventi, nonostante la magia che impieghiamo per svilupparli. L'epidemia di Covid-19 è forse l'esempio più recente di un evento imprevisto che nessuno ha visto arrivare ma che ha avuto un impatto devastante sulla vita di tutti i giorni. Per i mercati finanziari, la crisi finanziaria del 2008 è stata un cigno nero che ha portato al fallimento di Lehman Brothers e a una recessione globale.

I cigni neri non devono necessariamente essere distruttivi. La scoperta del petrolio nel Mare del Nord della Norvegia potrebbe essere considerata come un cigno nero. Mentre la storia va avanti nessuno credeva che ci fossero enormi riserve di petrolio quando la Norvegia affermò i diritti sul Mare del Nord. Un altro cigno nero "positivo" potrebbe essere l'invenzione dei laser, quando sviluppati non avevano uno scopo reale ma nel tempo sono state scoperte applicazioni come curare la vista. In entrambi questi casi, il risultato fortuito è stato imprevisto (altamente improbabile) ma di grande impatto.

La tripletta dell'opacità

Nassim afferma tre errori che gli esseri umani commettono quando valutano gli eventi storici:

1. L'illusione della comprensione: pensiamo di sapere cosa ha causato cosa, ma tutte le nostre spiegazioni potrebbero essere fittizie. Dare l'illusione di poter prevedere e spiegare gli eventi quando in realtà potrebbero essere imprevedibili.
2. La distorsione retrospettiva : Troviamo spiegazioni, soluzioni e precauzioni dopo il fatto. Dando l'illusione che il cigno nero negativo avrebbe potuto essere mitigato.
3. La sopravvalutazione delle informazioni fattuali: non ci rendiamo conto che ciò che appare "fattuale" potrebbe essere una distorsione o incompleto.

Alcune cose non sono prevedibili o spiegabili. Se sono spiegabili la spiegazione di solito arriva dopo il problema non prima, avvertendoci che sono eventi imprevisti che non vengono catturati nei dati e quindi i nostri modelli sono ciechi. L'ultimo punto riguarda le inferenze tratte dai modelli, ciò che riteniamo essere una rappresentazione fattuale delle relazioni nei nostri set di dati potrebbe essere stime distorte tratte da campioni "incompleti".

L'errore narrativo

Come esseri umani, tendiamo a costruire storie e narrazioni quando osserviamo eventi casuali. Le nostre menti sono suscettibili di fare deduzioni senza prove adeguate.

Considera il seguente scenario, sei un analista di dati che lavora per un agente immobiliare di appartamenti in un grattacielo. Sei incaricato di accertare la seguente domanda, quanto spazio dovrebbero allocare per il parcheggio nel loro nuovo progetto di sviluppo?

Ecco un grafico che illustra il rapporto tra affitti e parcheggio:

Come professionista dei dati vedi il grafico sopra, quale conclusione trai? Se hanno 1000 m² per l'intero progetto, quanto dovrebbero stanziare per il parcheggio? È facile costruire una narrazione secondo cui il parcheggio è un'enorme comodità per gli affittuari, quindi l'assegnazione di uno spazio enorme consentirebbe all'agente immobiliare di addebitare più affitto! Sembra ragionevole?

Il suddetto ragionamento non è necessariamente falso ma ha il problema di cadere nell'errore narrativo . La verità è che solo visualizzando i dati che ci sono stati forniti finora non possiamo accertare una relazione causale. Ci sono centinaia di altre spiegazioni che possiamo costruire per spiegare ciò che osserviamo . Ad esempio, puoi sostenere che l'agente immobiliare è coinvolto in progetti di costruzione grandi e piccoli, i grandi progetti di costruzione producono affitti più alti e hanno anche più spazio per il parcheggio. Quindi nessuna incidenza del posto auto sugli affitti.

Qual è il vero modo di interpretare i dati? Richiede l'aggiunta di controlli e forse la raccolta di ulteriori prove.

So cosa stai pensando, è assurdo! Certo, le cose non saranno mai perfette non significa che non dovremmo rispondere, o no?

No, non è questo il punto principale. L'importante è essere scettici! Noi umani costruiamo storie per spiegare ciò che osserviamo; come professionisti dei dati, dovremmo resistere al nostro impulso di costruire narrazioni (senza prove concrete). Non dovremmo mai cercare di fare deduzioni al di là di ciò che osserviamo o stare attenti ai rischi se lo facciamo. Dovremmo sempre stare attenti a falsificare le nostre narrazioni. La narrazione potrebbe essere utile per vendere, ma perpetua anche l'autoillusione!

Ti piace questa storia? Hai bisogno di aiuto per la codifica? Si prega di considerare di diventare un mecenate! ( Il programma partner medio non è disponibile nel mio paese, Patreon è l'unico modo per monetizzare la mia scrittura )

L'errore ludico

Nassim ha originato il nome per questo errore. Sottolinea che gli esperti accademici hanno costruito modelli che non si adattano alla realtà eppure ci ostiniamo a usarli. Sottolinea in particolare come la moderna teoria del portafoglio e l'uso improprio della distribuzione gaussiana abbiano portato l'analista finanziario moderno a sottovalutare il rischio di eventi del cigno nero.

Eventi improbabili potrebbero essere più probabili di quanto pensiamo!

Nassim spiega che la distribuzione dei rendimenti nel mercato azionario non è gaussiana e segue invece la distribuzione della coda grassa che rende gli eventi estremi più probabili di quanto il modello gaussiano ci faccia credere. Il che a sua volta induce i trader di opzioni a sfruttare eccessivamente o sovraesporre il proprio portafoglio al rischio di ribasso.

Come professionisti dei dati, siamo stati tutti abituati a una serie di metodi e distribuzioni che ci semplificano la vita. La maggior parte dei modelli lineari segue gli errori per essere normalmente distribuiti (gaussiani), tuttavia, la natura o qualunque cosa scegliamo di modellare non ha l'obbligo di essere gaussiana. L'errore ludico si estende oltre una semplice distribuzione, qualsiasi costrutto matematico che usiamo può sottoporci all'errore.

La cosa di cui preoccuparsi è quanto possiamo permetterci di fare affidamento su queste semplificazioni. La proliferazione di strumenti e tecniche di dati ci ha reso più suscettibili ad accettare risposte sbagliate come verità! Solo perché un metodo ben noto stima o prevede qualcosa non lo rende vero. È vero solo nella misura in cui i dati e le ipotesi del modello lo consentono.

Le previsioni non sono fatti!

Questo è ovvio quando viene sottolineato, ma ora prendiamo le previsioni più seriamente che mai. Nella maggior parte dei casi sono innocui, fare una previsione errata delle vendite per la tua attività non sarà catastrofico nella maggior parte dei casi. Tuttavia, c'è stato un aumento delle aziende di intelligenza artificiale che cercano di interrompere le industrie tradizionali come Opendoor che cercano di interrompere il mercato immobiliare. Il loro intero modello di business si basa sulla capacità del loro algoritmo di prevedere il prezzo delle case e di fornire ai clienti una previsione accurata del valore delle loro case.

Alcune cose sono molto facili da prevedere, ma la maggior parte delle cose sulle scienze sociali come l'economia non lo sono. Soprattutto quando è coinvolto il comportamento umano. Gli economisti hanno notoriamente torto, eppure continuiamo a fare affidamento sulle loro previsioni.

Sempre più aziende si affidano a previsioni e previsioni per fare soldi. Nassim sottolinea che il mondo è caotico, quindi piccoli cambiamenti nei nostri input possono causare enormi cambiamenti negli output. Indipendentemente dalla magia usata, il caos per definizione non può essere previsto. Le previsioni e le previsioni perdono potere quanto più le estendi nel tempo.

Il punto chiave è questo, più ti affidi alle previsioni, maggiore è la possibilità di un fallimento sistemico poiché se un modello produce previsioni sbagliate, può causare il malfunzionamento di altri sistemi. Più ci affidiamo ai modelli, più rischi stiamo introducendo nel sistema.

Grazie per aver letto! Se ti piace quello che scrivo, segui e iscriviti anche per ricevere un'e-mail ogni volta che pubblico!

Ecco alcuni dei miei post che potrebbero piacerti: