O que o livro de Nassim Nicholas Taleb sobre probabilidade e aleatoriedade pode ensinar aos profissionais de dados

Nassim Taleb é um ex-comerciante de derivativos financeiros e pesquisador de probabilidade, seu livro 'The Black Swan: The Impact of the Highly Improbable' destaca como eventos altamente improváveis ​​impactam nossa vida diária e mercados financeiros. Sem surpresa, ele tem muitas lições para profissionais de dados, já que finanças quantitativas e ciência de dados envolvem modelos estatísticos e teoria da probabilidade.

O que é um cisne negro?

Cisne Negro é uma metáfora para um evento altamente improvável, mas muito impactante. De acordo com Nassim, nossos modelos nunca parecem se preparar adequadamente para tais eventos, apesar da magia que empregamos em desenvolvê-los. O surto de Covid-19 é talvez o exemplo mais recente de um evento imprevisto que ninguém previu, mas teve um impacto devastador na vida cotidiana. Para os mercados financeiros, a crise financeira de 2008 foi um cisne negro que levou à falência do Lehman Brothers e a uma recessão global.

Os cisnes negros não precisam necessariamente ser destrutivos. A descoberta de petróleo no mar do norte da Noruega pode ser considerada um cisne negro. Segundo a história, ninguém acreditava que havia enormes reservas de petróleo quando a Noruega reivindicou os direitos sobre o Mar do Norte. Outro cisne negro 'positivo' pode ser a invenção dos lasers, quando desenvolvidos não tinham um propósito real, mas com o tempo foram descobertas aplicações como curar a visão. Em ambos os casos, o resultado fortuito foi imprevisto (altamente improvável), mas muito impactante.

O trigêmeo da opacidade

Nassim afirma três erros que os humanos cometem ao avaliar eventos históricos:

1. A ilusão de compreensão: pensamos que sabemos o que causou o quê, mas todas as nossas explicações podem ser fictícias. Dando a ilusão de que podemos prever e explicar eventos quando na realidade eles podem ser imprevisíveis.
2. A distorção retrospectiva : Apresentamos explicações, soluções e precauções após o fato. Dando a ilusão de que o Cisne Negro negativo poderia ter sido mitigado.
3. A supervalorização da informação factual: Não percebemos que o que parece 'factual' pode ser uma distorção ou incompleto.

Algumas coisas não são previsíveis ou explicáveis. Se eles são explicáveis, a explicação geralmente vem depois do problema, não antes, nos alertando que são eventos imprevistos que não são capturados nos dados e, portanto, nossos modelos são cegos. O último ponto refere-se a inferências extraídas de modelos, o que acreditamos ser uma representação factual de relacionamentos em nossos conjuntos de dados pode ser estimativas enviesadas extraídas de amostras 'incompletas'.

A Falácia Narrativa

Como humanos, tendemos a construir histórias e narrativas quando observamos eventos aleatórios. Nossas mentes são suscetíveis a fazer inferências sem evidências adequadas.

Considere o seguinte cenário, você é um analista de dados que trabalha para um corretor de imóveis. Você foi designado para responder à seguinte pergunta: quanto espaço eles devem alocar para estacionamento em seu novo projeto de desenvolvimento?

Aqui está um gráfico que descreve a relação entre aluguéis e vagas de estacionamento:

Como profissional de dados, você vê o gráfico acima, a que conclusão você chega? Se eles têm 1000 m² para todo o projeto, quanto devem destinar para estacionamento? É fácil construir uma narrativa de que o estacionamento é uma grande comodidade para os locatários, portanto, alocar um espaço enorme permitiria que o corretor cobrasse mais aluguel! Parece razoável?

A linha de raciocínio acima não é necessariamente falsa, mas tem o problema de cair na falácia narrativa . A verdade é que apenas visualizando os dados que nos foram fornecidos até agora não podemos estabelecer uma relação causal. Existem centenas de outras explicações que podemos construir para explicar o que observamos . Por exemplo, você pode argumentar que o corretor de imóveis está envolvido em grandes e pequenos projetos de construção, grandes projetos de construção rendem aluguéis mais altos e também têm mais espaço para estacionamento. Portanto, nenhum impacto do espaço de estacionamento nas rendas.

Qual é a verdadeira maneira de interpretar os dados? Requer a adição de controles e talvez a coleta de mais evidências.

Eu sei o que você deve estar pensando, isso é um absurdo! Claro, as coisas nunca vão ser perfeitas, não significa que não devemos responder, ou não?

Não, esse não é o ponto principal. O ponto principal é ser cético! Nós, como humanos, construímos histórias para explicar o que observamos; como profissionais de dados, devemos resistir ao nosso desejo de construir narrativas (sem evidências concretas). Nunca devemos tentar fazer inferências além do que observamos ou ter cuidado com os riscos se o fizermos. Devemos estar sempre atentos para falsificar nossas narrativas. Contar histórias pode ser bom para vender, mas também perpetua a auto-ilusão!

Gostando dessa história? Precisa de ajuda de codificação? Por favor, considere se tornar um patrono! ( O programa de parceria média não está disponível no meu país, o Patreon é a única maneira de monetizar minha escrita )

A Falácia Lúdica

Nassim originou o nome dessa falácia. Ele aponta que especialistas acadêmicos construíram modelos que não se ajustam à realidade, mas persistimos em usá-los. Ele aponta em particular como a moderna teoria do portfólio e o uso impróprio da distribuição gaussiana levaram o analista financeiro moderno a subestimar o risco de eventos do cisne negro.

Eventos improváveis ​​podem ser mais prováveis ​​do que pensamos!

Nassim elabora que a distribuição de retornos no mercado de ações não é gaussiana e, em vez disso, segue a distribuição de cauda gorda que torna os eventos extremos mais prováveis ​​do que o modelo gaussiano nos leva a acreditar. O que, por sua vez, faz com que os operadores de opções superalavanquem ou exponham demais seu portfólio ao risco negativo.

Como profissionais de dados, todos nós estamos acostumados a um conjunto de métodos e distribuições que facilitam nossas vidas. A maioria dos modelos lineares seguem os erros para serem normalmente distribuídos (Gaussianos), porém, a natureza ou o que quer que seja que escolhamos modelar não tem obrigação de ser gaussiano. A falácia lúdica vai além de apenas uma distribuição, qualquer construção matemática que usarmos pode nos sujeitar à falácia.

O que importa é o quanto podemos nos dar ao luxo de confiar nessas simplificações. A proliferação de ferramentas e técnicas de dados nos tornou mais suscetíveis a aceitar respostas erradas como verdade! Só porque um método bem conhecido estima ou prevê algo não o torna verdadeiro. É tão verdadeiro quanto os dados e as suposições do modelo permitem que seja.

Previsões não são fatos!

Este é óbvio quando apontado, mas ainda assim levamos as previsões mais a sério agora do que nunca. Na maioria dos casos são inócuos, fazer uma previsão errada de vendas para o seu negócio não será catastrófico na maioria dos casos. No entanto, houve um aumento nas empresas de IA tentando interromper setores tradicionais, como a Opendoor, tentando interromper o mercado imobiliário. Todo o seu modelo de negócios depende da capacidade do algoritmo de prever o preço das casas e fornecer aos clientes uma previsão precisa do valor de suas casas.

Algumas coisas são muito fáceis de prever, mas a maioria das coisas sobre ciências sociais, como economia, não são. Principalmente quando há comportamento humano envolvido. Os economistas estão notoriamente errados, mas continuamos a confiar em suas previsões.

Mais e mais empresas estão contando com previsões e previsões para ganhar dinheiro. Nassim destaca que o mundo é caótico, portanto, pequenas mudanças em nossas entradas podem causar grandes mudanças nas saídas. Não importa a magia usada, o caos por definição não pode ser previsto. Previsões e previsões perdem força quanto mais você as estende ao longo do tempo.

A principal conclusão é que quanto mais você confia nas previsões, maior a chance de falha sistêmica, pois se um modelo produzir previsões erradas, pode causar mau funcionamento de outros sistemas. Quanto mais confiamos nos modelos, mais riscos estamos introduzindo no sistema.

Obrigado por ler! Se você gosta do que escrevo, siga e também se inscreva para receber um e-mail sempre que eu publicar!

Aqui estão alguns dos meus posts, que você pode gostar: