Lo que el libro de Nassim Nicholas Taleb sobre probabilidad y aleatoriedad puede enseñar a los profesionales de datos

Nassim Taleb es un ex comerciante de derivados financieros e investigador de probabilidad, su libro 'The Black Swan: The Impact of the Highly Improbable' destaca cómo los eventos altamente improbables afectan nuestra vida diaria y los mercados financieros. Como era de esperar, tiene muchas lecciones para los profesionales de datos, ya que las finanzas cuantitativas y la ciencia de datos involucran modelos estadísticos y teoría de probabilidad.

¿Qué es un cisne negro?

Black Swan es una metáfora de un evento altamente improbable pero muy impactante. Según Nassim, nuestros modelos nunca parecen prepararse adecuadamente para tales eventos, a pesar de la magia que empleamos para desarrollarlos. El brote de Covid-19 es quizás el ejemplo más reciente de un evento imprevisto que nadie vio venir pero que tuvo un impacto devastador en la vida cotidiana. Para los mercados financieros, la crisis financiera de 2008 fue un cisne negro que condujo a la quiebra de Lehman Brothers y a una recesión mundial.

Los cisnes negros no necesariamente tienen que ser destructivos. El descubrimiento de petróleo en el mar del norte de Noruega podría considerarse como un cisne negro. Según cuenta la historia, nadie creía que había enormes reservas de petróleo cuando Noruega reclamó los derechos sobre el Mar del Norte. Otro cisne negro 'positivo' podría ser la invención de los láseres, cuando se desarrollaron no tenían un propósito real, pero con el tiempo se descubrieron aplicaciones como curar la vista. En ambos casos, el resultado fortuito fue imprevisto (altamente improbable) pero muy impactante.

El triplete de la opacidad

Nassim afirma tres errores que cometen los humanos al evaluar eventos históricos:

1. La ilusión de comprender: Creemos saber qué causó qué, pero todas nuestras explicaciones podrían ser ficticias. Dando la ilusión de que podemos predecir y explicar eventos cuando en realidad podrían ser impredecibles.
2. La distorsión retrospectiva : Proponemos explicaciones, soluciones y precauciones después del hecho. Dando la ilusión de que el Cisne Negro negativo podría haberse mitigado.
3. La sobrevaloración de la información fáctica: no nos damos cuenta de que lo que parece 'fáctico' podría ser una distorsión o estar incompleto.

Algunas cosas no son predecibles o explicables. Si son explicables la explicación suele venir después del problema no antes, advirtiéndonos que son imprevistos que no se capturan en los datos y por tanto nuestros modelos son ciegos. El último punto se refiere a las inferencias extraídas de los modelos, lo que creemos que es una representación fáctica de las relaciones en nuestros conjuntos de datos podrían ser estimaciones sesgadas extraídas de muestras 'incompletas'.

La falacia narrativa

Como humanos, tendemos a construir historias y narrativas cuando observamos eventos aleatorios. Nuestras mentes son susceptibles de hacer inferencias sin la evidencia adecuada.

Considere el siguiente escenario, usted es un analista de datos que trabaja para un agente inmobiliario de apartamentos de gran altura. Se le asigna para determinar la siguiente pregunta, ¿cuánto espacio deben asignar para estacionamiento en su nuevo proyecto de desarrollo?

Aquí hay un gráfico que muestra la relación entre los alquileres y el espacio de estacionamiento:

Como profesional de datos, ve el gráfico anterior, ¿qué conclusión saca? Si tienen 1000 m² para todo el proyecto, ¿cuánto deberían asignar para estacionamiento? Es fácil construir una narrativa de que el estacionamiento es una gran comodidad para los inquilinos, por lo tanto, ¡asignar un espacio enorme le permitiría al agente inmobiliario cobrar más renta! ¿Parece razonable?

La línea de razonamiento antes mencionada no es necesariamente falsa pero tiene el problema de caer en la falacia narrativa . La verdad es que con solo ver los datos que nos han proporcionado hasta ahora no podemos determinar una relación causal. Hay cientos de otras explicaciones que podemos construir para explicar lo que observamos . Por ejemplo, puede argumentar que el agente de bienes raíces está involucrado en proyectos de construcción grandes y pequeños, los proyectos de construcción grandes generan alquileres más altos y también tienen más espacio para estacionamiento. Por lo tanto, no hay impacto del espacio de estacionamiento en los alquileres.

¿Cuál es la verdadera manera de interpretar los datos? Requiere agregar controles y tal vez recopilar más evidencia.

Sé lo que debes estar pensando, ¡esto es absurdo! Por supuesto, las cosas nunca van a ser perfectas no significa que no debamos responder, ¿o sí?

No, ese no es el punto principal. ¡ El punto principal es ser escéptico! Nosotros, como humanos, construimos historias para explicar lo que observamos; como profesionales de datos, debemos resistir nuestro impulso de construir narrativas (sin evidencia concreta). Nunca debemos tratar de hacer inferencias más allá de lo que observamos o tener cuidado con los riesgos si lo hacemos. Siempre debemos estar atentos a falsificar nuestras narrativas. ¡Contar historias puede ser bueno para vender, pero también perpetúa el autoengaño!

¿Disfrutando de esta historia? ¿Necesitas ayuda con la codificación? ¡Por favor considere convertirse en un patrocinador! ( El programa de socios medianos no está disponible en mi país, Patreon es la única forma de monetizar mi escritura )

La falacia lúdica

Nassim originó el nombre de esta falacia. Señala que los expertos académicos han construido modelos que no se ajustan a la realidad, pero persistimos en usarlos. Señala en particular cómo la teoría moderna de la cartera y el uso inadecuado de la distribución gaussiana han llevado al analista financiero moderno a subestimar el riesgo de los eventos del cisne negro.

¡Los eventos improbables pueden ser más probables de lo que pensamos!

Nassim explica que la distribución de los rendimientos en el mercado de valores no es gaussiana y, en cambio, sigue la distribución de cola gorda que hace que los eventos extremos sean más probables de lo que el modelo gaussiano nos hace creer. Lo que a su vez hace que los comerciantes de opciones sobreapalanquen o sobreexpongan su cartera al riesgo a la baja.

Como profesionales de los datos, todos nos hemos acostumbrado a un conjunto de métodos y distribuciones que nos facilitan la vida. La mayoría de los modelos lineales siguen los errores para distribuirse normalmente (gaussiana), sin embargo, la naturaleza o lo que sea que elijamos para modelar no tiene la obligación de ser gaussiana. La falacia lúdica se extiende más allá de una simple distribución, cualquier construcción matemática que usemos puede someternos a la falacia.

Lo que importa es cuánto podemos permitirnos confiar en estas simplificaciones. ¡La proliferación de herramientas y técnicas de datos nos ha hecho más susceptibles a aceptar respuestas incorrectas como verdad! El hecho de que un método bien conocido estime o prediga algo no significa que sea cierto. Es tan cierto como lo permiten los datos y las suposiciones del modelo.

¡Los pronósticos no son hechos!

Este es obvio cuando se señala, pero ahora nos tomamos los pronósticos más en serio que nunca. En la mayoría de los casos son inocuos, hacer un pronóstico de ventas erróneo para tu negocio no será catastrófico en la mayoría de los casos. Sin embargo, ha habido un aumento en las empresas de IA que intentan interrumpir industrias tradicionales como Opendoor que intentan interrumpir el mercado inmobiliario. Todo su modelo de negocio se basa en la capacidad de su algoritmo para pronosticar el precio de las casas y dar a los clientes una predicción precisa del valor de sus casas.

Algunas cosas son muy fáciles de pronosticar, pero la mayoría de las ciencias sociales, como la economía, no lo son. Especialmente cuando hay comportamiento humano involucrado. Los economistas están notoriamente equivocados, pero seguimos confiando en sus predicciones.

Cada vez más empresas confían en predicciones y pronósticos para ganar dinero. Nassim destaca que el mundo es caótico, por lo tanto, pequeños cambios en nuestras entradas pueden causar grandes cambios en las salidas. No importa la magia utilizada, el caos por definición no se puede predecir. Los pronósticos y las predicciones pierden fuerza cuanto más los extiendes en el tiempo.

La conclusión clave es esta: cuanto más confíe en las predicciones, mayor será la probabilidad de falla sistémica, ya que si un modelo genera predicciones incorrectas, puede causar que otros sistemas funcionen mal. Cuanto más confiamos en los modelos, más riesgos estamos introduciendo en el sistema.

¡Gracias por leer! Si te gusta lo que escribo, ¡sígueme y suscríbete para recibir un correo electrónico cada vez que publique!

Estas son algunas de mis publicaciones, que te pueden gustar: