Nassim Nicholas Taleb'in olasılık ve rastgelelik üzerine kitabı veri uzmanlarına neler öğretebilir?

Eski bir finansal türev tüccarı ve olasılık araştırmacısı olan Nassim Taleb'in 'Siyah Kuğu: Son Derece Olası Olmayanların Etkisi' adlı kitabı, son derece olasılık dışı olayların günlük yaşamımızı ve finansal piyasalarımızı nasıl etkilediğini vurguluyor. Şaşırtıcı olmayan bir şekilde, nicel finans ve veri bilimi hem istatistiksel modelleri hem de olasılık teorisini içerdiğinden, veri uzmanları için pek çok ders içermektedir.

siyah kuğu nedir?

Siyah Kuğu, son derece olasılık dışı ancak çok etkili bir olayın metaforudur. Nassim'e göre, onları geliştirirken uyguladığımız sihirbazlığa rağmen, modellerimiz bu tür olaylara asla uygun şekilde hazırlanmıyor gibi görünüyor. Covid - 19 salgını, kimsenin tahmin etmediği, ancak günlük yaşam üzerinde yıkıcı bir etkisi olan, öngörülemeyen bir olayın belki de en son örneğidir. Mali piyasalar için 2008 mali krizi, Lehman Brothers'ın iflasına ve küresel bir durgunluğa yol açan siyah bir kuğuydu.

Siyah kuğuların mutlaka yıkıcı olması gerekmez. Norveç'in kuzey denizinde petrolün bulunması bir kara kuğu gibi düşünülebilir. Hikaye devam ederken, Norveç Kuzey Denizi'nde hak iddia ettiğinde kimse orada büyük petrol rezervleri olduğuna inanmadı. Başka bir 'olumlu' siyah kuğu, lazerlerin icadı olabilir, geliştirildiğinde gerçek bir amacı yoktu, ancak zamanla görme yeteneğini iyileştirme gibi uygulamalar keşfedildi. Her iki durumda da tesadüfi sonuç öngörülememişti (oldukça olasılık dışıydı), ancak yine de çok etkiliydi.

Opaklık Üçlüsü

Nassim, insanların tarihi olayları değerlendirirken yaptıkları üç hatayı belirtir:

1. Anlama yanılsaması: Neyin neye sebep olduğunu bildiğimizi sanıyoruz ama tüm açıklamalarımız hayali olabilir. Gerçekte öngörülemez olabilecek olayları tahmin edip açıklayabileceğimiz yanılsamasını vermek.
2. Geriye dönük çarpıtma : Olaydan sonra açıklamalar, çözümler ve önlemler üretiriz. Olumsuz Kara Kuğu'nun hafifletilebileceği yanılsamasını vermek.
3. Olgusal bilgilere aşırı değer verme: 'Olgusal' görünen şeyin bir çarpıtma veya eksik olabileceğinin farkında değiliz.

Bazı şeyler tahmin edilemez veya açıklanamaz. Açıklanabilirlerse, açıklama genellikle problemden önce değil sonra gelir ve bunların verilerde yakalanmayan öngörülemeyen olaylar olduğu ve bu nedenle modellerimizin kör olduğu konusunda bizi uyarır. Son nokta, modellerden elde edilen çıkarımlarla ilgilidir; veri kümelerimizdeki ilişkilerin olgusal bir temsili olduğuna inandığımız şey, 'eksik' örneklerden elde edilen önyargılı tahminler olabilir.

Anlatı Yanılgısı

İnsanlar olarak, rastgele olayları gözlemlediğimizde hikayeler ve anlatılar oluşturma eğilimindeyiz. Zihnimiz, uygun kanıt olmadan çıkarımlar yapmaya yatkındır.

Aşağıdaki senaryoyu düşünün, çok katlı bir emlakçı için çalışan bir veri analistisiniz. Şu soruyu tespit etmekle görevlendirildiniz: Yeni geliştirme projelerinde otopark için ne kadar yer ayırmalılar?

İşte kiralar ve park yeri arasındaki ilişkiyi gösteren bir grafik:

Bir veri uzmanı olarak yukarıdaki tabloyu gördüğünüzde nasıl bir sonuca varıyorsunuz? Tüm proje için 1000 m²'ye sahiplerse otopark için ne kadar ayırmalılar? Otoparkın kiracılar için büyük bir kolaylık olduğu, bu nedenle çok büyük bir alan tahsis etmek emlakçının daha fazla kira talep etmesine izin vereceğine dair bir anlatı oluşturmak kolaydır! Mantıklı görünüyor?

Yukarıda bahsedilen akıl yürütme çizgisi mutlaka yanlış değildir, ancak anlatı yanılgısına düşme sorunu vardır . Gerçek şu ki, sadece şu ana kadar bize sağlanan verilere bakarak nedensel bir ilişki tespit edemeyiz. Gözlemlediğimiz şeyi açıklamak için inşa edebileceğimiz yüzlerce başka açıklama var . Örneğin, emlakçının hem büyük hem de küçük inşaat projelerine dahil olduğunu, büyük inşaat projelerinin daha yüksek kiralar getirdiğini ve ayrıca park için daha fazla alana sahip olduğunu iddia edebilirsiniz. Bu nedenle park yerinin kiralar üzerinde bir etkisi yoktur.

Verileri yorumlamanın doğru yolu hangisidir? Kontroller eklemeyi ve belki de daha fazla kanıt toplamayı gerektirir.

Ne düşündüğünü biliyorum, bu çok saçma! Tabii ki, hiçbir şey mükemmel olmayacak, cevap vermememiz gerektiği anlamına gelmiyor, değil mi?

Hayır, asıl mesele bu değil. Asıl mesele şüpheci olmaktır ! Biz insanlar, gözlemlediklerimizi açıklamak için hikayeler inşa ederiz; veri profesyonelleri olarak, (somut kanıt olmadan) anlatılar oluşturma dürtümüze direnmeliyiz. Asla gözlemlediklerimizin ötesinde çıkarımlar yapmaya çalışmamalı ve yaparsak risklere karşı dikkatli olmalıyız. Anlatılarımızı tahrif etmek için her zaman tetikte olmalıyız. Hikaye anlatmak satış yapmak için iyi olabilir ama aynı zamanda kendini kandırmayı da sürdürür!

Bu hikayeyi beğeniyor musunuz? Kodlama yardımına mı ihtiyacınız var? Lütfen destekçi olmayı düşünün! ( Medium partner programı ülkemde mevcut değil, yazılarımdan para kazanmanın tek yolu Patreon )

Ludik Yanılgı

Nassim, bu yanılgıya adını verdi. Akademik uzmanların gerçeğe uymayan modeller oluşturduğuna, ancak bizim bunları kullanmakta ısrar ettiğimize dikkat çekiyor. Özellikle, modern portföy teorisinin ve gauss dağılımının uygunsuz kullanımının, günümüz finansal analistinin siyah kuğu olaylarının riskini hafife almasına nasıl yol açtığına işaret ediyor.

Olasılık dışı olaylar düşündüğümüzden daha olası olabilir!

Nassim, borsadaki getiri dağılımının gaussçu olmadığını ve bunun yerine aşırı olayları gauss modelinin bizi inandırdığından daha olası kılan şişman kuyruklu dağılımı izlediğini detaylandırıyor. Bu da opsiyon tüccarlarının portföylerini aşağı yönlü riske aşırı maruz bırakmalarına veya aşırı kaldıraç kullanmalarına neden olur.

Veri profesyonelleri olarak hepimiz hayatımızı kolaylaştıran bir dizi yöntem ve dağıtıma alışmışızdır. Doğrusal modellerin çoğu, normal dağılımlı (Gauss) hataları takip eder, ancak, doğa veya modellemeyi seçtiğimiz her neyse, gauss olma zorunluluğu yoktur. Gülünç safsata sadece bir dağılımın ötesine geçer, kullandığımız herhangi bir matematiksel yapı bizi bu safsataya maruz bırakabilir.

Dikkate alınması gereken şey, bu basitleştirmelere ne kadar güvenebileceğimizdir. Veri araçlarının ve tekniklerinin çoğalması, bizi yanlış cevapları gerçek olarak kabul etmeye daha duyarlı hale getirdi! İyi bilinen bir yöntemin bir şeyi tahmin etmesi veya öngörmesi onu doğru yapmaz. Yalnızca modelin verileri ve varsayımlarının izin verdiği ölçüde doğrudur.

Tahminler gerçek değildir!

Bu, işaret edildiğinde açıktır, ancak yine de tahminleri şimdi her zamankinden daha ciddiye alıyoruz. Çoğu durumda zararsızdırlar, işletmeniz için yanlış bir satış tahmini yapmak çoğu durumda felakete yol açmaz. Bununla birlikte, konut piyasasını bozmaya çalışan Opendoor gibi geleneksel endüstrileri bozmaya çalışan AI işletmelerinde bir artış oldu. Tüm iş modelleri, algoritmalarının evlerin fiyatını tahmin etme ve müşterilere evlerinin değerine ilişkin doğru bir tahmin verme yeteneğine dayanıyor.

Bazı şeyleri tahmin etmek çok kolay ama ekonomi gibi sosyal bilimlerle ilgili çoğu şey öyle değil. Özellikle insan davranışı söz konusu olduğunda. Ekonomistler herkesin bildiği gibi yanılıyor, yine de onların tahminlerine güvenmeye devam ediyoruz.

Giderek daha fazla işletme para kazanmak için tahminlere ve tahminlere güveniyor. Nassim, dünyanın kaotik olduğunu, bu nedenle girdilerimizdeki küçük değişikliklerin çıktılarda büyük değişikliklere neden olabileceğinin altını çiziyor. Hangi sihirbaz kullanılırsa kullanılsın, kaos tanımı gereği tahmin edilemez. Tahminler ve öngörüler, onları zaman içinde ne kadar uzatırsanız gücünü kaybeder.

Temel çıkarım şu ki, tahminlere ne kadar çok güvenirseniz sistemik başarısızlık olasılığı o kadar yüksek çünkü bir model yanlış tahminler üretirse diğer sistemlerin arızalanmasına neden olabilir. Modellere ne kadar çok güvenirsek, sisteme o kadar çok risk katıyoruz.

Okuduğunuz için teşekkürler! Yazdıklarımdan hoşlanıyorsanız, lütfen takip edin ve ne zaman yayınladığımda bir e-posta almak için abone olun!

İşte beğenebileceğiniz bazı yazılarım: