Чему может научить специалистов по данным книга Нассима Николаса Талеба о вероятности и случайности

Нассим Талеб, бывший торговец производными финансовыми инструментами и исследователь вероятностей, в своей книге «Черный лебедь: влияние маловероятного» рассказывает о том, как маловероятные события влияют на нашу повседневную жизнь и финансовые рынки. Неудивительно, что в нем есть много уроков для специалистов по данным, поскольку количественные финансы и наука о данных включают в себя статистические модели и теорию вероятностей.

Что такое черный лебедь?

Черный лебедь — это метафора маловероятного, но очень важного события. По словам Нассима, наши модели никогда не готовятся должным образом к таким событиям, несмотря на то волшебство, которое мы применяем при их разработке. Вспышка Covid-19, возможно, является самым последним примером непредвиденного события, которое никто не ожидал, но которое оказало разрушительное влияние на повседневную жизнь. Для финансовых рынков финансовый кризис 2008 года стал черным лебедем, который привел к банкротству Lehman Brothers и глобальной рецессии.

Черные лебеди не обязательно должны быть разрушительными. Открытие нефти в северном море Норвегии можно рассматривать как черный лебедь. Как гласит история, никто не верил в огромные запасы нефти, когда Норвегия заявила о своих правах на Северное море. Другим «положительным» черным лебедем может быть изобретение лазеров, когда они не имели реальной цели, но со временем были обнаружены применения, например, для лечения зрения. В обоих этих случаях случайный исход был непредвиденным (крайне маловероятным), но очень важным.

Триплет непрозрачности

Нассим указывает на три ошибки, которые совершают люди при оценке исторических событий:

1. Иллюзия понимания: мы думаем, что знаем, что к чему привело, но все наши объяснения могут быть вымышленными. Создание иллюзии того, что мы можем предсказывать и объяснять события, когда на самом деле они могут быть непредсказуемыми.
2. Ретроспективное искажение : мы придумываем объяснения, решения и меры предосторожности постфактум. Создание иллюзии того, что негативный «Черный лебедь» можно было смягчить.
3. Переоценка фактической информации: мы не понимаем, что то, что кажется «фактическим», может быть искаженным или неполным.

Некоторые вещи невозможно предсказать или объяснить. Если они объяснимы, объяснение обычно приходит после проблемы, а не до нее, предупреждая нас, что это непредвиденные события, которые не отражены в данных, и поэтому наши модели слепы. Последний пункт относится к выводам, сделанным на основе моделей: то, что мы считаем фактическим представлением взаимосвязей в наших наборах данных, может быть необъективной оценкой, полученной из «неполных» выборок.

Нарративная ошибка

Как люди, мы склонны сочинять истории и нарративы, когда наблюдаем за случайными событиями. Наш разум склонен делать выводы без надлежащих доказательств.

Рассмотрим следующий сценарий: вы работаете аналитиком данных в агентстве по продаже высотных квартир. Вам поручено выяснить следующий вопрос, сколько места они должны выделить под парковку в своем новом проекте застройки?

Вот график, показывающий взаимосвязь между арендной платой и парковочным местом:

Как специалист по данным, вы видите приведенную выше диаграмму. Какой вывод вы делаете? Если у них есть 1000 м² для всего проекта, сколько они должны выделить для парковки? Легко построить нарратив о том, что парковка — это огромное удобство для арендаторов, следовательно, выделение огромного пространства позволит риелтору взимать более высокую арендную плату! Кажется разумным?

Вышеупомянутая линия рассуждений не обязательно ложна, но у нее есть проблема, связанная с нарративной ошибкой . Правда в том, что, только просматривая данные, предоставленные нам до сих пор, мы не можем установить причинно-следственную связь. Существуют сотни других объяснений, которые мы можем придумать, чтобы объяснить то, что мы наблюдаем . Например, вы можете утверждать, что риелтор занимается как крупными, так и мелкими строительными проектами, крупные строительные проекты дают более высокую арендную плату, а также имеют больше места для парковки. Таким образом, парковочное место не влияет на арендную плату.

Как правильно интерпретировать данные? Это требует добавления средств контроля и, возможно, сбора дополнительных доказательств.

Я знаю, что вы, должно быть, думаете, это абсурд! Конечно, вещи никогда не будут идеальными, это не значит, что мы не должны отвечать, или нет?

Нет, это не главное. Главное - быть скептиком! Мы, люди, сочиняем истории, чтобы объяснить то, что наблюдаем; как профессионалы в области данных, мы должны сопротивляться желанию создавать нарративы (без конкретных доказательств). Мы никогда не должны пытаться делать выводы, выходящие за рамки того, что мы наблюдаем, или быть осторожными с рисками, если мы это делаем. Мы всегда должны быть начеку, чтобы не фальсифицировать наши нарративы. Рассказывание историй может хорошо продаваться, но оно также увековечивает самообман!

Наслаждаетесь этой историей? Нужна помощь в кодировании? Пожалуйста, подумайте о том, чтобы стать покровителем! ( Партнерская программа Medium недоступна в моей стране, Patreon — единственный способ монетизировать мои тексты )

Игровое заблуждение

Нассим придумал название для этого заблуждения. Он указывает, что академические эксперты построили модели, которые не соответствуют действительности, но мы продолжаем их использовать. В частности, он указывает на то, как современная портфельная теория и неправильное использование гауссовского распределения привели к тому, что современные финансовые аналитики недооценивают риск событий, связанных с черными лебедями.

Невероятные события могут быть более вероятными, чем мы думаем!

Нассим уточняет, что распределение доходности на фондовом рынке не является гауссовым, а вместо этого следует распределению с толстым хвостом, которое делает экстремальные события более вероятными, чем заставляет нас думать гауссовская модель. Что, в свою очередь, приводит к тому, что трейдеры опционов чрезмерно задействуют или подвергают свой портфель чрезмерному риску снижения.

Как профессионалы в области данных, мы все привыкли к набору методов и распределений, которые облегчают нашу жизнь. В большинстве линейных моделей ошибки должны быть нормально распределены (по Гауссу), однако природа или то, что мы выбираем для моделирования, не обязано быть гауссовым. Игровая ошибка выходит за рамки простого распределения, любая математическая конструкция, которую мы используем, может подвергнуть нас ошибке.

Важно, насколько мы можем позволить себе полагаться на эти упрощения. Распространение инструментов и методов работы с данными сделало нас более склонными принимать неправильные ответы за истину! Просто потому, что хорошо известный метод оценивает или предсказывает что-то, это не делает его верным. Это верно только в той мере, в какой это позволяют данные и допущения модели.

Прогнозы - это не факты!

Это очевидно, когда на него указывают, но тем не менее сейчас мы относимся к прогнозам более серьезно, чем когда-либо. В большинстве случаев они безобидны, неверный прогноз продаж для вашего бизнеса в большинстве случаев не приведет к катастрофе. Тем не менее, наблюдается рост числа компаний, использующих ИИ, которые пытаются разрушить традиционные отрасли, такие как Opendoor, пытающиеся разрушить рынок жилья. Вся их бизнес-модель основана на способности алгоритма прогнозировать стоимость домов и давать клиентам точный прогноз стоимости их домов.

Некоторые вещи очень легко предсказать, но большинство вещей, связанных с социальными науками, такими как экономика, — нет. Особенно когда речь идет о человеческом поведении. Экономисты, как известно, ошибаются, но мы продолжаем полагаться на их прогнозы.

Все больше и больше предприятий полагаются на предсказания и прогнозы, чтобы зарабатывать деньги. Нассим подчеркивает, что мир хаотичен, поэтому небольшие изменения в наших входных данных могут привести к огромным изменениям в выходных данных. Какое бы волшебство ни использовалось, хаос по определению нельзя предсказать. Прогнозы и предсказания теряют силу, чем больше вы продлеваете их во времени.

Ключевой вывод заключается в следующем: чем больше вы полагаетесь на прогнозы, тем выше вероятность системного сбоя, поскольку, если одна модель выдает неверные прогнозы, это может привести к сбоям в работе других систем. Чем больше мы полагаемся на модели, тем больше рисков вносим в систему.

Спасибо за чтение! Если вам нравится то, что я пишу, пожалуйста, подпишитесь, а также подпишитесь, чтобы получать электронные письма всякий раз, когда я публикую!

Вот некоторые из моих постов, которые могут вам понравиться: