Nassim Nicholas Taleb の確率とランダム性に関する本がデータの専門家に教えてくれること

Nassim Taleb は元金融デリバティブ トレーダーであり、確率研究者であり、彼の著書「The Black Swan: The Impact of the Very Improbable」では、非常にありそうもない出来事が私たちの日常生活や金融市場にどのように影響するかを強調しています。当然のことながら、クオンツ ファイナンスとデータ サイエンスには統計モデルと確率論が関係しているため、データの専門家にとって多くの教訓が得られます。

ブラックスワンとは？

ブラック スワンは、非常にありそうもないが非常に影響力のある出来事の隠喩です。Nassim によると、私たちのモデルは、開発に魔法を使っているにもかかわらず、そのようなイベントに適切に備えることはできないようです。Covid — 19 の発生は、おそらく、日常生活に壊滅的な影響を与えた、誰も予想していなかった予期せぬ出来事の最新の例です。金融市場にとって、2008 年の金融危機は、リーマン ブラザーズの倒産と世界的な景気後退につながったブラック スワンでした。

ブラック スワンは必ずしも破壊的である必要はありません。ノルウェーの北海での石油の発見は、黒い白鳥のようなものと考えることができます。話が進むにつれて、ノルウェーが北海に対する権利を主張したとき、巨大な石油埋蔵量があるとは誰も信じていませんでした. 別の「ポジティブな」黒い白鳥は、レーザーの発明かもしれません。開発されたとき、それは本当の目的を持っていませんでしたが、時間の経過とともに視力の治療のようなアプリケーションが発見されました. どちらの場合も、思いがけない結果は予期せぬものでしたが（非常にありそうにありません）、非常に影響力がありました。

不透明度のトリプレット

Nassim は、歴史上の出来事を評価する際に人間が犯す 3 つの誤りを次のように述べています。

1. 理解の錯覚:私たちは、何が原因なのかを知っていると思っていますが、私たちの説明はすべて架空のものである可能性があります. 実際には予測不可能な出来事を予測して説明できるという錯覚を与える。
2. 回顧的歪み: 事後的に説明、解決策、および注意事項を考え出します。負のブラック スワンが緩和された可能性があるという錯覚を与えます。
3. 事実情報の過大評価:「事実」と思われるものが歪曲または不完全である可能性があることを理解していません。

予測できない、または説明できないものもあります。それらが説明可能である場合、その説明は通常、問題の前ではなく後に発生し、データにキャプチャされていない予期しないイベントであるため、モデルがブラインドであることを警告します。最後のポイントは、モデルから引き出された推論に関するものです。データセット内の関係の事実に基づく表現であると私たちが信じているものは、「不完全な」サンプルから引き出された偏った推定である可能性があります。

物語の誤謬

人間として、ランダムな出来事を観察すると、物語や物語を構築する傾向があります。私たちの心は、適切な証拠がなくても推論を行う傾向があります。

次のシナリオを考えてみましょう。あなたは高層マンションの不動産業者で働くデータ アナリストです。あなたは次の質問を確認するように割り当てられています。彼らは新しい開発プロジェクトで駐車場にどのくらいのスペースを割り当てる必要がありますか?

家賃と駐車スペースの関係をグラフにすると以下のようになります。

データの専門家として、上のグラフを見て、どのような結論を下しますか? プロジェクト全体で 1000 m² のスペースがある場合、駐車場はどれくらい割り当てるべきですか? 駐車場は賃借人にとって非常に便利であるという物語を構築するのは簡単です。したがって、巨大なスペースを割り当てると、不動産業者はより多くの家賃を請求できるようになります! 合理的ですか？

前述の推論は必ずしも誤りではありませんが、物語の誤謬に陥るという問題があります。実際のところ、これまでに提供されたデータを見るだけでは、因果関係を確認することはできません。私たちが観察したことを説明するために構築できる他の何百もの説明があります。たとえば、不動産業者は大規模な建設プロジェクトと小規模な建設プロジェクトの両方に関与しており、大規模な建設プロジェクトは家賃が高く、駐車スペースも広いと主張できます。したがって、駐車スペースによる賃料への影響はありません。

データを解釈する正しい方法はどれですか? コントロールを追加し、おそらくより多くの証拠を収集する必要があります。

私はあなたが何を考えているに違いないか知っています、これはばかげています! もちろん、物事が完璧になることはないからといって、答えてはいけないということではありませんか?

いいえ、それは主なポイントではありません。主なポイントは懐疑的であることです！私たち人間は、観察したことを説明するために物語を組み立てます。データの専門家として、(具体的な証拠がなくても) 物語を構築したいという衝動に抵抗する必要があります。観察した以上の推論を試みたり、そうした場合のリスクに注意したりしてはなりません。私たちは自分の物語を改ざんすることに常に注意を払う必要があります。ストーリーテリングは売りには良いかもしれませんが、自己妄想を永続させます!

この物語を楽しんでいますか？コーディングのヘルプが必要ですか? パトロンになることを検討してください！(私の国ではミディアム パートナー プログラムを利用できません。Patreon が私の文章を収益化する唯一の方法です)

ルディックの誤謬

Nassim は、この誤謬の名前の由来です。彼は、学術専門家が現実に合わないモデルを構築したが、私たちはそれらを使い続けていると指摘する. 彼は特に、現代のポートフォリオ理論とガウス分布の不適切な使用により、現代の金融アナリストがブラック スワン イベントのリスクを過小評価するようになったことを指摘しています。

ありそうもない出来事は、私たちが思っているよりも起こりやすいかもしれません!

Nassim は、株式市場でのリターンの分布はガウス分布ではなく、ガウス モデルで信じられているよりも極端なイベントが発生する可能性が高くなるファット テール分布に従うことを詳しく説明しています。その結果、オプション トレーダーはポートフォリオを過度にレバレッジしたり、過度に下振れリスクにさらしたりすることになります。

データの専門家として、私たちは皆、生活を楽にする一連の方法と配布に慣れてきました。ほとんどの線形モデルは、誤差が正規分布 (ガウス) であることに従いますが、自然やモデル化するために選択したものは、ガウスである必要はありません。ばかげた誤謬は分布だけにとどまらず、使用するあらゆる数学的構造が誤謬に陥る可能性があります。

気にするべきことは、これらの単純化にどれだけ頼ることができるかということです. データ ツールと技術の普及により、私たちは間違った答えを真実として受け入れやすくなっています。有名な方法が何かを推定または予測したからといって、それが真実であるとは限りません。それは、モデルのデータと仮定が許す限り真実です。

予測は事実ではありません！

これは指摘されれば明らかですが、私たちはこれまで以上に予測を真剣に受け止めています。ほとんどの場合、それらは無害であり、ビジネスの間違った売上予測を行っても、ほとんどの場合壊滅的ではありません. しかし、住宅市場を混乱させようとする Opendoor のように、従来の産業を混乱させようとする AI ビジネスが台頭しています。彼らのビジネス モデル全体は、住宅の価格を予測し、顧客に住宅の価値を正確に予測するアルゴリズムの能力に依存しています。

非常に簡単に予測できるものもありますが、経済学などの社会科学に関するほとんどのことはそうではありません。特に人間の行動が関係している場合。エコノミストは間違っていることで有名ですが、私たちは彼らの予測に依拠し続けています。

ますます多くの企業が、収益を上げるために予測と予測に依存しています。Nassim は、世界は混沌としていると強調しています。そのため、インプットの小さな変化が、アウトプットの大きな変化を引き起こす可能性があります。定義上、魔法使いが混沌を予測することはできません。予測と予測は、時間をかけて拡張すればするほど力を失います。

重要なポイントは、予測に依存すればするほど、システム障害の可能性が高くなることです。1 つのモデルが間違った予測を大量に出すと、他のシステムが誤動作する可能性があるからです。モデルに依存すればするほど、システムに導入されるリスクが増えます。

読んでくれてありがとう！私が書いたものを気に入ったら、フォローして購読して、私が出版するたびに電子メールを受け取るようにしてください!

あなたが好きかもしれない私の投稿のいくつかはここにあります：