สิ่งที่หนังสือของ Nassim Nicholas Taleb เกี่ยวกับความน่าจะเป็นและการสุ่มสามารถสอนผู้เชี่ยวชาญด้านข้อมูลได้

Nassim Taleb เป็นอดีตผู้ค้าตราสารอนุพันธ์ทางการเงินและนักวิจัยด้านความน่าจะเป็น หนังสือ 'The Black Swan: The Impact of the Highly Improbable' ของเขาเน้นย้ำว่าเหตุการณ์ที่ไม่น่าจะเป็นไปได้สูงส่งผลกระทบต่อชีวิตประจำวันและตลาดการเงินของเราอย่างไร ไม่น่าแปลกใจที่มีบทเรียนมากมายสำหรับผู้เชี่ยวชาญด้านข้อมูล เนื่องจากการเงินเชิงปริมาณและวิทยาศาสตร์ข้อมูลเกี่ยวข้องกับแบบจำลองทางสถิติและทฤษฎีความน่าจะเป็น

หงส์ดำคืออะไร?

Black Swan เป็นคำอุปมาสำหรับเหตุการณ์ที่ไม่น่าจะเป็นไปได้สูงแต่มีผลกระทบอย่างมาก จากข้อมูลของ Nassim แบบจำลองของเราดูเหมือนจะไม่เคยเตรียมตัวอย่างเหมาะสมสำหรับเหตุการณ์ดังกล่าว แม้ว่าเราจะใช้เวทมนตร์ในการพัฒนาสิ่งเหล่านี้ก็ตาม การระบาดของโรคโควิด-19 อาจเป็นตัวอย่างล่าสุดของเหตุการณ์ไม่คาดฝันที่ยังไม่มีใครรู้ว่ากำลังจะมา ซึ่งส่งผลกระทบร้ายแรงต่อชีวิตประจำวัน สำหรับตลาดการเงิน วิกฤตการณ์ทางการเงินในปี 2551 เป็นเหมือนหงส์ดำที่นำไปสู่การล้มละลายของ Lehman Brothers และภาวะเศรษฐกิจถดถอยทั่วโลก

หงส์ดำไม่จำเป็นต้องทำลายล้างเสมอไป การค้นพบน้ำมันในทะเลทางตอนเหนือของนอร์เวย์อาจทำให้นึกถึงหงส์ดำ เมื่อเรื่องราวดำเนินไปก็ไม่มีใครเชื่อว่าจะมีน้ำมันสำรองมหาศาลเมื่อนอร์เวย์ยืนยันสิทธิ์ในทะเลเหนือ หงส์ดำที่ 'คิดบวก' อีกประการหนึ่งอาจเป็นการประดิษฐ์เลเซอร์ เมื่อพัฒนาขึ้นนั้นไม่มีจุดประสงค์ที่แท้จริง แต่เมื่อเวลาผ่านไปก็ถูกค้นพบ เช่น การรักษาสายตา ในทั้งสองกรณีนี้ ผลลัพธ์ที่บังเอิญคาดไม่ถึง (ไม่น่าจะเป็นไปได้สูง) แต่มีผลกระทบอย่างมาก

Triplet ของความทึบ

Nassim ระบุข้อผิดพลาดสามประการที่มนุษย์ทำเมื่อประเมินเหตุการณ์ทางประวัติศาสตร์:

1. ภาพลวงตาของความเข้าใจ:เราคิดว่าเรารู้ว่าอะไรทำให้เกิดอะไร แต่คำอธิบายทั้งหมดของเราอาจเป็นเรื่องสมมติ ให้ภาพลวงตาที่เราสามารถทำนายและอธิบายเหตุการณ์ต่างๆ ทั้งที่ในความเป็นจริงแล้วเหตุการณ์เหล่านั้นไม่อาจคาดเดาได้
2. การบิดเบือนย้อนหลัง : เรามาพร้อมคำอธิบาย วิธีแก้ไข และข้อพึงระวังหลังเหตุการณ์จริง ให้ภาพลวงตาว่า Black Swan ในแง่ลบสามารถบรรเทาลงได้
3. การประเมินข้อมูลที่เป็นข้อเท็จจริงมากเกินไป:เราไม่ทราบว่าสิ่งที่ดูเหมือน 'ข้อเท็จจริง' อาจเป็นการบิดเบือนหรือไม่สมบูรณ์

บางอย่างไม่สามารถคาดเดาหรืออธิบายได้ หากสามารถอธิบายได้ คำอธิบายมักจะมาหลังปัญหาที่ไม่ได้เกิดขึ้นก่อน เตือนเราว่าเป็นเหตุการณ์ที่คาดไม่ถึงซึ่งไม่ได้บันทึกไว้ในข้อมูล ดังนั้นโมเดลของเราจึงมืดบอด ประเด็นสุดท้ายเกี่ยวข้องกับการอนุมานจากแบบจำลอง สิ่งที่เราเชื่อว่าเป็นการแสดงข้อเท็จจริงของความสัมพันธ์ในชุดข้อมูลของเราอาจเป็นค่าประมาณที่มีอคติซึ่งดึงมาจากตัวอย่างที่ 'ไม่สมบูรณ์'

ความเข้าใจผิดของเรื่องเล่า

ในฐานะมนุษย์ เรามักจะสร้างเรื่องราวและเรื่องเล่าเมื่อเราสังเกตเห็นเหตุการณ์สุ่ม จิตใจของเราอ่อนไหวต่อการอนุมานโดยไม่มีหลักฐานที่เหมาะสม

พิจารณาสถานการณ์ต่อไปนี้ คุณเป็นนักวิเคราะห์ข้อมูลที่ทำงานให้กับนายหน้าอสังหาริมทรัพย์ในอาคารสูง คุณได้รับมอบหมายให้ตรวจสอบคำถามต่อไปนี้ พวกเขาควรจัดสรรพื้นที่สำหรับจอดรถในโครงการพัฒนาใหม่เท่าใด

นี่คือกราฟที่แสดงความสัมพันธ์ระหว่างค่าเช่าและพื้นที่จอดรถ:

ในฐานะผู้เชี่ยวชาญด้านข้อมูล คุณเห็นแผนภูมิด้านบน คุณได้ข้อสรุปอย่างไร ถ้าทั้งโครงการมีพื้นที่ 1,000 ตร.ม. ควรเผื่อที่จอดรถไว้เท่าไร? เป็นเรื่องง่ายที่จะสร้างเรื่องเล่าว่าที่จอดรถเป็นความสะดวกสบายอย่างมากสำหรับผู้เช่า ดังนั้น การจัดสรรพื้นที่ขนาดใหญ่จะทำให้นายหน้าสามารถเก็บค่าเช่าได้มากขึ้น! ดูสมเหตุสมผล?

แนวการให้เหตุผลดังกล่าวข้างต้นไม่จำเป็นต้องเป็นเท็จ แต่มีปัญหาในการตกหล่นสำหรับการเข้าใจผิดในการเล่าเรื่อง ความจริงก็คือโดยการดูข้อมูลที่ให้เราเท่านั้น เราไม่สามารถยืนยันความสัมพันธ์เชิงสาเหตุได้ มีคำอธิบายอื่นๆ อีกหลายร้อยคำอธิบายที่เราสามารถสร้างขึ้นเพื่ออธิบายสิ่งที่เราสังเกตได้ ตัวอย่างเช่น คุณสามารถโต้แย้งว่านายหน้ามีส่วนร่วมในโครงการก่อสร้างทั้งขนาดใหญ่และขนาดเล็ก โครงการก่อสร้างขนาดใหญ่ให้ค่าเช่าที่สูงกว่าและยังมีที่จอดรถมากกว่า จึงไม่มีผลกระทบต่อค่าเช่าพื้นที่จอดรถ

ข้อใดคือวิธีที่ถูกต้องในการตีความข้อมูล ต้องมีการเพิ่มการควบคุมและอาจรวบรวมหลักฐานเพิ่มเติม

ฉันรู้ว่าคุณต้องคิดอะไร นี่มันไร้สาระ! แน่นอน สิ่งต่าง ๆ จะไม่มีวันสมบูรณ์แบบไม่ได้หมายความว่าเราไม่ควรตอบ ใช่หรือไม่?

ไม่นั่นไม่ใช่ประเด็นหลัก ประเด็นหลักคือไม่เชื่อ! เราในฐานะมนุษย์สร้างเรื่องราวเพื่ออธิบายสิ่งที่เราสังเกตเห็น ในฐานะผู้เชี่ยวชาญด้านข้อมูล เราควรต่อต้านการกระตุ้นให้สร้างเรื่องเล่า (โดยไม่มีหลักฐานที่เป็นรูปธรรม) เราไม่ควรพยายามอนุมานนอกเหนือไปจากสิ่งที่เราสังเกตเห็นหรือระวังความเสี่ยงหากเราทำเช่นนั้น เราควรระวังเสมอที่จะบิดเบือนเรื่องเล่าของเรา การเล่าเรื่องอาจขายได้ดี แต่ก็ทำให้หลงตัวเองอยู่เสมอ!

สนุกกับเรื่องนี้? ต้องการความช่วยเหลือในการเขียนโค้ด? โปรดพิจารณาเป็นผู้อุปถัมภ์! (โปรแกรมพันธมิตรขนาดกลางไม่มีให้บริการในประเทศของฉัน Patreon เป็นวิธีเดียวที่จะสร้างรายได้จากงานเขียนของฉัน)

ความเข้าใจผิดของ Ludic

Nassim เป็นที่มาของชื่อสำหรับการเข้าใจผิดนี้ เขาชี้ให้เห็นว่าผู้เชี่ยวชาญด้านวิชาการได้สร้างแบบจำลองที่ไม่เหมาะสมกับความเป็นจริง แต่เรายังคงใช้มันต่อไป เขาชี้ให้เห็นเป็นพิเศษว่าทฤษฎีพอร์ตโฟลิโอสมัยใหม่และการใช้การแจกแจงเกาส์เซียนอย่างไม่เหมาะสมทำให้นักวิเคราะห์การเงินยุคใหม่ประเมินความเสี่ยงของเหตุการณ์หงส์ดำต่ำไปได้อย่างไร

เหตุการณ์ที่ไม่น่าเป็นไปได้อาจเป็นไปได้มากกว่าที่เราคิด!

Nassim อธิบายอย่างละเอียดว่าการกระจายผลตอบแทนในตลาดหุ้นไม่ใช่แบบเกาส์เซียน และแทนที่จะเป็นไปตามการกระจายแบบหางอ้วน ซึ่งทำให้เหตุการณ์สุดโต่งมีแนวโน้มมากกว่าแบบจำลองเกาส์เซียนที่ทำให้เราเชื่อ ซึ่งจะทำให้ผู้ค้าออปชันใช้เลเวอเรจมากเกินไปหรือเปิดเผยพอร์ตโฟลิโอมากเกินไปจนมีความเสี่ยงลดลง

ในฐานะผู้เชี่ยวชาญด้านข้อมูล เราทุกคนเคยชินกับชุดของวิธีการและการแจกจ่ายที่ทำให้ชีวิตของเราง่ายขึ้น โมเดลเชิงเส้นส่วนใหญ่ทำตามข้อผิดพลาดในการแจกแจงแบบปกติ (เกาส์เซียน) อย่างไรก็ตาม ธรรมชาติหรืออะไรก็ตามที่เราเลือกสร้างแบบจำลองนั้นไม่มีข้อผูกมัดที่จะต้องเป็นแบบเกาส์เซียน การเข้าใจผิดที่น่าหัวเราะขยายออกไปนอกเหนือไปจากการกระจายเท่านั้น โครงสร้างทางคณิตศาสตร์ใดๆ ที่เราใช้สามารถทำให้เราเข้าใจผิดได้

สิ่งที่ต้องสนใจคือเราสามารถพึ่งพาการทำให้เข้าใจง่ายเหล่านี้ได้มากแค่ไหน การเพิ่มจำนวนของเครื่องมือและเทคนิคข้อมูลทำให้เรายอมรับคำตอบที่ไม่ถูกต้องว่าเป็นความจริงได้ง่ายขึ้น! เพียงเพราะวิธีการที่มีชื่อเสียงประมาณการหรือทำนายบางอย่างไม่ได้ทำให้เป็นจริง เป็นจริงเท่าที่ข้อมูลและสมมติฐานของแบบจำลองอนุญาตให้เป็นจริงเท่านั้น

การคาดการณ์ไม่ใช่ข้อเท็จจริง!

สิ่งนี้ชัดเจนเมื่อชี้ให้เห็น แต่ถึงกระนั้นเราก็คาดการณ์อย่างจริงจังมากขึ้นกว่าเดิม ในกรณีส่วนใหญ่นั้นไม่มีพิษมีภัย การคาดการณ์ยอดขายที่ผิดพลาดสำหรับธุรกิจของคุณจะไม่ถือเป็นหายนะในกรณีส่วนใหญ่ อย่างไรก็ตาม มีธุรกิจ AI จำนวนมากขึ้นที่พยายามทำลายอุตสาหกรรมแบบดั้งเดิม เช่น Opendoor ที่พยายามทำลายตลาดที่อยู่อาศัย รูปแบบธุรกิจทั้งหมดของพวกเขาอาศัยความสามารถของอัลกอริธึมในการพยากรณ์ราคาบ้านและเพื่อให้ลูกค้าสามารถคาดการณ์มูลค่าของบ้านได้อย่างแม่นยำ

บางอย่างคาดการณ์ได้ง่ายมาก แต่ส่วนใหญ่เกี่ยวกับสังคมศาสตร์ เช่น เศรษฐศาสตร์ ทำไม่ได้ โดยเฉพาะอย่างยิ่งเมื่อมีพฤติกรรมของมนุษย์เข้ามาเกี่ยวข้อง นักเศรษฐศาสตร์นั้นผิดพลาดอย่างฉาวโฉ่ แต่เรายังคงพึ่งพาการคาดการณ์ของพวกเขาต่อไป

ธุรกิจจำนวนมากขึ้นเรื่อย ๆ อาศัยการคาดการณ์และคาดการณ์เพื่อสร้างรายได้ Nassim เน้นย้ำว่าโลกนี้วุ่นวาย ดังนั้นการเปลี่ยนแปลงเพียงเล็กน้อยในปัจจัยการผลิตของเราสามารถทำให้เกิดการเปลี่ยนแปลงครั้งใหญ่ในผลลัพธ์ได้ ไม่ว่าเวทมนตร์จะใช้ความโกลาหลตามคำนิยามก็ไม่สามารถคาดเดาได้ การพยากรณ์และการคาดคะเนจะสูญเสียพลังไป ยิ่งคุณยืดเวลาออกไปมากเท่าไร

ประเด็นสำคัญคือ ยิ่งคุณพึ่งพาการคาดคะเนมากเท่าไหร่ โอกาสที่ระบบจะล้มเหลวก็จะยิ่งสูงขึ้น เนื่องจากหากโมเดลหนึ่งปฏิเสธการคาดคะเนที่ผิด อาจทำให้ระบบอื่นทำงานผิดพลาดได้ ยิ่งเราพึ่งพาแบบจำลองมากเท่าใด เราก็ยิ่งมีความเสี่ยงมากขึ้นเท่านั้น

ขอบคุณสำหรับการอ่าน! หากคุณสนุกกับสิ่งที่ฉันเขียน โปรดติดตามและสมัครรับอีเมลทุกครั้งที่เผยแพร่!

นี่คือโพสต์ของฉันบางส่วนที่คุณอาจชอบ: