ตำนานของ "สัญชาตญาณผลิตภัณฑ์"

David Sacks, VC และผู้ประกอบการด้านซอฟต์แวร์เพิ่งเขียนบน Twitter ว่า “สัญชาตญาณของผลิตภัณฑ์หนึ่งออนซ์มีค่าเท่ากับการทดสอบ A/B หนึ่งปอนด์” ฉันไม่สามารถไม่เห็นด้วยมากขึ้น

มีตำนานที่แพร่หลายว่าเป็นไปได้ที่จะกำหนดได้ด้วยสติปัญญาว่าผู้ใช้ต้องการอะไร แม้ว่าจะเป็นไปได้อย่างแน่นอนเมื่อสร้างผลิตภัณฑ์เพื่อพัฒนาการจดจำรูปแบบ แต่แนวคิดที่ว่าสัญชาตญาณเพียงอย่างเดียวสามารถทดแทนการทดสอบ A/B หรือการตรวจสอบความถูกต้องตามรูปแบบอื่นๆ

เมื่อฉันดูแลทีมวิทยาศาสตร์ข้อมูลและการวิเคราะห์ผลิตภัณฑ์ที่ Hulu ทีมของฉันได้รับมอบหมายให้ประเมินผลกระทบของการออกแบบแอปใหม่ครั้งใหญ่ในปี 2020 ผู้นำผลิตภัณฑ์ทุกคนในบริษัทรวมถึงตัวฉันเอง ต่างเห็นพ้องต้องกันว่าการออกแบบใหม่นั้นไม่ใช่เกมง่ายๆ การสัมภาษณ์ผู้ใช้ตรวจสอบความต้องการ ชุดสไลด์นั้นน่าสนใจ การจำลอง UX ดูเหลือเชื่อ ตรรกะสมเหตุสมผล ทุกคนเห็นพ้องกันว่าเรามี "สัญชาตญาณ" ที่ยอดเยี่ยม และเราจะได้รับรางวัลเป็นฐานลูกค้าที่มีความสุขและมีส่วนร่วมมากขึ้นหลังจากการออกแบบใหม่

น่าเสียดายที่เมตริกถูกใช้งานเมื่อเรารันผ่านการทดสอบ A/B หากไม่มีการตรวจสอบความถูกต้องของข้อมูล เราคงคิดว่าเรามีสัญชาตญาณที่ดี

เหตุใดผู้นำผลิตภัณฑ์จึงเชื่อมั่นว่าสัญชาตญาณเพียงพอ

1. กลัวถูกพิสูจน์ว่าผิด เป็นเรื่องง่ายที่จะถูกต้องหากคุณไม่สามารถวัดผลกระทบของความคิดริเริ่มของคุณได้ ฉันอยากเป็นผู้จัดการผลิตภัณฑ์ที่สามารถบอกเล่าเรื่องราวว่าความคิดริเริ่มทั้งหมดของฉันประสบความสำเร็จ ฉันจะเฉลิมฉลอง ฉันจะได้รับการเลื่อนตำแหน่ง ไม่มีใครจะฉลาด
2. ความเชื่อที่ว่าการทดสอบ A/B (หรือการตรวจสอบความถูกต้องของข้อมูลอื่นๆ) เป็นเรื่องที่เสียเวลา การศึกษาแสดงให้เห็นว่ามีเพียง 10–20% ของการทดลองในบริษัทเทคโนโลยีขนาดใหญ่เท่านั้นที่ทำให้เกิดการเปลี่ยนแปลงเชิงบวกอย่างมีนัยสำคัญทางสถิติในตัวชี้วัด หากไม่มีการตรวจสอบข้อมูล คุณลักษณะที่เหลืออีก 80% จะเปิดใช้งานเร็วขึ้น เยี่ยมมาก — ตอนนี้เรากำลังขยายฟีเจอร์และคงไว้อย่างไม่มีกำหนดในฐานะหนี้เทคโนโลยี แม้ว่าจะมีผลกระทบในทางลบก็ตาม! ดีใจมากที่เราก้าวไปอย่างรวดเร็ว!
3. อาตมา. หากผู้จัดการผลิตภัณฑ์ไม่ได้รับค่าตอบแทนสูงสำหรับสัญชาตญาณที่เหลือเชื่อ เราจะจ่ายเงินให้พวกเขาเพื่ออะไร เพื่อความชัดเจน ฉันคิดว่าผู้จัดการผลิตภัณฑ์สามารถเพิ่มมูลค่ามหาศาลได้ แต่สัญชาตญาณไม่ใช่เหตุผลของพวกเขา

สิ่งที่สร้างการจดจำรูปแบบผลิตภัณฑ์ที่ดีคือการตรวจสอบความถูกต้องและการทดลอง หากไม่มีการวัด จะไม่มีทางรู้ได้ว่าสัญชาตญาณของคนๆ หนึ่งถูกต้องหรือไม่ เนื่องจากเราได้เรียนรู้วิธีที่ยากลำบากที่ Hulu แทนที่จะมุ่งเน้นไปที่การจ้างผู้ที่มีสัญชาตญาณผลิตภัณฑ์ ที่ยอดเยี่ยม ให้เน้นการจ้างงานสำหรับผู้ที่เชี่ยวชาญในการตรวจสอบผลิตภัณฑ์ องค์กรที่สามารถสร้างสมมติฐานที่ชัดเจนและมีกระบวนการและระเบียบวินัยในการทดสอบและทำซ้ำอย่างรวดเร็วจะขับเคลื่อนเมตริกของตนไปข้างหน้าได้มากที่สุด

ลองคิดแบบนี้: สมมติว่าการหยั่งรู้ของผลิตภัณฑ์ถูกกำหนดเป็นเปอร์เซ็นต์ของคุณสมบัติที่ส่งมอบซึ่งสร้างผลกระทบเชิงบวกที่มีความหมาย ในแง่ของจำนวนคุณลักษณะที่มีผลกระทบเชิงบวกที่จัดส่ง การเพิ่มความแม่นยำของสัญชาตญาณผลิตภัณฑ์เป็นสองเท่ามีผลเช่นเดียวกับการเพิ่มความเร็วของการตรวจสอบผลิตภัณฑ์ เป็นสองเท่า

ดังนั้นการตรวจสอบผลิตภัณฑ์ จะดีขึ้นและเร็วขึ้นได้ อย่างไร

1. สมมติฐานพื้นฐานในความเข้าใจของผู้ใช้ ผู้ใช้ควรขอฟีเจอร์นี้ คุณจะเห็นโอกาสในข้อมูลพฤติกรรมของผู้ใช้ หรือคุณรู้ว่าการเปิดตัวฟีเจอร์ที่คล้ายกันเปลี่ยนเมตริกในทางที่เป็นประโยชน์
2. ระบุสมมติฐานของคุณในแง่ของเมตริกที่สำคัญ คุณควรเขียนเป็นภาษาอังกฤษแบบธรรมดาได้ว่าคุณลักษณะของผลิตภัณฑ์นี้จะกระตุ้นให้เกิดพฤติกรรมที่จะขับเคลื่อนเมตริกที่มีความหมายไปข้างหน้าได้อย่างไร
3. ใช้กรอบการประเมินและทำให้กระบวนการนี้เป็นไปโดยอัตโนมัติ คุณควรมีเกณฑ์การตัดสินใจที่ชัดเจนสำหรับการเผยแพร่ฟีเจอร์ แม้ว่าการทดสอบ A/B จะเป็นมาตรฐานทองคำสำหรับการประเมินการเปลี่ยนแปลงของผลิตภัณฑ์ แต่อาจไม่ใช่ตัวเลือกที่ดีที่สุดสำหรับผลิตภัณฑ์ทุกประเภท ให้ใช้ประโยชน์จากการอนุมานเชิงสาเหตุ ความคิดเห็นของลูกค้าโดยตรง หรือการวิเคราะห์ก่อน-หลัง ตามความเหมาะสม สิ่งที่สำคัญที่สุดคือการหาเกณฑ์การตัดสินที่ชัดเจนว่าหากไม่ผ่านก็หมายความว่าคุณสมบัติจะไม่ถูกปล่อยออกมา