"제품 직관"의 신화

Feb 18 2023

직관보다는 빠른 검증에 집중

VC이자 소프트웨어 기업가인 David Sacks는 최근 트위터에 “1온스의 제품 직감은 1파운드의 A/B 테스트만큼 가치가 있습니다.”라고 썼습니다. 나는 더 이상 동의할 수 없었다.

Unsplash에 있는 Edz Norton의 사진

사일로에서 사용자가 원하는 것을 인지적으로 결정할 수 있다는 통념이 만연해 있습니다. 패턴 인식을 개발하기 위해 제품을 구축할 때 확실히 가능하지만 직관만으로 A/B 테스트 또는 다른 형태의 데이터 기반 유효성 검사를 대체할 수 있다는 생각은 잘못된 것입니다.

내가 Hulu에서 제품 데이터 과학 및 분석 팀을 운영했을 때 우리 팀은 2020년 주요 앱 재설계의 영향을 평가하는 임무를 받았습니다. 저를 포함하여 회사의 모든 제품 리더는 재설계가 쉬운 일이라는 데 동의했습니다. 사용자 인터뷰를 통해 필요성을 확인했습니다. 슬라이드 데크는 매력적이었습니다. UX 모의는 놀라워 보였습니다. 논리가 이해가 되었습니다. 모든 사람들은 우리가 뛰어난 "직관력"을 가지고 있으며 재설계 후 더 행복하고 참여도가 높은 고객 기반으로 보상을 받을 것이라는 데 동의했습니다.

안타깝게도 A/B 테스트를 통해 측정항목을 실행했을 때 측정항목이 곤두박질쳤습니다. 이 데이터 기반 유효성 검사가 없었다면 우리는 직관력이 뛰어나다고 생각했을 것입니다.

그렇다면 왜 제품 리더들은 직관이면 충분하다는 확신을 유지할까요?

틀렸다는 것이 증명되는 것에 대한 두려움. 이니셔티브의 영향을 측정할 수 없다면 옳다고 보기 쉽습니다. 나는 나의 모든 이니셔티브가 성공이라는 이야기를 할 수 있는 제품 관리자가 되고 싶습니다. 나는 축하받을 것이다. 나는 승진할 것이다. 아무도 더 현명하지 않을 것입니다.
A/B 테스트(또는 기타 데이터 검증)가 시간 낭비라는 믿음. 연구에 따르면 대형 기술 회사의 실험 중 10~20%만이 지표에서 통계적으로 유의미한 긍정적인 변화를 가져왔습니다. 데이터 유효성 검사가 없으면 나머지 80%의 기능이 더 빨리 실행됩니다. 훌륭합니다. 이제 우리는 기능을 확장하고 부정적인 영향을 미치더라도 기술 부채로 무기한 유지하고 있습니다! 우리가 빨리 움직여서 너무 기뻐요!
자아. 제품 관리자가 그들의 놀라운 직관에 대해 높은 보상을 받지 못한다면 우리는 그들에게 무엇을 지불하고 있습니까? 분명히 말씀드리자면 저는 제품 관리자가 막대한 가치를 추가할 수 있다고 생각하지만 직감이 그들의 존재 이유는 아닙니다.

좋은 제품 패턴 인식을 구축하는 것은 검증과 실험입니다. Hulu에서 힘들게 배웠듯이 측정이 없으면 자신의 직감이 옳은지 알 수 없습니다. 뛰어난 제품 직관력을 가진 사람을 고용하는 데 집중하는 대신 제품 검증 에 탁월한 사람을 고용하는 데 집중하세요 . 강력한 가설을 세울 수 있고 신속하게 테스트하고 반복할 수 있는 프로세스와 규율을 갖춘 조직은 메트릭스를 가장 많이 추진할 것입니다.

이런 식으로 생각해 보십시오. 제품 직감이 의미 있고 긍정적인 영향을 미치는 기능의 비율로 정의된다고 가정해 봅시다 . 얼마나 많은 긍정적인 영향을 미치는 기능이 배송되는지에 관해서는 제품 직관 의 정확성을 두 배로 높이는 것은 제품 검증 속도를 두 배로 높이는 것과 정확히 같은 효과가 있습니다 .