Mitos “Intuisi Produk”

David Sacks, VC dan pengusaha perangkat lunak, baru-baru ini menulis di Twitter bahwa “satu ons intuisi produk bernilai satu pon pengujian A/B.” Saya sangat tidak setuju.

Ada mitos yang tersebar luas bahwa mungkin untuk secara kognitif menentukan apa yang diinginkan pengguna. Meskipun sangat mungkin saat membuat produk untuk mengembangkan pengenalan pola, gagasan bahwa intuisi saja dapat menjadi pengganti pengujian A/B atau bentuk lain dari validasi berbasis data adalah salah arah.

Ketika saya menjalankan tim ilmu data & analitik produk di Hulu, tim saya ditugaskan untuk mengevaluasi dampak desain ulang aplikasi besar pada tahun 2020. Setiap pemimpin produk di perusahaan, termasuk saya, setuju bahwa desain ulang itu tidak perlu dipikirkan. Wawancara pengguna memvalidasi kebutuhan. Dek slide sangat menarik. Mock UX tampak luar biasa. Logikanya masuk akal. Semua orang setuju bahwa kami memiliki "intuisi" yang hebat dan bahwa kami akan mendapatkan basis pelanggan yang lebih bahagia dan terlibat setelah desain ulang.

Sayangnya, metrik macet saat kami menjalankannya melalui pengujian A/B. Tanpa validasi berbasis data ini, kami akan terus berpikir bahwa kami memiliki intuisi yang hebat.

Jadi mengapa para pemimpin produk mempertahankan keyakinan bahwa intuisi saja sudah cukup?

1. Takut terbukti salah. Sangat mudah untuk menjadi benar jika Anda tidak dapat mengukur dampak inisiatif Anda. Saya lebih suka menjadi manajer produk yang dapat menceritakan kisah bahwa semua inisiatif saya sukses. Aku akan dirayakan. Aku akan dipromosikan. Tidak ada yang lebih bijak.
2. Keyakinan bahwa pengujian A/B (atau validasi data lainnya) hanya membuang-buang waktu. Studi menunjukkan bahwa hanya 10–20% eksperimen di perusahaan teknologi besar yang mendorong perubahan positif yang signifikan secara statistik dalam metrik. Tanpa validasi data, 80% fitur lainnya diluncurkan lebih cepat. Hebat — sekarang kami meningkatkan fitur dan mempertahankannya tanpa batas waktu sebagai hutang teknologi, meskipun memiliki dampak negatif! Sangat senang kami bergerak cepat!
3. Ego. Jika manajer produk tidak diberi kompensasi tinggi untuk intuisi mereka yang luar biasa, untuk apa kita membayar mereka? Untuk lebih jelasnya, menurut saya manajer produk dapat menambah nilai yang sangat besar, tetapi intuisi bukanlah alasan utama mereka.

Apa yang membangun pengenalan pola produk yang baik adalah validasi dan eksperimen. Tanpa pengukuran, tidak ada cara untuk mengetahui apakah intuisi seseorang benar, seperti yang kita pelajari dengan susah payah di Hulu. Alih-alih berfokus untuk mempekerjakan orang dengan intuisi produk yang hebat , fokuslah untuk merekrut orang-orang yang unggul dalam validasi produk. Organisasi yang dapat membuat hipotesis kuat dan memiliki proses serta disiplin untuk menguji dan mengulangi dengan cepat akan mendorong metrik mereka lebih maju.

Pikirkan seperti ini: mari kita asumsikan bahwa intuisi produk didefinisikan sebagai persentase fitur yang dikirimkan yang menciptakan dampak positif yang berarti. Dalam hal berapa banyak fitur berdampak positif yang dikirimkan, menggandakan keakuratan intuisi produk seseorang memiliki efek yang persis sama dengan menggandakan kecepatan validasi produk.

Jadi, bagaimana cara menjadi lebih baik dan lebih cepat dalam validasi produk ?

1. Hipotesis dasar dalam pemahaman pengguna. Entah pengguna harus meminta fitur ini, Anda dapat melihat peluang dalam data perilaku pengguna, atau Anda tahu bahwa rilis fitur serupa mengubah metrik dengan cara yang menguntungkan.
2. Nyatakan hipotesis Anda dalam bentuk metrik yang penting. Anda harus dapat menulis dalam bahasa Inggris yang sederhana bagaimana fitur produk ini akan mendorong perilaku yang akan mendorong kemajuan metrik yang berarti.
3. Manfaatkan kerangka kerja evaluasi dan otomatiskan proses ini. Anda harus memiliki kriteria keputusan yang jelas untuk merilis sebuah fitur. Meskipun pengujian A/B adalah standar emas untuk mengevaluasi perubahan produk, ini mungkin bukan pilihan terbaik untuk semua jenis produk. Alih-alih, manfaatkan inferensi kausal, umpan balik pelanggan langsung, atau analisis pra-posting, sebagaimana mestinya. Yang paling penting adalah membuat kriteria keputusan yang jelas, jika tidak lolos berarti fitur tersebut tidak akan dirilis.