Đo lường kết quả

Trong chương này, chúng ta sẽ thảo luận về cách đo lường kết quả và đơn giản hóa số liệu thống kê của thử nghiệm được thực hiện trên trang web.

Hiểu thống kê

Các nhà nghiên cứu có thể hiểu hoặc không hiểu các thống kê. Tuy nhiên, công cụ Kiểm tra A / B chứng tỏ mình là một vị cứu tinh bằng cách đơn giản hóa những thống kê đó. Vì vậy có thể tránh được rất nhiều tính toán. Hầu hết các công cụ kiểm tra đều nhất quán trong việc sử dụng tiêu chí 95% là hoàn thành mục tiêu thành công.

Điều đó có nghĩa là trong số 10 bạn là người chiến thắng với 9. Hãy để chúng tôi lấy một ví dụ. Báo cáo công cụ kiểm tra của bạn như sau:

Các biến thể	Tỷ lệ chuyển đổi
Trang kiểm soát	1,91%
1	2,39%
2	2,16%
3	3,10%

Báo cáo này dự đoán phương sai tỷ lệ chuyển đổi 0,20% nhiều hơn hoặc ít hơn ở khoảng thời gian 95%. Theo thống kê, phạm vi mục tiêu là từ 1,76 đến 2,06.

Tìm nạp thông tin chi tiết

Trong khi lập kế hoạch kiểm tra, tôi ghi nhớ hai mục tiêu. Đầu tiên, là thúc đẩy doanh thu và thứ khác là tìm nạp thông tin chi tiết về điều gì đã thúc đẩy ROI cao hơn.

Ví dụ: trong một nghiên cứu điển hình, chúng tôi nhận thấy việc chuyển hướng lưu lượng truy cập đến trang sản phẩm thay vì trang danh mục hoặc trang chủ có cải thiện tỷ lệ chuyển đổi hay không. Chúng tôi đã thực hiện ba biến thể, trong một biến thể, chúng tôi hướng lưu lượng truy cập trên trang chủ được tải bằng các danh mục và danh mục phụ hướng sâu hơn đến trang sản phẩm. Trong lần thứ hai, chúng tôi hướng lưu lượng truy cập đến trang danh mục thêm bộ lọc. Trong phần thứ ba, chúng tôi hướng dẫn nó trực tiếp trên trang chi tiết sản phẩm với nút mua.

Trước sự ngạc nhiên của tôi, biến thể thứ ba đã chiến thắng. Đây chỉ là thông tin được yêu cầu bởi người mua về sản phẩm. Điều này cho phép chúng tôi tìm hiểu cách tăng tỷ lệ chuyển đổi và những cải tiến liên tục có thể khiến chúng tôi tăng trưởng khách hàng tiềm năng.

Không nghi ngờ gì nữa, việc thêm nhiều biến thể và thông tin chi tiết qua các thử nghiệm đã cho chúng tôi thiết kế lại trang web.

Hiểu kết quả

Hãy để tôi làm rõ nó ra. KHÔNG PHẢI TẤT CẢ THÍ NGHIỆM ĐỀU THẮNG. Vâng, đó là sự thật.

Có những bài kiểm tra cho bạn kết quả là màu bay. Có những người khác mà sau rất nhiều cố gắng cũng không có kết quả. Nhưng nếu bạn lập kế hoạch kiểm tra với phân đoạn lái xe thông tin chi tiết, bạn có thể có một giả thuyết mới để kiểm tra. Không phải tất cả các thử nghiệm đều giúp bạn cải thiện doanh thu.

Lấy ví dụ để hiểu. Có ba chiến dịch với tỷ lệ chuyển đổi khác nhau.

Chiến dịch A	8,2%
Chiến dịch B	19,1%
Chiến dịch C	5,2%

Bất cứ ai cũng sẽ mù quáng nói rằng 'Campaign B' là một người biểu diễn siêu hạng. Nhưng chúng ta hãy tìm hiểu thêm.

	Lượt truy cập	Giao dịch	Tỷ lệ chuyển đổi
Chiến dịch A	1820	150	8,2%
Chiến dịch B	20	4	19,1%
Chiến dịch C	780	41	5,2%

Xem kỹ hơn, 'Chiến dịch B' quá nhỏ để có ý nghĩa thống kê. Chiến dịch B với 1 giao dịch với một lượt truy cập sẽ cho tỷ lệ chuyển đổi 100 phần trăm. 'Chiến dịch A' hoạt động hơn 'Chiến dịch C'. Trong khi đưa ra kết quả, có một số yếu tố cần được xem xét và nó có thể khác nhau mỗi lần. Chính bạn là người cần phải xem xét tất cả những hiểu biết sâu sắc và quyết định kết quả.