การทดสอบ A / B - วิธีการทำงาน
คุณสามารถตรวจสอบการกระทำของผู้เข้าชมโดยใช้สถิติและการวิเคราะห์เพื่อกำหนดเวอร์ชันที่ให้อัตรา Conversion สูงขึ้น ผลการทดสอบ A / B มักจะให้แบบแฟนซีmathematical and statistical termsแต่ความหมายเบื้องหลังตัวเลขนั้นค่อนข้างง่าย มีสองวิธีที่สำคัญซึ่งคุณสามารถตรวจสอบอัตรา Conversion โดยใช้การทดสอบ A / B -
- การสุ่มตัวอย่างข้อมูล
- ช่วงความเชื่อมั่น
ให้เราพูดคุยทั้งสองวิธีโดยละเอียด
การสุ่มตัวอย่างข้อมูล
จำนวนตัวอย่างขึ้นอยู่กับจำนวนการทดสอบที่ดำเนินการ จำนวนอัตราการแปลงเรียกว่าตัวอย่างและกระบวนการรวบรวมตัวอย่างเหล่านี้เรียกว่าการสุ่มตัวอย่าง
ตัวอย่าง
สมมติว่าคุณมีผลิตภัณฑ์ A และ B สองรายการคุณต้องการรวบรวมข้อมูลตัวอย่างตามความต้องการในตลาด คุณสามารถขอให้คนสองสามคนเลือกผลิตภัณฑ์ A และ B จากนั้นขอให้เข้าร่วมในแบบสำรวจ เมื่อจำนวนผู้เข้าร่วมเพิ่มขึ้นก็จะเริ่มแสดงไฟล์realistic conversion rate.
มีเครื่องมือต่างๆที่สามารถใช้เพื่อกำหนดจำนวนขนาดตัวอย่างที่ถูกต้อง มีเครื่องมือฟรีอย่างหนึ่งคือ -
http://www.evanmiller.org
ช่วงความเชื่อมั่นในการทดสอบ A / B
ช่วงความเชื่อมั่นคือการวัดความเบี่ยงเบนจากค่าเฉลี่ยของตัวอย่างจำนวนมาก สมมติว่า 22% ของผู้คนชอบผลิตภัณฑ์ A ในตัวอย่างข้างต้นโดยมีช่วงความเชื่อมั่น± 2% ช่วงเวลานี้ระบุขีด จำกัด บนและล่างของผู้ที่เลือกใช้ผลิตภัณฑ์ A และเรียกอีกอย่างว่าขอบของข้อผิดพลาด เพื่อให้ได้ผลลัพธ์ที่ดีที่สุดในการสำรวจโดยเฉลี่ยนี้the margin of error should be as small as possible.
ตัวอย่าง
สมมติว่าในผลิตภัณฑ์ B เราได้เพิ่มการเปลี่ยนแปลงเล็กน้อยจากนั้นทำการทดสอบ A / B กับผลิตภัณฑ์ทั้งสองนี้ ช่วงความเชื่อมั่นผลิตภัณฑ์ A และ B คือ 10% โดยมี± 1% และ 20% และ± 2% ตามลำดับ นี่แสดงให้เห็นว่าการเปลี่ยนแปลงเล็กน้อยทำให้อัตรา Conversion เพิ่มขึ้น หากเราเพิกเฉยต่อขอบของข้อผิดพลาดอัตรา Conversion สำหรับรูปแบบทดสอบ A คือ 10% และอัตรา Conversion สำหรับรูปแบบทดสอบ B เท่ากับ 20% นั่นคือการเพิ่มขึ้น 10% ในรูปแบบทดสอบ
ตอนนี้ถ้าเราหารความแตกต่างด้วยอัตราการเปลี่ยนแปลงการควบคุม 10% ÷ 10% = 1.0 = 100% แสดงว่ามีการปรับปรุง 100% ดังนั้นเราสามารถพูดได้ว่า A / B Testing เป็นเทคนิคที่ใช้วิธีการทางคณิตศาสตร์และการวิเคราะห์ มีเครื่องมือออนไลน์มากมายที่สามารถใช้ในการคำนวณนัยสำคัญ A / B
http://getdatadriven.com
