การทดสอบ A / B - คำถามสัมภาษณ์

คุณเข้าใจอะไรจากการทดสอบ A / B เป้าหมายเบื้องหลังการทดสอบ A / B คืออะไร?

การทดสอบ A / B (หรือที่เรียกว่าการทดสอบแบบแยกส่วน) กำหนดวิธีการ compare two versionsของแอปพลิเคชันหรือหน้าเว็บที่ช่วยให้คุณสามารถระบุได้ว่าอันไหนทำงานได้ดีกว่ากัน การทดสอบ A / B เป็นวิธีที่ง่ายที่สุดวิธีหนึ่งซึ่งคุณสามารถแก้ไขแอปพลิเคชันหรือหน้าเว็บเพื่อสร้างเวอร์ชันใหม่จากนั้นเปรียบเทียบทั้งสองเวอร์ชันนี้เพื่อหาอัตราการแปลง นอกจากนี้ยังช่วยให้เราทราบซึ่งก็คือไฟล์better performer จากทั้งสอง

คุณเข้าใจอะไรจากการสุ่มตัวอย่างข้อมูลในการทดสอบ A / B

จำนวนตัวอย่างขึ้นอยู่กับจำนวนการทดสอบที่ดำเนินการ count of conversion rate เรียกว่าตัวอย่างและกระบวนการเก็บตัวอย่างเหล่านี้เรียกว่าการสุ่มตัวอย่าง

การใช้ Confidence interval ในการทดสอบ A / B คืออะไร?

มีการเรียกช่วงความเชื่อมั่น measurement of deviationจากค่าเฉลี่ยของตัวอย่างจำนวนมาก สมมติว่า 22% ของผู้คนชอบผลิตภัณฑ์ A โดยมีช่วงความเชื่อมั่น +/- 2% ช่วงเวลานี้บ่งบอกถึงupper and lower limit ของคนที่เลือกใช้ผลิตภัณฑ์ A และเรียกอีกอย่างว่า margin of error. เพื่อให้ได้ผลลัพธ์ที่ดีที่สุดในการสำรวจโดยเฉลี่ยนี้ขอบของข้อผิดพลาดควรมีขนาดเล็กที่สุด

คุณควรคิดจะทำการทดสอบ A / B เมื่อใด

ทำการทดสอบ A / B ทุกครั้งหากมีความเป็นไปได้ที่จะ beat the original variation by> 5% ควรทำการทดสอบเป็นระยะเวลาพอสมควรเพื่อให้คุณมีข้อมูลตัวอย่างเพียงพอperform statistics and analysis. การทดสอบ A / B ยังช่วยให้คุณได้รับประโยชน์สูงสุดจากการเข้าชมที่มีอยู่บนหน้าเว็บ

ค่าใช้จ่ายในการเพิ่ม Conversion ของคุณนั้นน้อยมากเมื่อเทียบกับค่าใช้จ่ายในการสร้างการเข้าชมเว็บไซต์ของคุณ ROI (return on investment) ในการทดสอบ A / B นั้นมีมากเนื่องจากการเปลี่ยนแปลงเล็กน้อยในเว็บไซต์อาจส่งผลให้อัตรา Conversion เพิ่มขึ้นอย่างมาก

การทดสอบหลายตัวแปรคืออะไรและเปรียบเทียบกับการทดสอบ A / B อย่างไร

เช่นเดียวกับการทดสอบ A / B การทดสอบหลายตัวแปรจะขึ้นอยู่กับกลไกเดียวกัน แต่เป็นการทดสอบ compares higher number of variablesและให้ข้อมูลเพิ่มเติมเกี่ยวกับการทำงานของตัวแปรเหล่านี้ ในการทดสอบ A / B คุณแบ่งการเข้าชมของหน้าระหว่างการออกแบบเวอร์ชันต่างๆ การทดสอบหลายตัวแปรใช้เพื่อวัดค่าeffectiveness of each design.

ฉันควรทดสอบตัวแปรกี่ตัว?

ปัญหาในการทดสอบตัวแปรหลายตัวพร้อมกันก็คือ tough to accurately determineตัวแปรใดที่สร้างความแตกต่าง ในขณะที่คุณสามารถพูดได้ว่าหน้าหนึ่งทำงานได้ดีกว่าหน้าอื่น ๆ แต่หากมีตัวแปรสามหรือสี่ตัวในแต่ละหน้าคุณไม่สามารถมั่นใจได้ว่าเหตุใดตัวแปรหนึ่งในนั้นจึงเป็นอันตรายต่อเพจจริง ๆ และคุณไม่สามารถทำซ้ำได้good elements ในหน้าอื่น ๆ

ตั้งชื่อรูปแบบที่สามารถนำไปใช้กับหน้าเว็บได้หรือไม่?

นี่คือรูปแบบการทดสอบ A / B บางส่วนที่สามารถนำไปใช้กับหน้าเว็บได้ รายการประกอบด้วย - หัวข้อข่าว, หัวข้อย่อย, รูปภาพ, ข้อความ, ข้อความและปุ่ม CTA, ลิงก์, ป้าย, การกล่าวถึงสื่อ, การกล่าวถึงทางสังคม, การส่งเสริมการขายและข้อเสนอ, โครงสร้างราคา, ตัวเลือกการจัดส่ง, ตัวเลือกการชำระเงิน, การนำทางไซต์และส่วนติดต่อผู้ใช้

อธิบายกระบวนการทีละขั้นตอนสำหรับการทดสอบ A / B

Background Research - ขั้นตอนแรกในการทดสอบ A / B คือการค้นหาไฟล์ bounce rateบนเว็บไซต์ของคุณ ซึ่งสามารถทำได้ด้วยความช่วยเหลือของเครื่องมือใด ๆ เช่น Google Analytics
Collect Data - ข้อมูลจาก Google Analytics สามารถช่วยคุณค้นหา visitor behaviors. ขอแนะนำให้รวบรวมข้อมูลจากไซต์ให้เพียงพอเสมอ พยายามค้นหาหน้าที่มีอัตรา Conversion ต่ำหรืออัตราการออกจากไซต์สูงที่สามารถปรับปรุงได้
Set Business Goals- ขั้นตอนต่อไปคือการกำหนดเป้าหมายการแปลงของคุณ ค้นหาไฟล์metrics that determines ไม่ว่ารูปแบบจะประสบความสำเร็จมากกว่าเวอร์ชันดั้งเดิมหรือไม่
Construct Hypothesis- เมื่อกำหนดเป้าหมายและเมตริกสำหรับการทดสอบ A / B แล้วขั้นต่อไปคือการค้นหาแนวคิดในการปรับปรุงเวอร์ชันดั้งเดิมและวิธีที่จะดีกว่าเวอร์ชันปัจจุบัน เมื่อคุณมีไฟล์list of ideas, prioritize them ในแง่ของผลกระทบที่คาดหวังและความยากลำบากในการนำไปใช้
Create Variations/Hypothesis - มีเครื่องมือทดสอบ A / B มากมายในตลาดที่มี visual editorเพื่อทำการเปลี่ยนแปลงเหล่านี้อย่างมีประสิทธิภาพ การตัดสินใจที่สำคัญในการทดสอบ A / B ให้ประสบความสำเร็จคือการเลือกไฟล์correct tool.
Running the Variations - นำเสนอรูปแบบทั้งหมดของเว็บไซต์หรือแอปของคุณแก่ผู้เยี่ยมชมและการดำเนินการของพวกเขาจะได้รับการตรวจสอบสำหรับแต่ละรูปแบบ Visitor interaction สำหรับแต่ละรูปแบบจะถูกวัดและเปรียบเทียบเพื่อพิจารณาว่ารูปแบบนั้นทำงานอย่างไร
Analyze Data - เมื่อการทดสอบเสร็จสิ้นแล้วถัดไปคือ analyze the results. เครื่องมือทดสอบ A / B จะนำเสนอข้อมูลจากการทดสอบและจะบอกความแตกต่างระหว่างการทำงานของหน้าเว็บรูปแบบต่างๆ นอกจากนี้หากมีความแตกต่างอย่างมีนัยสำคัญระหว่างรูปแบบต่างๆโดยใช้วิธีการทางคณิตศาสตร์และสถิติ

เครื่องมือทั่วไปประเภทใดบ้างที่สามารถใช้ในการรวบรวมข้อมูลสำหรับการทดสอบ A / B

เครื่องมือรวบรวมข้อมูลประเภทที่พบมากที่สุด ได้แก่ เครื่องมือ Analytics, เครื่องมือเล่นซ้ำ, เครื่องมือสำรวจ, เครื่องมือแชทและอีเมล

วัตถุประสงค์ของการใช้เครื่องมือ Replay คืออะไร? ตั้งชื่อเครื่องมือ Replay สำหรับการทดสอบ A / B

เครื่องมือเล่นซ้ำใช้เพื่อรับข้อมูลเชิงลึกที่ดีขึ้นเกี่ยวกับการกระทำของผู้ใช้บนเว็บไซต์ของคุณ นอกจากนี้ยังช่วยให้คุณclick maps and heat maps of user clickและตรวจสอบว่าผู้ใช้ท่องเว็บไซต์ได้ไกลแค่ไหน เครื่องมือเล่นซ้ำเช่น Mouse Flow ช่วยให้คุณสามารถview a visitor's session ในแบบที่คุณเป็นกับผู้เยี่ยมชม

เครื่องมือเล่นวิดีโอซ้ำจะให้ข้อมูลเชิงลึกมากขึ้นว่าผู้เข้าชมจะเรียกดูหน้าต่างๆในเว็บไซต์ของคุณ เครื่องมือที่ใช้บ่อยที่สุดคือMouse Flow and Crazyegg.

เหตุใดเราจึงใช้เครื่องมือสำรวจ ยกตัวอย่างการสำรวจเพื่อรวบรวมข้อมูล

ใช้เครื่องมือสำรวจ collect qualitative feedbackจากเว็บไซต์ ซึ่งเกี่ยวข้องกับการถามคำถามแบบสำรวจผู้เยี่ยมชมที่กลับมา แบบสำรวจจะถามคำถามทั่วไปและยังช่วยให้พวกเขาเข้าสู่มุมมองหรือเลือกจากตัวเลือกที่ให้ไว้ล่วงหน้า

ยกตัวอย่างบางส่วนของการสร้างสมมติฐานในการทดสอบ A / B?

คุณสามารถลดจำนวนอัตราตีกลับโดย adding more imagesที่ส่วนลึกสุด. คุณสามารถเพิ่มลิงก์ของเว็บไซต์โซเชียลเพื่อเพิ่มอัตรา Conversion ได้

คุณเข้าใจอะไรจากการสร้างรูปแบบต่างๆในการทดสอบ A / B เครื่องมือทั่วไปที่สามารถใช้สำหรับสิ่งนี้คืออะไร?

มีรูปแบบต่างๆที่สามารถนำไปใช้กับวัตถุเช่นการใช้สัญลักษณ์แสดงหัวข้อย่อยการเปลี่ยนหมายเลขขององค์ประกอบหลักการเปลี่ยนแบบอักษรและสีเป็นต้นมีเครื่องมือทดสอบ A / B มากมายในตลาดที่มีโปรแกรมแก้ไขภาพเพื่อสร้าง การเปลี่ยนแปลงเหล่านี้อย่างมีประสิทธิภาพ การตัดสินใจที่สำคัญในการทดสอบ A / B ให้ประสบความสำเร็จคือselecting the correct tool.

เครื่องมือที่มีอยู่ทั่วไป ได้แก่ Visual Website Optimizer, Google Content Experiments และ Optimizely

WYSIWYG Editor ใน VWO คืออะไร? คุณสร้างรูปแบบโดยใช้สิ่งนั้นได้อย่างไร

Visual Website Optimizer หรือ VWO ช่วยให้คุณสามารถ test multiple versionsของหน้าเดียวกัน นอกจากนี้ยังมีตัวแก้ไข 'สิ่งที่คุณเห็นคือสิ่งที่คุณได้รับ' (WYSIWYG) ที่ช่วยให้คุณสามารถmake the changes and run testsโดยไม่ต้องเปลี่ยนโค้ด HTML ของหน้า คุณสามารถอัปเดตหัวข้อข่าวจำนวนองค์ประกอบและเรียกใช้การทดสอบได้โดยไม่ต้องเปลี่ยนแปลงทรัพยากรไอที

ในการสร้างรูปแบบต่างๆใน VWO สำหรับการทดสอบ A / B ให้เปิดหน้าเว็บของคุณในตัวแก้ไข WYSIWYG และคุณสามารถใช้การเปลี่ยนแปลงมากมายกับหน้าเว็บใดก็ได้ ซึ่งรวมถึงเปลี่ยนข้อความเปลี่ยน URL แก้ไข / แก้ไข HTML จัดเรียงใหม่และย้าย

การทดสอบประเภทอื่น ๆ ที่สามารถทำได้โดยใช้ VWO คืออะไร?

Visual Website Optimizer ยังมีตัวเลือกสำหรับการทดสอบหลายตัวแปรและมีเครื่องมืออื่น ๆ อีกมากมายในการกำหนดเป้าหมายตามพฤติกรรมแผนที่ความร้อนการทดสอบการใช้งาน ฯลฯ

คุณสามารถใช้การทดสอบ A / B กับสิ่งอื่นนอกเหนือจากหน้าเว็บได้ที่ไหน

การทดสอบเหล่านี้สามารถใช้ได้กับที่อื่น ๆ เช่นอีเมลแอพมือถือ PPC และ CTA เช่นกัน

คุณเข้าใจอะไรจากการทดสอบ A / B - วิเคราะห์ผลลัพธ์

เมื่อการทดสอบเสร็จสมบูรณ์ next is to analyze the results. เครื่องมือทดสอบ A / B จะนำเสนอข้อมูลจากการทดสอบและจะบอกความแตกต่างระหว่างการทำงานของรูปแบบต่างๆของหน้าเว็บนั้น นอกจากนี้ยังจะแสดงว่ามีความแตกต่างอย่างมีนัยสำคัญระหว่างรูปแบบต่างๆโดยใช้วิธีการทางคณิตศาสตร์และสถิติหรือไม่

คุณรวม Google Analytics เข้ากับ Optimizely ได้อย่างไร?

ในการรวม Optimizely เข้ากับ Universal Google Analytics ก่อนอื่นให้เลือกปุ่มเปิดที่แผงด้านข้าง จากนั้นคุณต้องมีไฟล์available Custom to populate with Optimizely experiment data.

คุณต้องวางโค้ดติดตาม Universal Google Analytics ไว้ที่ด้านล่างของส่วน <head> ของหน้าเว็บของคุณ การผสานรวม Google Analytics จะทำงานไม่ถูกต้องเว้นแต่ว่าข้อมูลโค้ด Optimizely จะอยู่เหนือข้อมูลโค้ดของ Analytics

ความแตกต่างระหว่าง Universal GA และ Google Analytics แบบคลาสสิกคืออะไร

Google Analytics มีสองตัวเลือกในการวิเคราะห์ข้อมูลซึ่ง ได้แก่ Universal Analytics และ Google Analytics แบบคลาสสิก คุณลักษณะใหม่ของ Universal Analytics ช่วยให้คุณสามารถใช้การทดสอบ A / B พร้อมกัน 20 รายการเพื่อส่งข้อมูลไปยัง Google Analytics อย่างไรก็ตามเวอร์ชันคลาสสิกอนุญาตให้ใช้ได้สูงสุดห้ารายการเท่านั้น

การทดสอบ A / B ส่งผลเสียต่อ SEO หรือไม่? อธิบายวิธีต่างๆที่ทำให้มั่นใจได้ว่าจะทำการทดสอบ A / B โดยไม่ต้องกังวลว่าจะสูญเสียมูลค่า SEO หรือไม่?

นี่เป็นตำนานที่ว่าการทดสอบ A / B ส่งผลกระทบต่อการจัดอันดับของเครื่องมือค้นหาเนื่องจากอาจถูกจัดประเภทเป็นเนื้อหาที่ซ้ำกัน สามารถใช้สี่วิธีต่อไปนี้เพื่อให้แน่ใจว่าคุณจะไม่สูญเสียมูลค่า SEO ที่เป็นไปได้ในขณะที่เรียกใช้การทดสอบ A / B

Don’t Cloak - การปิดบังหน้าเว็บคือการที่คุณแสดงหน้าเว็บเวอร์ชันหนึ่งต่อตัวแทน Googlebot และเวอร์ชันอื่น ๆ ให้กับผู้เยี่ยมชมเว็บไซต์ของคุณ

Use ‘rel=canonical’- เมื่อคุณมีการทดสอบ A / B ที่มี URL หลายรายการคุณสามารถเพิ่ม "rel = canonical" ในหน้าเว็บเพื่อระบุ URL ที่คุณต้องการจัดทำดัชนีให้ Google ทราบ Google แนะนำให้ใช้องค์ประกอบตามรูปแบบบัญญัติไม่ใช่แท็ก noindex เนื่องจากสอดคล้องกับความตั้งใจมากกว่า

Use 302 redirects and not 301’s - Google แนะนำให้ใช้วิธีการบอกทิศทางชั่วคราว - 302 เหนือการเปลี่ยนเส้นทาง 301 แบบถาวร

Don’t run experiments for a longer period of time - โปรดทราบว่าเมื่อการทดสอบ A / B ของคุณเสร็จสิ้นคุณควรลบรูปแบบต่างๆออกโดยเร็วที่สุดและทำการเปลี่ยนแปลงในหน้าเว็บของคุณและเริ่มใช้ Conversion ที่ชนะ