Thử nghiệm A / B - Câu hỏi phỏng vấn

Bạn hiểu gì về A / B Testing? Mục tiêu đằng sau việc thực hiện Thử nghiệm A / B là gì?

Thử nghiệm A / B (còn được gọi là Thử nghiệm phân tách) xác định một cách để compare two versionscủa một ứng dụng hoặc một trang web cho phép bạn xác định, cái nào hoạt động tốt hơn. Thử nghiệm A / B là một trong những cách dễ nhất, nơi bạn có thể sửa đổi ứng dụng hoặc trang web để tạo phiên bản mới và sau đó so sánh cả hai phiên bản này để tìm tỷ lệ chuyển đổi. Điều này cũng cho chúng tôi biết, đó làbetter performer của cả hai.

Bạn hiểu gì bằng cách lấy mẫu dữ liệu trong Thử nghiệm A / B?

Số lượng mẫu phụ thuộc vào số lượng thử nghiệm được thực hiện. Cáccount of conversion rate được gọi là mẫu và quá trình thu thập các mẫu này được gọi là lấy mẫu.

Việc sử dụng Khoảng tin cậy trong Thử nghiệm A / B là gì?

Khoảng tin cậy được gọi là measurement of deviationtừ giá trị trung bình trên nhiều mẫu. Giả sử rằng 22% người thích sản phẩm A, với +/- 2% khoảng tin cậy. Khoảng thời gian này cho biếtupper and lower limit của những người chọn Sản phẩm A và còn được gọi là margin of error. Để có kết quả tốt nhất trong cuộc khảo sát trung bình này, biên độ sai số phải càng nhỏ càng tốt.

Khi nào bạn nên nghĩ đến việc thực hiện thử nghiệm A / B?

Luôn thực hiện Thử nghiệm A / B nếu có xác suất beat the original variation by> 5%. Thử nghiệm phải được chạy trong một khoảng thời gian đáng kể để bạn có đủ dữ liệu mẫu đểperform statistics and analysis. Thử nghiệm A / B cũng cho phép bạn đạt được tối đa lưu lượng truy cập hiện có của mình trên một trang web.

Chi phí tăng chuyển đổi của bạn là tối thiểu so với chi phí thiết lập lưu lượng truy cập trên trang web của bạn. CácROI (return on investment) trên A / B Thử nghiệm là rất lớn, vì một vài thay đổi nhỏ trên trang web có thể làm tăng đáng kể tỷ lệ chuyển đổi.

Thử nghiệm đa biến là gì và nó so sánh với thử nghiệm A / B như thế nào?

Giống như Thử nghiệm A / B, Thử nghiệm đa biến dựa trên cùng một cơ chế, nhưng nó compares higher number of variablesvà cung cấp thêm thông tin về cách các biến này hoạt động. Trong Thử nghiệm A / B, bạn phân chia lưu lượng truy cập của một trang giữa các phiên bản khác nhau của thiết kế. Thử nghiệm đa biến được sử dụng để đo lườngeffectiveness of each design.

Tôi nên kiểm tra bao nhiêu biến?

Vấn đề với việc thử nghiệm nhiều biến cùng một lúc là nó sẽ tough to accurately determinebiến nào trong số những biến này đã tạo ra sự khác biệt. Mặc dù bạn có thể nói rằng một trang hoạt động tốt hơn trang kia, nhưng nếu có ba hoặc bốn biến trên mỗi biến, bạn không thể chắc chắn về lý do tại sao một trong những biến đó thực sự gây hại cho trang, cũng như bạn không thể tái tạogood elements trên các trang khác.

Kể tên một số biến thể có thể được áp dụng cho một trang web?

Dưới đây là một số biến thể Thử nghiệm A / B có thể được áp dụng trên trang web. Danh sách bao gồm - Dòng tiêu đề, Dòng tiêu đề phụ, Hình ảnh, Nội dung, Văn bản CTA và nút, Liên kết, Huy hiệu, Đề cập trên phương tiện truyền thông, Đề cập trên mạng xã hội, Khuyến mại và ưu đãi bán hàng, Cấu trúc giá, Tùy chọn phân phối, Tùy chọn thanh toán, Điều hướng trang web và giao diện người dùng.

Giải thích quy trình từng bước cho Thử nghiệm A / B.

Background Research - Bước đầu tiên trong Thử nghiệm A / B là tìm ra bounce ratetrên trang web của bạn. Điều này có thể được thực hiện với sự trợ giúp của bất kỳ công cụ nào như Google Analytics.
Collect Data - Dữ liệu từ Google Analytics có thể giúp bạn tìm visitor behaviors. Luôn luôn khuyến khích thu thập đủ dữ liệu từ trang web. Cố gắng tìm các trang có tỷ lệ chuyển đổi thấp hoặc tỷ lệ bỏ trang cao có thể được cải thiện.
Set Business Goals- Bước tiếp theo là đặt mục tiêu chuyển đổi của bạn. Tìmmetrics that determines biến thể có thành công hơn phiên bản gốc hay không.
Construct Hypothesis- Khi mục tiêu và số liệu đã được thiết lập cho Thử nghiệm A / B, tiếp theo là tìm ý tưởng để cải thiện phiên bản gốc và làm thế nào chúng sẽ tốt hơn phiên bản hiện tại. Khi bạn có mộtlist of ideas, prioritize them về tác động dự kiến và khó thực hiện.
Create Variations/Hypothesis - Có nhiều công cụ Kiểm tra A / B trên thị trường có visual editorđể thực hiện những thay đổi này một cách hiệu quả. Quyết định quan trọng để thực hiện Thử nghiệm A / B thành công là bằng cách chọncorrect tool.
Running the Variations - Trình bày tất cả các biến thể của trang web hoặc ứng dụng của bạn cho khách truy cập và hành động của họ được giám sát đối với từng biến thể. Visitor interaction đối với mỗi biến thể được đo lường và so sánh để xác định cách thức hoạt động của biến thể đó.
Analyze Data - Sau khi thử nghiệm hoàn thành, tiếp theo là analyze the results. Công cụ thử nghiệm A / B sẽ trình bày dữ liệu từ thử nghiệm và sẽ cho bạn biết sự khác biệt giữa cách các biến thể khác nhau của trang web được thực hiện. Ngoài ra nếu có bất kỳ sự khác biệt đáng kể nào giữa các biến thể với sự trợ giúp của các phương pháp toán học và thống kê.

Loại công cụ phổ biến nào có thể được sử dụng để thu thập dữ liệu cho Thử nghiệm A / B?

Loại công cụ thu thập dữ liệu phổ biến nhất bao gồm công cụ Phân tích, công cụ Phát lại, công cụ Khảo sát, công cụ Trò chuyện và Email.

Mục đích của việc sử dụng các công cụ Replay là gì? Kể tên một số công cụ Phát lại cho Thử nghiệm A / B.

Công cụ phát lại được sử dụng để hiểu rõ hơn về hành động của người dùng trên trang web của bạn. Nó cũng cho phép bạnclick maps and heat maps of user clickvà để kiểm tra xem người dùng đang duyệt web như thế nào. Các công cụ phát lại như Mouse Flow cho phép bạnview a visitor's session theo cách bạn đang ở với khách truy cập.

Các công cụ phát lại video cung cấp thông tin chi tiết sâu hơn về việc khách truy cập duyệt các trang khác nhau trên trang web của bạn sẽ như thế nào. Các công cụ được sử dụng phổ biến nhất làMouse Flow and Crazyegg.

Tại sao chúng tôi sử dụng công cụ Khảo sát? Cho ví dụ về cuộc khảo sát để thu thập dữ liệu.

Các công cụ khảo sát được sử dụng để collect qualitative feedbacktừ trang web. Điều này liên quan đến việc hỏi khách truy cập trở lại một số câu hỏi khảo sát. Cuộc khảo sát hỏi họ những câu hỏi chung và cũng cho phép họ nhập quan điểm của mình hoặc chọn từ các lựa chọn được cung cấp trước.

Cho một vài ví dụ về việc tạo giả thuyết trong Thử nghiệm A / B?

Bạn có thể giảm số lượng tỷ lệ thoát xuống adding more imagesở dưới cùng. Bạn có thể thêm liên kết của các trang xã hội để tăng thêm tỷ lệ chuyển đổi.

Bạn hiểu gì bằng cách tạo các biến thể trong Thử nghiệm A / B? Các công cụ phổ biến có thể được sử dụng cho việc này là gì?

Có nhiều loại biến thể khác nhau có thể được áp dụng cho một đối tượng như sử dụng dấu đầu dòng, thay đổi cách đánh số của các yếu tố chính, thay đổi phông chữ và màu sắc, v.v. Có rất nhiều công cụ A / B Testing trên thị trường có trình chỉnh sửa trực quan để thực hiện những thay đổi này một cách hiệu quả. Quyết định quan trọng để thực hiện thử nghiệm A / B thành công làselecting the correct tool.

Các công cụ phổ biến nhất hiện có là Trình tối ưu hóa trang web trực quan, Thử nghiệm nội dung của Google và Tối ưu hóa.

Trình soạn thảo WYSIWYG trong VWO là gì? Làm thế nào để bạn tạo ra các biến thể bằng cách sử dụng nó?

Trình tối ưu hoá Trang web Trực quan hoặc VWO cho phép bạn test multiple versionscủa cùng một trang. Nó cũng chứa trình chỉnh sửa 'những gì bạn thấy là những gì bạn nhận được' (WYSIWYG) cho phép bạnmake the changes and run testsmà không cần thay đổi mã HTML của trang. Bạn có thể cập nhật tiêu đề, đánh số các phần tử và chạy thử nghiệm mà không cần thực hiện thay đổi đối với tài nguyên CNTT.

Để tạo các biến thể trong VWO cho Thử nghiệm A / B, hãy mở trang web của bạn trong trình chỉnh sửa WYSIWYG và bạn có thể áp dụng nhiều thay đổi cho bất kỳ trang web nào. Chúng bao gồm Thay đổi Văn bản, Thay đổi URL, Chỉnh sửa / Chỉnh sửa HTML, Sắp xếp lại và Di chuyển.

Loại thử nghiệm khác có thể được thực hiện bằng VWO là gì?

Trình tối ưu hóa trang web trực quan cũng cung cấp tùy chọn kiểm tra đa lượng biến và chứa một số công cụ khác để thực hiện nhắm mục tiêu theo hành vi, bản đồ nhiệt, kiểm tra khả năng sử dụng, v.v.

Bạn có thể sử dụng Thử nghiệm A / B trên những thứ khác ngoài các trang web ở đâu?

Những thử nghiệm này có thể được áp dụng trên một số nơi khác như Email, Ứng dụng dành cho thiết bị di động, PPC và CTA.

Bạn hiểu gì về A / B Testing - Phân tích kết quả?

Sau khi hoàn thành thử nghiệm, next is to analyze the results. Công cụ Thử nghiệm A / B sẽ trình bày dữ liệu từ thử nghiệm và sẽ cho bạn biết sự khác biệt giữa cách các biến thể khác nhau của trang web đó được thực hiện. Nó cũng sẽ cho thấy nếu có sự khác biệt đáng kể giữa các biến thể sử dụng phương pháp toán học và thống kê.

Làm cách nào để bạn tích hợp Google Analytics với Optimizely?

Để tích hợp Tối ưu hóa vào Universal Google Analytics, trước tiên hãy chọn nút BẬT trên bảng điều khiển bên. Sau đó, bạn phải có mộtavailable Custom to populate with Optimizely experiment data.

Mã theo dõi Universal Google Analytics phải được đặt ở cuối phần <head> của các trang của bạn. Tích hợp Google Analytics sẽ không hoạt động bình thường trừ khi đoạn mã Optimizely nằm trên đoạn mã Analytics.

Sự khác biệt giữa Universal GA và Google Analytics cổ điển là gì?

Google Analytics có hai tùy chọn để phân tích dữ liệu, đó là Universal Analytics và Google Analytics cổ điển. Các tính năng Universal Analytics mới cho phép bạn sử dụng 20 thử nghiệm A / B đồng thời gửi dữ liệu đến Google Analytics, tuy nhiên, phiên bản Cổ điển chỉ cho phép tối đa năm.

Thử nghiệm A / B có ảnh hưởng tiêu cực đến SEO không? Giải thích các cách khác nhau đảm bảo chạy Thử nghiệm A / B mà không lo mất Giá trị SEO tiềm năng?

Đây là một lầm tưởng rằng A / B Testing làm tổn hại đến thứ hạng của công cụ tìm kiếm vì nó có thể bị phân loại là nội dung trùng lặp. Có thể áp dụng bốn cách sau đây để đảm bảo rằng bạn không làm mất giá trị tiềm năng của SEO khi chạy Thử nghiệm A / B.

Don’t Cloak - Kỹ thuật che giấu là khi bạn hiển thị một phiên bản trang web của mình cho đại lý Googlebot và phiên bản khác cho khách truy cập trang web của bạn.

Use ‘rel=canonical’- Khi bạn có Thử nghiệm A / B với nhiều URL, bạn có thể thêm 'rel = canonical' vào trang web để cho Google biết bạn muốn lập chỉ mục URL nào. Google đề xuất sử dụng phần tử chuẩn chứ không phải thẻ noindex vì nó phù hợp hơn với ý định của mình.

Use 302 redirects and not 301’s - Google khuyên bạn nên sử dụng phương pháp chuyển hướng tạm thời - 302 thay vì chuyển hướng 301 vĩnh viễn.

Don’t run experiments for a longer period of time - Xin lưu ý rằng khi Kiểm tra A / B của bạn hoàn thành, bạn nên xóa các biến thể càng sớm càng tốt và thực hiện các thay đổi cho trang web của mình và bắt đầu sử dụng chuyển đổi chiến thắng.