“질문 마감”알림 실험 결과 및 졸업
사용자는 질문이 종결 될 때 질문하는 사람에게 사전에 알리기 위해 기능의 장단점을 오랫동안 요청하고 논의 해 왔습니다. 수년 전의 초기 응답 은 고려 후이 기능을 구현하지 않을 것이라는 것이 었지만 (다양한 이유로), 올해 초 후속 게시물 기능 (게시물 업데이트와 관련된받은 편지함 메시징을 크게 확장했으며 커뮤니티에서 긍정적 인 반응을 보임),이 기능을 다시 방문하기로 결정했습니다.
질문 마감 업데이트 의 첫 번째 단계에 대한 발표 중에 마감 된 질문에 대한 이메일 및받은 편지함 알림과 관련하여 실행할 실험에 대한 알림을 포함했습니다 .
이것은 A / B 테스트로 Stack Overflow에서 월요일 (4 월 20 일)에 시작됩니다. 이 업데이트는 질문 작성자에게 질문이 닫힐 때받은 편지함 알림을 보냅니다. 아이디어는받은 편지함 알림이 사용자를 마감 된 질문으로 안내하고 거기에 표시되는 게시물 알림이 질문을 수정하여 개선하도록 유도한다는 것입니다.
수정 사항이없고 질문이 종료 된 상태로 남아 있으며 종료 후 1 시간 이내에 삭제되지 않은 경우 다음에 수행 할 작업에 대한 지침이 포함 된 후속 이메일도 전송됩니다.
사용자가 질문을 편집하도록 안내하는 데 이러한 알림이 얼마나 효과적인지 측정 할 수 있도록 A / B 테스트로 실행됩니다.
실험은 Stack Overflow에서만 약 2 개월 동안 실행되었습니다. 실험의 목표는 게시물 작성자에게받은 편지함 알림을 추가하는 것이 다음과 같은 영향을 미치는지 확인하는 것이 었습니다.
- 작성자가 닫힌 후 편집 한 닫힌 게시물의 비율입니다. 우리는 여기서 긍정적 인 변화를보기를 바랐습니다.
- 사이트 만족도 / 사용자 반응. 우리는 사용자가 새로운 알림과 이메일에 부정적인 반응을 보이지 않기를 바랐습니다.
- 게시물이 닫힌 후 더 많은 게시물 소유자 편집으로 이어지는받은 편지함 알림보다 맞춤 이메일 알림이 더 효과적인지 확인합니다.
결과
실험의 목표와 관련하여 :
- 수정 된 닫힌 게시물 비율 :
- 데이터에서 알 수 있듯이 컨트롤 그룹 (알림 없음)에서 게시물의 12.53 %가 게시물 소유자에 의해 수정되었습니다.
- 이는받은 편지함 알림을 보낸 후 수정 된 게시물의 13.79 %와 비교할 수 있으며, 수정 된 게시물의 비율이 10 % 이상 증가한 것입니다 (첫 번째 목표에 해당). 이는 알림 및 / 또는 이메일이 게시물을 닫은 후 게시물 소유자가 다시 참여하도록하는 데 긍정적 인 영향을 미치고 있음을 나타냅니다.
- 이로 인해 편집 후 재개되는 게시물 수가 증가했습니다 (1.35 %에서 1.57 %로). 이것이 그 자체로 실험의 목표는 아니었지만 (이 기능에는 게시물이 다시 열릴 가능성이 더 높은 고품질 편집으로 이어 지도록 설계된 기능이 없습니다)보기 좋고 주목할 가치가 있습니다.
- 커뮤니티 반응 : 우리는 새로운 알림에 대해 중대한 부정적인 피드백을 발견하지 못했고이 기간 동안 사이트 만족도 수치가이 실험에 대한 부정적인 반응과 관련이있을 수있는 설명 할 수없는 감소도 없었습니다.
- 받은 편지함 만 vs 이메일 :
- 원래 실험에서는이 질문을 충분히 테스트하지 못했습니다. 제자리에 놓인 논리는받은 편지함 알림이 발송 된 후 1 시간 후에 이메일을 보내는 것이 었습니다 (수정 사항이없고 질문이 여전히 닫히고 삭제되지 않은 경우).
- 또한 읽지 않은받은 편지함 메시지에 대한 이메일 알림을 수신하는 시스템 기본 간격은 3 시간입니다. 실험 참가자의 99 %가이 맞춤 이메일을 받았기 때문에 3 시간 간격 이메일 (포스트 마감과 관련된 특별한 형식없이 표준받은 편지함 알림을 전송 함)이 어느 정도인지 알 수있는 방법이 없습니다. 유효한.
- 이러한 요인으로 인해 이메일의 효율성을 자체적으로 결정할 수 없습니다.
- 이메일의 클릭률은 12.4 %로 상대적으로 높은 클릭률입니다.
그래서 지금은?
우리가 본 것을 바탕으로받은 편지함 알림을 단계적으로 전환하기로 결정했습니다. 다음은 이제 네트워크 전체에 적용됩니다.
- 질문이 종료되면 소유자받은 편지함 알림 게시
- 팔로우하는 질문이 닫힐 때 팔로워받은 편지함 알림 게시
- 다음 주소로 알림이 전송되지 않습니다.
- 다른 사이트로 이전되어 질문이 종료 된 모든 사람 (자체 알림이 있음)
- 질문을 종료하기 위해 마지막 투표를 한 OP 또는 팔로워 (질문 작성자가 자신의 질문을 자체 복제하는 경우 포함)
이메일을 졸업할지 여부에 관해서는 새 실험 (약 한 달 동안 진행됨)을 열 예정이며 여기에는 세 그룹이 있습니다.
- 제어 : 받은 편지함 알림 만, 이메일 없음
- A : 폐쇄시받은 편지함 알림 발송, 1 시간 후 이메일 발송
- B : 폐쇄시받은 편지함 알림 발송 및 1 일 후 발송되는 이메일
이 실험 결과에 따라 이메일에 대한 최종 결정을 내릴 것입니다. 아래에서 귀하의 의견과 실험 및 새로운 기능에 대한 질문을 환영합니다.
답변
Yaakov Ellis의 의견 업데이트 :
이러한 이메일은 팁 및 미리 알림에 대한 이메일 설정이 켜기로 설정된 사용자에게만 전송됩니다. 이 설정을 끄기로 설정 한 사용자는 실험 그룹에 속해 있어도 이메일을 수신 할 수 없습니다.
이런 종류의 문제가 해결됩니다. 여전히 1 시간 대기 시간이 너무 "잔소리"라고 생각하지만 아직 실험 중입니다.
원래 답변 :
이메일은 옵트 인 기능이어야합니다. SE받은 편지함 외부에서 거의 모든 SE 관련 알림을 받고 싶지 않은 사용자 가 있으며 예외는 아닙니다.
이메일과 함께 제공되는 조언은 사용자가 닫기 알림에서 링크 (자신에게만 표시됨)를 클릭 한 후 SE 웹 사이트에 표시 될 수 있습니다.
이것이 옵션이 아니라면, 적어도 폐쇄와 이메일 사이의 대기 시간을 상당히 길게 만드는 것이 좋습니다. SE에 대한 비공개 질문은 한 시간 안에 처리해야 할 정도로 긴급한 문제가 아닙니다.
"... 또한 읽지 않은받은 편지함 메시지에 대한 이메일 알림을 수신하는 시스템 기본 간격은 3 시간입니다. 실험 참가자의 99 %가이 맞춤 이메일을 받았기 때문에 3 시간 간격 이메일인지 알 수있는 방법이 없습니다. (포스트 마감과 관련된 특별한 형식없이 표준받은 편지함 알림을 보내는) 효과가 다소 떨어졌을 것입니다. "
과
[...]
- A : 폐쇄시받은 편지함 알림 발송, 1 시간 후 이메일 발송
- B : ″ ″ 언젠가.
나는 사람들이 상당히 활동적이라면 한 시간 전에 반응 할 수도 있고 반응하지 않을 수도 있고 하루 전에 반응 할 가능성이 있다고 생각합니다. 며칠 이상 (대부분?)마다 체크인하는 사람들은 기본적으로 동일한 범주 (이메일 수신 (그룹 2 및 3) 또는 수신하지 않음 (그룹 1))에 있습니다.
내 요점 : 대부분의 경우 한 시간 또는 하루는 간격이 너무 비슷합니다 (너무 가깝습니다).
방문자가 얼마나 자주 방문하는지 확인하여 (올바른 이메일 주소를 가정 할 때) 어떤 그룹에 속할 수 있는지 추측 할 수 있습니다. 따라서 그룹 3은 3-5 일 후에 전송되는 것이 좋습니다.
- 다음 주소로 알림이 전송되지 않습니다.
- [...]
- 질문 종료를 위해 마지막 투표를 한 사용자 (질문 작성자가 자신의 질문을 자체 복제하는 경우 포함)
이것의 표현은 나에게 약간 혼란 스럽습니다. OP가 자신의 질문을 종결하기 위해 투표 할 때 알림을 보내지 않는 것을 이해합니다. 그러나 문장의 괄호가 아닌 주요 부분은 투표 한 질문이 닫힐 때 첫 번째와 두 번째 (그리고 비 SO 사이트의 경우 3/4) 닫기 유권자에게 알림을 보내는 것처럼 들리지만 확실히 이것은 그렇지 않습니다.
내가 맞다고 가정하면 왜 알림이 전송되지 않는다고 말하지 않는지 궁금합니다.
게시물 소유자가 자신의 질문을 종료하기 위해 질문 / 투표를 종료하는 투표를 할 때
또는 비슷한 것?
이 새로운 기능이있어서 좋습니다! 나는 수많은 질문이 조용히 닫혀있어 질문에 대한 답변을 기다릴 때 매우 짜증이납니다.
OP에 개선 / 수정 / 업데이트 등의 기회를 제공합니다. Stack Exchange 시스템 이전의 질문으로 인해 다른 사용자가 질문에 답할 수 없게되는 것은 매우 중요합니다. 그런 의미에서 질문이 삭제되면 알림도 받아야한다고 생각합니다.