実験計画法の発表re:「質問をする」ボタンの配置

Dec 01 2020

TL; DR

「質問する」ボタンの現在の位置に一貫性がないため、移動します。ただし、最初に、提案された新しい場所をテストして、質問の質問に悪影響を与えないことを確認します。


ハウディ!

本日、「質問をする」ボタンを現在の「どこかで右に移動」する位置ではなく、左のナビゲーションに移動する実験を有効にしました。

現在の配置の不一致に対処するためにそうしています。状況によっては、それはずっと右にあります。その他の場合は、ページタイトルで折り返されます。サイドバーにある場合もあります。最小の画面では、質問のタイトルの上にあります。これは、かなり奇妙な空白につながる可能性があります。現在、このデザイナーは空白が大好きですが、一貫性があることを望んでいます。これらの不整合により、プラットフォーム全体での作業や複数の製品領域のサポートが困難になっています。

左のナビゲーションに質問ボタンを配置することで、より一貫性のある場所になると思います。また、その位置でのページレイアウトの階層も優先します。しかしもちろん、私たちはそれをテストして、質問をする経験に悪影響を与えていないことを確認したいと思います。

いくつかのスクリーンショットを見てみましょう。

質問ページ

質問のホームページ

チームのスタックオーバーフロー

レスポンシブ(小さな画面)

プロファイル設定で「左ナビゲーションを非表示」を有効にしている場合、またはモバイルデバイスで表示している場合、「質問をする」ボタンはページ自体に表示されるのではなく、ハンバーガーメニュー内に表示されます。この実験では、この特定のユーザーサブセットへの影響を明らかにすることはありません。小さいサイズのレスポンシブウィンドウから質問ページを表示しているユーザーを追跡することはできません。左側のナビゲーションが非表示になっているユーザーを追跡することはできますが、この設定を有効にしているユーザーは0.3%しかないため、意味のある結論を引き出すのに十分なサンプルサイズがありません。


実験では、ページビューを2%でサンプリングしています。このグループの半分は現在の設計を確認し、残りの半分はテストのバリエーションを確認します。この変更の影響を測定するために、ページの表示のコンバージョン率=>質問をするボタンをクリックする=>質問を送信することを比較します。


実験結果

実験は12月2日から1月4日まで行われました。

ボタンが現在の位置(コントロール)または左ナビゲーション(治療)に表示されたときに[質問をする]ボタンをクリックしたユーザーの数に有意差はありませんでした。また、実際に質問したユーザーの数にも2つのバリエーションの間に違いはありませんでした。

回答

20 Makoto Dec 01 2020 at 04:13

質問の経験に関して「ネガティブ」とは何ですか?

  • 質問する人が少ないですか?
  • 質問するのに時間がかかるということですか?
  • 質問するのが少し難しいということですか?

...私が客観的に「ネガティブ」と見なすものはありませんか?

このメトリック(私が提案したものではありませんが、否定性のメトリック)は、この機能が成功したと見なされ、幅広いディストリビューションに展開された場合に、さまざまなサイトに適用するようにスケーリングされますか?

19 Mithical Dec 01 2020 at 04:03

プロファイル設定で「左ナビゲーションを非表示」を有効にしている場合、またはモバイルデバイスで表示している場合、「質問をする」ボタンはページ自体に表示されるのではなく、ハンバーガーメニュー内に表示されます。

それは本当に迷惑になるでしょう。

サイドバーを折りたたんだままにします。原則として、そこに何が含まれているのかはほとんど必要ありません。何らかの理由で必要になった場合は、キーボードショートカットを使用してそこにアクセスできます。私はそのハンバーガーを開くことはほとんどありません。(SO以外のサイトでどのように表示されるかさえ覚えていません。)

ただし、質問ボタンは非常に多く使用します。私はネットワーク上で何百もの質問をしました、そして私が一日に質問をする時があります(特に文学に関して)。毎回ハンバーガーを開かなければならないのは時間の無駄であり、クリック数が増えるようです。(自動化された質問チェッカーは、基本的に2回クリックするだけです。何かについて警告が表示された場合は、「私はあなたよりもよく知っています」と言って先に進むという質問をするのに十分な経験があります。さらにクリックを追加すると、次のようになります。特にキーボードショートカットを使ってそこにたどり着くことができないので、イライラします。)

今; これはあまり一般的な見方ではありません-頻繁な質問、折りたたまれたサイドバー-しかし、とにかくチャイムを鳴らすと思いました。FWIW、サイトが再設計される前に、質問ボタンが右上にあったときに気に入った。「質問」、「タグ」、「バッジ」などへのリンクと同じ行に沿って(現在はサイドバーにあります)。