Stack Exchange DataExplorerが断続的にダウンする
日曜日以降、UTC 03:00の更新後、Stack Exchange DataExplorerでページの提供に問題が発生しているようです。
頻繁にログアウトするか、クエリの実行で問題が発生したという赤いエラーボックスが表示されるか、メンテナンスページが表示されます。
アクションを再試行したり、更新したりすると、次の問題が発生するまで問題がある程度解決するようです。
同じ問題を経験している他のユーザーからの報告があります。また、一部のユーザーは問題を報告していません。これは、問題の断続的な性質を示しています。
SEDEインスタンスは抱擁が必要だと思うので、また幸せに感じます。誰かが自転車に乗ってデータセンターに行き、必要な愛を適用することはできますか？
回答
TL; DR; ボットが私たちをこすり落とすのをブロックしなければならなかったので、これは次の8〜24時間で修正されるはずです。
長いバージョン：
週末に羽ばたきに気づき、昨日調査を始めました。私の最初の推測はSQLの問題でした。最初に掘り下げた後、サーバーレベルを変更して、状況が安定するかどうかを確認しました。彼らは数時間しましたが、昨夜私はさらに別の停止に気づいたので、今朝レビューのためにメモリダンプを取得しました。
一晩中たくさんのフラッピングをした後、ニックと私は今朝ダンプのレビューを始めました。ほとんどの場合ニックがレビューして私は見ました。いくつかのスレッドの問題に気付いたので、SEDEへの接続全体を調べて、すべての接続を占有しているものを特定しましたが、何も目立っていなかったので、トラフィックログを調べて問題を見つけました。
最初に過去数日間のログを照会したところ、Applebotによってクロールされていることがわかりました。クロールは控えめな表現であり、私たちはそれによって非難されていました。
Applebotと他のすべての人からのトラフィックの統計をいくつか示します。大規模なアイデアを提供します。停止は2020-08-16に始まり、その日付から今日（2020-08-18）までの間に発生しました。
Applebot | Non-Applebot Traffic
---------------------------------
1484480 | 290063
クロールを停止するために、Applebotのrobots.txtを追加しました。それが定着するまで少し時間がかかるので、SEDEの羽ばたきがもう少しあるかもしれませんが、それを監視し、必要に応じてキックします。