Обозреватель данных Stack Exchange периодически отключается
С воскресенья, я ожидаю, что после обновления в 03:00 UTC у Stack Exchange Data Explorer возникнут проблемы с обслуживанием страниц для нас.
Я замечаю, что я либо часто выхожу из системы, у меня появляется красное окно с ошибкой, что что-то пошло не так с выполнением моего запроса, либо мне отображается страница обслуживания.
Повторная попытка моего действия и / или обновления, похоже, несколько решает проблему до следующего сбоя.
Есть сообщения от других пользователей, которые испытывают те же проблемы . И некоторые пользователи не сообщают о проблемах . Это указывает на прерывистый характер проблемы.
Я думаю, что этот экземпляр SEDE нуждается в объятиях, чтобы он снова почувствовал себя счастливым. Может ли кто-нибудь прокатиться на велосипеде до дата-центра и проявить необходимую любовь?
Ответы
TL; DR; Это должно быть исправлено в течение следующих 8-24 часов, так как мы должны были заблокировать сканирование бота.
Более длинная версия:
Я заметил это за выходные и вчера начал расследование. Моей первой догадкой была проблема с SQL. После начального рытья я внес несколько изменений на уровне сервера, чтобы посмотреть, стабилизируется ли ситуация. Они работали несколько часов, но вчера вечером я заметил еще одно отключение, поэтому сегодня утром я взял дамп памяти для просмотра.
После целого количества болтовни в течение ночи, Ник и я начали просматривать свалки сегодня утром, ну в основном Ник проверял, и я смотрел. Мы заметили некоторые проблемы с потоками, поэтому мы смотрим на общее количество подключений к SEDE, чтобы выяснить, что мешало всем подключениям, но ничего особо не выделялось, поэтому мы обратились к нашим журналам трафика и нашли проблему.
Сначала мы запросили журналы за последние пару дней и увидели, что Applebot сканирует нас. Crawled - это мягко сказано, нас это сильно ударило.
Вот некоторые статистические данные о трафике от Applebot и всех остальных, чтобы дать представление о масштабе - перебои, начавшиеся 16 августа 2020 г., с этой даты до сегодняшнего дня (18 августа 2020 г.) у нас были:
Applebot | Non-Applebot Traffic
---------------------------------
1484480 | 290063
Мы добавили Applebot в файл robots.txt, чтобы остановить сканирование. Это займет некоторое время, чтобы это закрепилось, так что у нас может быть еще немного проблем с SEDE, но мы будем следить за ним и будем работать по мере необходимости.