O Stack Exchange Data Explorer fica inativo intermitentemente
Desde domingo, espero que após a atualização das 03:00 UTC, o Stack Exchange Data Explorer parece ter problemas para veicular páginas para nós.
Percebo que sou desconectado com frequência, recebo a caixa de erro vermelha informando que algo deu errado ao executar minha consulta ou sou apresentada a página de manutenção.
Tentar novamente minha ação e / ou atualizar parece resolver o problema um pouco até o próximo soluço.
Existem relatórios de outros usuários que enfrentam os mesmos problemas . E alguns usuários relatam nenhum problema . Isso indica a natureza intermitente do problema.
Acho que a instância do SEDE precisa de um abraço, então fica feliz novamente. Alguém pode ir de bicicleta até o data center e aplicar o amor necessário?
Respostas
TL; DR; Isso deve ser corrigido nas próximas 8-24 horas, pois tivemos que bloquear um robô que estava nos atacando.
Versão mais longa:
Notei a agitação no fim de semana e comecei a investigar ontem. Meu primeiro palpite foi um problema de SQL. Depois de algumas pesquisas iniciais, fiz algumas alterações no nível do servidor para ver se as coisas se estabilizavam. Eles fizeram isso por várias horas, mas ontem à noite eu percebi outra interrupção, então peguei um despejo de memória para revisão esta manhã.
Depois de muita agitação durante a noite, Nick e eu começamos a revisar os lixões esta manhã, bem, principalmente Nick revisou e eu assisti. Percebemos alguns problemas de encadeamento, então olhamos o total de conexões para SEDE para descobrir o que estava monopolizando todas as conexões, mas nada realmente se destacou, então voltamos para nossos registros de tráfego e encontramos o problema.
Inicialmente, consultamos os logs dos últimos dias e vimos que estávamos sendo rastreados pelo Applebot. Crawled é um eufemismo, estávamos sendo esmagados por ele.
Aqui estão algumas estatísticas de tráfego do Applebot e de todos os outros para se ter uma ideia em escala - as interrupções começaram em 2016-08-2020 entre essa data e hoje (18-08-2020) que tivemos:
Applebot | Non-Applebot Traffic
---------------------------------
1484480 | 290063
Adicionamos o Applebot ao robots.txt para interromper o rastreamento. Vai demorar um pouco para que isso aconteça, então podemos ter um pouco mais de oscilação do SEDE, mas estaremos monitorando e chutaremos conforme necessário.