El Explorador de datos de Stack Exchange se apaga intermitentemente
Desde el domingo, espero que después de la actualización de las 03:00 UTC, el Explorador de datos de Stack Exchange parece tener problemas para entregarnos las páginas.
Noto que me desconecto con frecuencia, me aparece el cuadro de error rojo que indica que algo salió mal al ejecutar mi consulta o se me presenta la página de mantenimiento.
Volver a intentar mi acción y / o actualizar parece resolver el problema de alguna manera hasta el próximo problema.
Hay informes de otros usuarios que experimentan los mismos problemas . Y algunos usuarios no informan problemas . Eso indica la naturaleza intermitente del problema.
Creo que esa instancia de SEDE necesita un abrazo para que se sienta feliz de nuevo. ¿Alguien puede dar un paseo en bicicleta hasta el centro de datos y aplicar el amor necesario?
Respuestas
TL; DR; Esto debería solucionarse en las próximas 8-24 horas, ya que tuvimos que bloquear un bot que nos raspó.
Versión más larga:
Noté el aleteo durante el fin de semana y comencé a investigar ayer. Mi primera suposición fue un problema de SQL. Después de investigar un poco, hice algunos cambios en el nivel del servidor para ver si las cosas se estabilizaban. Lo hicieron durante varias horas, pero anoche noté otra interrupción, así que tomé un volcado de memoria para revisar esta mañana.
Después de un montón de aleteo durante la noche, Nick y yo comenzamos a revisar los vertederos esta mañana, bueno, principalmente Nick revisó y yo miré. Notamos algunos problemas de subprocesos, por lo que observamos las conexiones totales a SEDE para averiguar qué estaba acaparando todas las conexiones, pero nada realmente se destacó, por lo que recurrimos a nuestros registros de tráfico y encontramos el problema.
Inicialmente consultamos los registros durante los últimos días y vimos que Applebot nos estaba rastreando. Crawled es un eufemismo, nos estaba golpeando.
Aquí hay algunas estadísticas de tráfico del Applebot y de todos los demás para dar una idea a escala: las interrupciones comenzaron el 16 de agosto de 2020 entre esa fecha y hoy (18 de agosto de 2020) que tuvimos:
Applebot | Non-Applebot Traffic
---------------------------------
1484480 | 290063
Hemos añadido el archivo robots.txt al Applebot para detener el rastreo. Tomará un poco de tiempo para que eso se establezca, por lo que podríamos tener un poco más de aleteo de SEDE, pero lo monitorearemos y patearemos según sea necesario.