L'Explorateur de données Stack Exchange s'arrête par intermittence
Depuis dimanche, j'attends qu'après l'actualisation de 03h00 UTC, le Stack Exchange Data Explorer semble avoir des difficultés à nous servir des pages.
Je remarque que je suis souvent déconnecté, j'obtiens la boîte d'erreur rouge indiquant que quelque chose s'est mal passé lors de l'exécution de ma requête ou la page de maintenance s'affiche.
Réessayer mon action et / ou rafraîchir semble résoudre quelque peu le problème jusqu'au prochain hoquet.
Il existe des rapports d'autres utilisateurs qui rencontrent les mêmes problèmes . Et certains utilisateurs ne signalent aucun problème . Cela indique la nature intermittente du problème.
Je pense que l'instance SEDE a besoin d'un câlin pour qu'elle se sente à nouveau heureuse. Quelqu'un peut-il prendre le vélo jusqu'au centre de données et appliquer l'amour nécessaire?
Réponses
TL, DR; Cela devrait être corrigé dans les 8 à 24 prochaines heures car nous devions bloquer un bot qui nous raclait.
Version plus longue:
J'ai remarqué le battement pendant le week-end et j'ai commencé à enquêter hier. Ma première hypothèse était un problème SQL. Après quelques recherches initiales, j'ai apporté quelques modifications au niveau du serveur pour voir si les choses se stabiliseraient. Ils l'ont fait pendant plusieurs heures, mais la nuit dernière, j'ai remarqué une autre panne, alors j'ai attrapé un vidage de mémoire pour examen ce matin.
Après beaucoup de battements pendant la nuit, Nick et moi avons commencé à revoir les décharges ce matin, enfin la plupart du temps, Nick a passé en revue et j'ai regardé. Nous avons remarqué des problèmes de threading, nous examinons donc le nombre total de connexions à SEDE pour déterminer ce qui monopolisait toutes les connexions, mais rien ne se démarquait vraiment, nous nous sommes donc tournés vers nos journaux de trafic et nous avons trouvé le problème.
Nous avons d'abord interrogé les journaux pendant les deux derniers jours et avons vu que nous étions explorés par Applebot. Crawled est un euphémisme, nous étions critiqués par cela.
Voici quelques statistiques de trafic de l'Applebot et de tous les autres pour donner une idée à grande échelle - les pannes ont commencé le 16/08/2020 entre cette date et aujourd'hui (18/08/2020):
Applebot | Non-Applebot Traffic
---------------------------------
1484480 | 290063
Nous avons ajouté l'Applebot le robots.txt pour arrêter l'exploration. Cela prendra un peu de temps pour que cela se concrétise, donc nous pourrions avoir un peu plus de battements de SEDE, mais nous allons le surveiller et lancer au besoin.