Der Stack Exchange Data Explorer fällt zeitweise aus

Question

Ich gehe davon aus, dass der Stack Exchange Data Explorer seit Sonntag nach der Aktualisierung um 03:00 UTC Probleme beim Bereitstellen von Seiten hat.

Ich stelle fest, dass ich entweder häufig abgemeldet bin, das rote Fehlerfeld angezeigt wird, dass beim Ausführen meiner Abfrage ein Fehler aufgetreten ist, oder dass die Wartungsseite angezeigt wird.

Das Wiederholen meiner Aktion und / oder das Aktualisieren scheint das Problem bis zum nächsten Schluckauf etwas zu lösen.

Es gibt Berichte von anderen Benutzern , bei denen dieselben Probleme auftreten . Und einige Benutzer melden keine Probleme . Dies zeigt die intermittierende Natur des Problems an.

Ich denke, dass die SEDE-Instanz eine Umarmung braucht, damit sie sich wieder glücklich anfühlt. Kann jemand mit dem Fahrrad zum Rechenzentrum fahren und die nötige Liebe anwenden?

Answer 1

TL; DR; Dies sollte in den nächsten 8-24 Stunden behoben sein, da wir einen Bot blockieren mussten, der uns kratzte.

---

Längere Version:

Ich bemerkte das Flattern über das Wochenende und begann gestern mit den Ermittlungen. Meine erste Vermutung war ein SQL-Problem. Nach anfänglichem Graben nahm ich einige Änderungen auf Serverebene vor, um zu sehen, ob sich die Dinge stabilisieren würden. Sie haben es mehrere Stunden lang getan, aber letzte Nacht habe ich einen weiteren Ausfall bemerkt, also habe ich mir heute Morgen einen Speicherauszug zur Überprüfung geholt.

Nachdem Nick und ich über Nacht viel geflattert hatten, begannen wir heute Morgen, die Müllkippen zu überprüfen. Nun, meistens überprüfte Nick und ich schaute zu. Wir haben einige Threading-Probleme festgestellt, daher haben wir uns die Gesamtverbindungen zu SEDE angesehen, um herauszufinden, was alle Verbindungen belastet hat, aber nichts ist wirklich aufgefallen. Deshalb haben wir uns an unsere Verkehrsprotokolle gewandt und das Problem gefunden.

Wir haben die Protokolle der letzten Tage zunächst abgefragt und festgestellt, dass wir von Applebot gecrawlt wurden. Krabbeln ist eine Untertreibung, wir wurden davon verprügelt.

Hier sind einige Verkehrsstatistiken des Applebot und aller anderen, um eine Vorstellung von der Größenordnung zu geben - die Ausfälle begannen am 2020-08-16 zwischen diesem Datum und dem heutigen Datum (2020-08-18), das wir hatten:

Applebot  |  Non-Applebot Traffic
---------------------------------
1484480   |  290063

Wir haben dem Applebot die robots.txt hinzugefügt, um das Crawlen zu stoppen. Es wird eine Weile dauern, bis sich das durchsetzt, so dass wir vielleicht etwas mehr SEDE flattern, aber wir werden es überwachen und nach Bedarf treten.