Stack Exchange Data Explorer가 간헐적으로 다운 됨
일요일부터 오전 3시 (UTC) 새로 고침 이후 Stack Exchange Data Explorer에서 페이지를 제공하는 데 문제가있는 것 같습니다.
자주 로그 아웃되거나 쿼리 실행에 문제가 있다는 빨간색 오류 상자가 표시되거나 유지 관리 페이지가 표시됩니다.
내 작업을 다시 시도하거나 새로 고치면 다음 딸꾹질까지 문제가 다소 해결되는 것 같습니다.
거기 다른 사용자의 보고서 경험 같은 문제 . 그리고 일부 사용자는 더 문제를보고하지 않습니다 . 이는 문제의 간헐적 특성을 나타냅니다.
SEDE 인스턴스는 포옹이 필요하다고 생각해서 다시 행복해집니다. 누군가가 자전거 타기를 데이터 센터로 가져 가서 필요한 사랑을 적용 할 수 있습니까?
답변
TL; DR; 우리를 긁는 봇을 차단해야했기 때문에이 문제는 향후 8-24 시간 내에 해결 될 것입니다.
더 긴 버전 :
나는 주말 동안 펄럭이는 것을 발견하고 어제 조사를 시작했습니다. 내 첫 번째 추측은 SQL 문제였습니다. 초기 조사 후, 상황이 안정되는지 확인하기 위해 서버 수준을 약간 변경했습니다. 그들은 몇 시간 동안 그랬지만 어제 밤에 또 다른 중단을 발견했기 때문에 오늘 아침 검토를 위해 메모리 덤프를 가져 왔습니다.
하룻밤 사이에 많은 펄럭이는 후, Nick과 나는 오늘 아침 덤프를 검토하기 시작했습니다. 대부분 Nick이 검토했고 나는 봤습니다. 몇 가지 스레딩 문제를 발견 했으므로 SEDE에 대한 전체 연결을 살펴보고 모든 연결을 끌어들이는 것이 무엇인지 알아 냈지만 실제로 눈에 띄는 것은 없었기 때문에 트래픽 로그를 살펴보고 문제를 발견했습니다.
우리는 처음에 지난 며칠 동안 로그를 쿼리했고 Applebot에 의해 크롤링되는 것을 보았습니다. 크롤링은 과소 평가이며, 우리는 그것에 의해 당황했습니다.
다음은 규모에 대한 아이디어를 제공하기 위해 Applebot 및 다른 모든 사람의 트래픽 통계입니다. 중단은 해당 날짜부터 오늘 (2020-08-18)까지 2020-08-16에 시작되었습니다.
Applebot | Non-Applebot Traffic
---------------------------------
1484480 | 290063
크롤링을 중지하기 위해 Applebot에 robots.txt 를 추가했습니다 . 그것이 유지되기까지 약간의 시간이 걸릴 것입니다. 그래서 우리는 SEDE에 대해 조금 더 펄럭 일 수 있지만 우리는 그것을 모니터링하고 필요에 따라 킥을 할 것입니다.