Stack Exchange Data Explorer จะหยุดทำงานเป็นระยะ ๆ
ตั้งแต่วันอาทิตย์ฉันคาดว่าหลังจากรีเฟรช 03:00 UTC แล้วStack Exchange Data Explorerดูเหมือนจะมีปัญหาในการให้บริการเพจแก่เรา
ฉันสังเกตเห็นว่าฉันออกจากระบบบ่อยครั้งฉันได้รับกล่องข้อผิดพลาดสีแดงว่ามีบางอย่างผิดปกติในการดำเนินการค้นหาของฉันหรือฉันพบหน้าการบำรุง
การลองดำเนินการอีกครั้งและ / หรือรีเฟรชดูเหมือนจะช่วยแก้ปัญหาได้บ้างจนกว่าจะมีอาการสะอึกครั้งต่อไป
มีรายงานจากผู้ใช้อื่น ๆที่ได้สัมผัสกับปัญหาเดียวกัน และผู้ใช้บางคนรายงานปัญหาไม่มี นั่นแสดงถึงลักษณะที่ไม่ต่อเนื่องของปัญหา
ฉันคิดว่าอินสแตนซ์ SEDE ต้องการการกอดเพื่อให้รู้สึกมีความสุขอีกครั้ง ใครบางคนสามารถขี่จักรยานไปที่ศูนย์ข้อมูลและใช้ความรักที่ต้องการได้หรือไม่?
คำตอบ
TL; DR; สิ่งนี้ควรได้รับการแก้ไขใน 8-24 ชั่วโมงข้างหน้าเนื่องจากเราต้องบล็อกบอทที่ขูดเรา
รุ่นที่ยาวขึ้น:
ฉันสังเกตเห็นการกระพือปีกในช่วงสุดสัปดาห์และเริ่มสอบสวนเมื่อวานนี้ การคาดเดาครั้งแรกของฉันคือปัญหา SQL หลังจากการขุดครั้งแรกฉันได้ทำการเปลี่ยนแปลงระดับเซิร์ฟเวอร์เพื่อดูว่าสิ่งต่างๆจะเสถียรหรือไม่ พวกเขาใช้เวลาหลายชั่วโมง แต่เมื่อคืนฉันสังเกตเห็นว่ามีไฟดับอีกฉันจึงเก็บข้อมูลความทรงจำเพื่อตรวจสอบเมื่อเช้านี้
หลังจากกระพือปีกตลอดคืน Nick และฉันเริ่มตรวจสอบการทิ้งเมื่อเช้านี้โดยส่วนใหญ่ Nick ได้ตรวจสอบและฉันดู เราสังเกตเห็นปัญหาการทำงานของเธรดดังนั้นเราจึงดูการเชื่อมต่อทั้งหมดกับ SEDE เพื่อดูว่ามีอะไรบ้างที่ทำให้การเชื่อมต่อทั้งหมดเกิดขึ้น แต่ไม่มีอะไรโดดเด่นมากนักเราจึงหันไปหาบันทึกการเข้าชมและพบปัญหา
ในตอนแรกเราสอบถามบันทึกในช่วงสองสามวันที่ผ่านมาและพบว่าเรากำลังรวบรวมข้อมูลโดย Applebot การรวบรวมข้อมูลเป็นการพูดที่ไม่ชัดเจนเราได้รับผลกระทบจากมัน
นี่คือสถิติการเข้าชมบางส่วนจาก Applebot และคนอื่น ๆ เพื่อให้ความคิดเกี่ยวกับขนาด - การหยุดทำงานเริ่มในวันที่ 2020-08-16 ระหว่างวันนั้นถึงวันนี้ (2020-08-18) ที่เรามี
Applebot | Non-Applebot Traffic
---------------------------------
1484480 | 290063
เราได้เพิ่ม Applebot เป็นrobots.txtเพื่อหยุดการรวบรวมข้อมูล จะต้องใช้เวลาสักครู่ในการระงับดังนั้นเราอาจมีการกระพือปีกของ SEDE อีกเล็กน้อย แต่เราจะตรวจสอบและจะเตะตามความจำเป็น