Stack Exchange Data Explorer liên tục gặp sự cố
Kể từ Chủ nhật, tôi mong đợi sau khi làm mới 03:00 UTC, Stack Exchange Data Explorer dường như gặp sự cố khi cung cấp các trang cho chúng tôi.
Tôi nhận thấy rằng tôi thường xuyên đăng xuất, tôi nhận được hộp lỗi màu đỏ cho biết đã xảy ra sự cố khi thực hiện truy vấn của tôi hoặc tôi được đưa ra trang bảo trì.
Thử lại hành động của tôi và / hoặc làm mới dường như giải quyết được phần nào vấn đề cho đến lần trục trặc tiếp theo.
Có báo cáo từ những người dùng khác mà trải qua những vấn đề tương tự . Và một số người dùng báo cáo không có vấn đề gì . Điều đó cho thấy bản chất không liên tục của vấn đề.
Tôi nghĩ rằng phiên bản SEDE cần một cái ôm để nó cảm thấy hạnh phúc trở lại. Ai đó có thể đi xe đạp đến trung tâm dữ liệu và áp dụng tình yêu cần thiết không?
Trả lời
TL; DR; Điều này sẽ được khắc phục trong 8-24 giờ tới vì chúng tôi phải chặn một con bot đang cào cấu chúng tôi.
Phiên bản dài hơn:
Tôi nhận thấy sự thay đổi vào cuối tuần và bắt đầu điều tra ngày hôm qua. Dự đoán đầu tiên của tôi là một vấn đề SQL. Sau một số lần đào ban đầu, tôi đã thực hiện một số thay đổi cấp máy chủ để xem liệu mọi thứ có ổn định hay không. Họ đã làm trong vài giờ, nhưng đêm qua tôi nhận thấy một lần ngừng hoạt động khác, vì vậy tôi đã lấy một kho lưu trữ bộ nhớ để xem lại sáng nay.
Sau rất nhiều lần vỗ về qua đêm, Nick và tôi bắt đầu xem lại các bãi thải sáng nay, hầu như Nick đã xem lại và tôi đã xem. Chúng tôi nhận thấy một số vấn đề về phân luồng, vì vậy chúng tôi xem xét tổng số kết nối tới SEDE để tìm ra nguyên nhân nào đang gây cản trở tất cả các kết nối, nhưng không có gì thực sự nổi bật, vì vậy chúng tôi đã chuyển sang Nhật ký lưu lượng và tìm ra vấn đề.
Ban đầu, chúng tôi đã truy vấn nhật ký trong vài ngày qua và thấy rằng chúng tôi đang được Applebot thu thập dữ liệu. Crawled là một cách nói ngắn gọn, chúng tôi đã bị nó đánh gục.
Dưới đây là một số thống kê về lưu lượng truy cập từ Applebot và những người khác để đưa ra ý tưởng trên quy mô - thời gian ngừng hoạt động bắt đầu từ ngày 2020-08-16 từ ngày đó đến hôm nay (2020-08-18), chúng tôi đã có:
Applebot | Non-Applebot Traffic
---------------------------------
1484480 | 290063
Chúng tôi đã thêm tệp robots.txt của Applebot để ngừng thu thập thông tin. Sẽ mất một chút thời gian để điều đó tạm dừng, vì vậy chúng tôi có thể có thêm một chút vỗ về SEDE, nhưng chúng tôi sẽ theo dõi nó và sẽ khởi động nếu cần.