Penjelajah Data Stack Exchange terkadang mati
Sejak hari Minggu, saya perkirakan setelah pembaruan 03:00 UTC, Penjelajah Data Stack Exchange tampaknya mengalami masalah saat menyajikan laman kepada kami.
Saya perhatikan bahwa saya sering keluar, saya mendapatkan kotak kesalahan merah bahwa ada yang tidak beres dengan menjalankan kueri saya atau saya disajikan dengan halaman pemeliharaan.
Mencoba kembali tindakan saya dan / atau menyegarkan tampaknya menyelesaikan masalah hingga masalah berikutnya.
Ada laporan dari pengguna lain yang mengalami masalah yang sama . Dan beberapa pengguna melaporkan tidak ada masalah . Itu menunjukkan sifat masalah yang terputus-putus.
Menurut saya instance SEDE perlu pelukan agar terasa bahagia lagi. Bisakah seseorang naik sepeda ke pusat data dan menerapkan cinta yang dibutuhkan?
Jawaban
TL; DR; Ini harus diperbaiki dalam 8-24 jam ke depan karena kami harus memblokir bot yang mengorek kami.
Versi yang lebih panjang:
Saya melihat kepakan sayap selama akhir pekan dan mulai menyelidiki kemarin. Tebakan pertama saya adalah masalah SQL. Setelah beberapa penggalian awal, saya membuat beberapa perubahan tingkat server untuk melihat apakah semuanya akan stabil. Mereka melakukannya selama beberapa jam, tetapi tadi malam saya melihat pemadaman lagi, jadi saya mengambil dump memori untuk ditinjau pagi ini.
Setelah sekian lama mengepak-ngepak dalam semalam, Nick dan saya mulai meninjau kesedihan pagi ini, sebagian besar Nick mengulas dan saya menonton. Kami melihat beberapa masalah threading, jadi kami melihat total koneksi ke SEDE untuk mencari tahu apa yang memonopoli semua koneksi, tapi tidak ada yang benar-benar menonjol, jadi kami beralih ke Log Lalu Lintas dan menemukan masalahnya.
Kami awalnya menanyakan log selama beberapa hari terakhir dan melihat kami sedang dirayapi oleh Applebot. Merangkak adalah pernyataan yang meremehkan, kami dibanting olehnya.
Berikut adalah beberapa statistik lalu lintas dari Applebot dan orang lain untuk memberikan gambaran tentang skala - pemadaman dimulai pada 2020-08-16 antara tanggal tersebut hingga hari ini (2020-08-18) yang kami miliki:
Applebot | Non-Applebot Traffic
---------------------------------
1484480 | 290063
Kami telah menambahkan Applebot pada robots.txt untuk menghentikan perayapan. Ini akan membutuhkan sedikit waktu untuk menahannya, jadi kami mungkin memiliki sedikit lebih banyak mengepakkan SEDE, tetapi kami akan memantaunya dan akan menendang sesuai kebutuhan.