Cara mem-bypass dengan rate terbatas ..HTML Error 1015 menggunakan Python
Jadi saya telah membuat bot otomasi untuk melakukan beberapa hal untuk saya di internet .. Menggunakan Selenium Python..Setelah sesi pengkodean yang panjang dan grooling .. hari dan malam mengerjakan proyek ini akhirnya saya menyelesaikannya ... Hanya untuk menjadi disambut secara acak dengan Kesalahan 1015 "Tingkat Anda dibatasi".
Saya mengerti ini untuk mencegah serangan DDOS. Tapi itu pukulan besar.
Saya telah menghubungi situs web untuk menyelesaikan masalah ini tetapi tidak berhasil .. Tetapi perangkat lunak keamanan pihak ketiga yang mereka gunakan mengatakan bahwa situs web mereka dapat memberikan pengecualian ip untuk pembatasan tarif.
Jadi saya bertanya-tanya apakah ada cara lain untuk melewati ini ..mungkin dari sudut pandang pengkodean ... Saya tidak berpikir hal-hal seperti membersihkan cookie akan menyelesaikan apa pun .. atau akankah itu karena alamat ip spesifik saya yang mereka blokir
Catatan: TofC situs web tempat saya menjalankan bot tidak mengatakan Anda tidak dapat menggunakan perangkat lunak otomasi di dalamnya .. tetapi tidak dikatakan Anda juga tidak dapat melakukannya.
Saya tidak keberatan membuat kode lagi untuk mencegah penolakan akses acak .. yang menurut saya berlangsung selama 24 jam yang dapat merugikan karena tahap terakhir dari pembangunan ini adalah menjalankan program saya setiap hari untuk jangka waktu yang lama.
Menurut Anda, apakah saya dapat berkomunikasi dengan keamanan pihak ketiga untuk meminta mereka meminta situs web memberi saya akses .. Saya sudah mencoba menyelesaikan masalah ini dengan situs web. Semua yang mereka katakan adalah bahwa A. Di sisi sana dikatakan saya baik-baik saja B. Masalahnya kemungkinan besar ada di pihak saya .. "Mungkin beberapa perangkat lunak berbahaya mencoba mengakses situs web kami" yang .. tidak berbahaya tetapi bot ya. Itulah yang membuat saya berpikir mungkin akan lebih baik jika saya menyelesaikan masalahnya sendiri.
Apakah Anda pikir saya mungkin harus menerapkan waktu tunggu antara proses atau sesuatu. Aku terjebak.
Terima kasih atas bantuannya. Dan itu satu bot!
Jawaban
Jika Anda secara acak disambut dengan ...
... menyiratkan bahwa pemilik situs menerapkan Pembatasan Tarif yang memengaruhi lalu lintas pengunjung Anda.
alasan yang membatasi tarif
Cloudflare dapat membatasi laju lalu lintas pengunjung yang mencoba melawan kemungkinan serangan Kamus .
ambang batas tarif
Dalam kasus umum, tingkat Cloudflare membatasi pengunjung ketika lalu lintas pengunjung melewati ambang batas tingkat yang dihitung dengan membagi 24 jam permintaan situs web yang tidak di-cache oleh pengunjung unik untuk 24 jam yang sama. Kemudian, bagi dengan perkiraan menit rata-rata kunjungan. Terakhir, kalikan dengan 4 (atau lebih besar) untuk menetapkan perkiraan ambang per menit untuk situs web Anda. Nilai yang lebih tinggi dari 4 baik-baik saja karena sebagian besar serangan memiliki urutan besarnya di atas tarif lalu lintas biasa.
Larutan
Dalam kasus ini, solusi potensial adalah menggunakan chromedriver yang tidak terdeteksi untuk menginisialisasi Konteks Penjelajahan Chrome .
undetected-chromedriver adalah patch Chromedriver Selenium yang dioptimalkan yang tidak memicu layanan anti-bot seperti Distill Network / Imperva / DataDome / Botprotect.io. Ini secara otomatis mengunduh biner driver dan menambalnya.
Blok Kode:
import undetected_chromedriver as uc from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument("start-maximized") driver = uc.Chrome(options=options) driver.get('https://bet365.com')
Referensi
Anda dapat menemukan beberapa diskusi rinci yang relevan di:
- Aplikasi Selenium dialihkan ke halaman Cloudflare saat dihosting di Heroku
- Batas throttle API Linkedin
Saya melihat beberapa kemungkinan untuk Anda di sini:
- Perkenalkan waktu tunggu antara permintaan ke situs
- Kurangi permintaan yang Anda buat
- Perluas bot Anda untuk mendeteksi ketika mencapai batas dan ubah alamat ip Anda (misalnya dengan memulai ulang router Anda)
Yang terakhir adalah yang paling tidak disukai menurut saya dan juga yang paling memakan waktu.
Pertama: Baca Terms of Use website, misalnya lihat di robots.txt, biasanya ini di root website seperti www.google.com/robots.txt . Perhatikan bahwa melawan persyaratan eksplisit pemilik situs web mungkin ilegal tergantung pada yurisdiksi dan dapat mengakibatkan pemilik memblokir alat dan / atau ip Anda.
https://www.robotstxt.org/robotstxt.html
Ini akan memberi tahu Anda apa yang diizinkan secara eksplisit oleh pemilik situs web untuk otomatisasi dan scraping.
Setelah Anda meninjau persyaratan situs web dan memahami apa yang diizinkan, dan mereka tidak menanggapi Anda, dan Anda telah memutuskan bahwa Anda tidak melanggar persyaratan penggunaan situs web, satu-satunya pilihan nyata lainnya adalah menggunakan proxy dan / atau VPS. yang akan memberikan sistem yang menjalankan skrip IP yang berbeda.