วิธีเลี่ยงอัตรา จำกัด .. HTML Error 1015 โดยใช้ Python
ดังนั้นฉันจึงได้สร้างบอทอัตโนมัติเพื่อทำบางสิ่งให้ฉันบนอินเทอร์เน็ต .. โดยใช้ Selenium Python .. หลังจากช่วงเวลาการเขียนโค้ดที่ยาวนานและคร่ำครวญ .. วันและคืนของการทำงานในโครงการนี้ในที่สุดฉันก็ทำสำเร็จแล้ว ... เท่านั้นที่จะเป็น สุ่มทักทายด้วยข้อผิดพลาด 1015 "คุณถูก จำกัด อัตรา"
ฉันเข้าใจว่านี่เป็นการป้องกันการโจมตี DDOS แต่มันเป็นระเบิดที่สำคัญ
ฉันได้ติดต่อเว็บไซต์เพื่อแก้ไขปัญหานี้ แต่ไม่เป็นประโยชน์ .. แต่ซอฟต์แวร์รักษาความปลอดภัยของบุคคลที่สามที่พวกเขาใช้บอกว่าพวกเขาเว็บไซต์สามารถยกเว้นการ จำกัด อัตรา IP ของฉันได้
ดังนั้นฉันจึงสงสัยว่ามีวิธีอื่นในการหลีกเลี่ยงสิ่งนี้หรือไม่ .. อาจจะเป็นจากมุมมองของการเข้ารหัส ... ฉันไม่คิดว่าสิ่งต่างๆเช่นการล้างคุกกี้จะช่วยแก้ปัญหาอะไรได้ .. หรือจะเป็นเพราะมันเป็นที่อยู่ IP เฉพาะของฉันที่ถูกบล็อก
หมายเหตุ: TofC ของเว็บไซต์ที่ฉันใช้งานบอทไม่ได้บอกว่าคุณไม่สามารถใช้ซอฟต์แวร์อัตโนมัติกับมันได้ .. แต่ก็ไม่ได้บอกว่าคุณทำไม่ได้เช่นกัน
ฉันไม่สนใจที่จะเขียนโค้ดอีกต่อไปเพื่อป้องกันการปฏิเสธการเข้าถึงโดยสุ่ม .. นั่นฉันคิดว่าคงอยู่เป็นเวลา 24 ชั่วโมงซึ่งอาจเป็นอันตรายได้เนื่องจากขั้นตอนสุดท้ายของการสร้างนี้คือการให้โปรแกรมของฉันทำงานทุกวันเป็นระยะเวลานาน
คุณคิดว่าฉันสามารถสื่อสารกับความปลอดภัยของบุคคลที่สามเพื่อขอให้พวกเขาขอให้เว็บไซต์อนุญาตให้ฉันเข้าถึงได้หรือไม่ .. ฉันได้ลองแก้ไขปัญหากับเว็บไซต์แล้ว ทั้งหมดที่พวกเขาพูดคือ A. ที่นั่นมันบอกว่าฉันสบายดี B. ปัญหาน่าจะอยู่ข้างฉันมากที่สุด .. "บางทีซอฟต์แวร์ที่เป็นอันตรายบางตัวกำลังพยายามเข้าถึงเว็บไซต์ของเรา" ซึ่ง .. ไม่เป็นอันตราย แต่เป็นบอทใช่ นั่นคือสิ่งที่ทำให้ฉันคิดว่าอาจจะดีกว่าถ้าฉันแก้ไขเรื่องนี้ด้วยตัวเอง
คุณคิดว่าฉันอาจต้องใช้เวลารอระหว่างกระบวนการหรือบางอย่าง ผมติดอยู่.
ขอบคุณสำหรับความช่วยเหลือใด ๆ และเป็นบอทเดียว!
คำตอบ
หากคุณสุ่มทักทายกับ ...
... หมายความว่าเจ้าของไซต์ใช้การจำกัด อัตราที่ส่งผลต่อการเข้าชมของผู้เยี่ยมชมของคุณ
เหตุผลที่ จำกัด อัตรา
Cloudflareสามารถให้คะแนน จำกัด ปริมาณการใช้งานของผู้เยี่ยมชมที่พยายามตอบโต้การโจมตีพจนานุกรมที่อาจเกิดขึ้นได้
เกณฑ์ จำกัด อัตรา
ในกรณีทั่วไปCloudflareจะ จำกัด อัตราผู้เข้าชมเมื่อปริมาณการใช้งานของผู้เยี่ยมชมเกินเกณฑ์ขีด จำกัด อัตราซึ่งคำนวณโดยหารคำขอเว็บไซต์ที่ไม่ได้ระบุ 24 ชั่วโมงโดยผู้เข้าชมที่ไม่ซ้ำใน 24 ชั่วโมงเดียวกัน จากนั้นหารด้วยจำนวนนาทีเฉลี่ยโดยประมาณของการเยี่ยมชม สุดท้ายคูณด้วย 4 (หรือมากกว่า) เพื่อสร้างเกณฑ์โดยประมาณต่อนาทีสำหรับเว็บไซต์ของคุณ ค่าที่สูงกว่า 4 นั้นใช้ได้เนื่องจากการโจมตีส่วนใหญ่มีลำดับความสำคัญสูงกว่าอัตราการเข้าชมทั่วไป
สารละลาย
ในกรณีเหล่านี้เป็นวิธีการแก้ปัญหาที่อาจเกิดขึ้นจะใช้การตรวจไม่พบ-chromedriverเพื่อเริ่มต้นบริบท Chrome Browsing
undetected-chromedriverเป็นแพทช์ Selenium Chromedriver ที่ได้รับการปรับปรุงซึ่งไม่เรียกใช้บริการต่อต้านบอทเช่น Distill Network / Imperva / DataDome / Botprotect.io มันจะดาวน์โหลดไบนารีของไดรเวอร์โดยอัตโนมัติและทำการแก้ไข
บล็อกรหัส:
import undetected_chromedriver as uc from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument("start-maximized") driver = uc.Chrome(options=options) driver.get('https://bet365.com')
อ้างอิง
คุณสามารถดูการอภิปรายโดยละเอียดที่เกี่ยวข้องได้ใน:
- แอป Selenium เปลี่ยนเส้นทางไปยังหน้า Cloudflare เมื่อโฮสต์บน Heroku
- ขีด จำกัด เค้น Linkedin API
ฉันเห็นความเป็นไปได้สำหรับคุณที่นี่:
- แนะนำเวลารอระหว่างคำขอไปยังไซต์
- ลดคำขอที่คุณทำ
- ขยายบอทของคุณเพื่อตรวจจับเมื่อถึงขีด จำกัด และเปลี่ยนที่อยู่ IP ของคุณ (เช่นโดยการรีสตาร์ทเราเตอร์ของคุณ)
ข้อสุดท้ายเป็นวิธีที่ดีที่สุดที่ฉันคิดว่าเป็นสิ่งที่ใช้เวลานานที่สุด
แม่: อ่านข้อกำหนดการใช้งานของเว็บไซต์ตัวอย่างเช่นดูที่ robots.txt แต่มักจะเป็นที่รากของเว็บไซต์เช่นwww.google.com/robots.txt โปรดทราบว่าการขัดต่อข้อกำหนดที่ชัดเจนของเจ้าของเว็บไซต์อาจผิดกฎหมายขึ้นอยู่กับเขตอำนาจศาลและอาจส่งผลให้เจ้าของบล็อกเครื่องมือและ / หรือ IP ของคุณ
https://www.robotstxt.org/robotstxt.html
วิธีนี้จะแจ้งให้คุณทราบว่าเจ้าของเว็บไซต์อนุญาตให้ใช้ระบบอัตโนมัติและการคัดลอกข้อมูลใดได้อย่างชัดเจน
หลังจากที่คุณได้ตรวจสอบข้อกำหนดของเว็บไซต์และเข้าใจสิ่งที่พวกเขาอนุญาตและพวกเขาไม่ตอบสนองต่อคุณและคุณได้พิจารณาแล้วว่าคุณไม่ได้ละเมิดข้อกำหนดการใช้งานของเว็บไซต์ตัวเลือกอื่น ๆ ที่แท้จริงเท่านั้นที่จะใช้พร็อกซีและ / หรือ VPS ซึ่งจะทำให้ระบบรันสคริปต์ IPs ต่างกัน