Trị liệu - Nhện đầu tiên

Sự miêu tả

Spider là một lớp xác định URL ban đầu để trích xuất dữ liệu, cách theo các liên kết phân trang và cách trích xuất và phân tích cú pháp các trường được xác định trong items.py. Liệu pháp điều trị cung cấp các loại nhện khác nhau, mỗi loại cho một mục đích cụ thể.

Tạo một tệp có tên "first_spider.py"trong thư mục first_scrapy / spiders, nơi chúng tôi có thể cho Scrapy biết cách tìm dữ liệu chính xác mà chúng tôi đang tìm kiếm. Đối với điều này, bạn phải xác định một số thuộc tính -

• name - Nó xác định tên duy nhất cho con nhện.

• allowed_domains - Nó chứa các URL cơ sở để con nhện thu thập thông tin.

• start-urls - Danh sách các URL từ nơi con nhện bắt đầu thu thập thông tin.

• parse() - Đây là một phương pháp trích xuất và phân tích cú pháp dữ liệu đã được cạo.

Đoạn mã sau minh họa cách mã spider trông như thế nào:

import scrapy  

class firstSpider(scrapy.Spider): 
   name = "first" 
   allowed_domains = ["dmoz.org"] 
   
   start_urls = [ 
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", 
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" 
   ]  
   def parse(self, response): 
      filename = response.url.split("/")[-2] + '.html' 
      with open(filename, 'wb') as f: 
         f.write(response.body)