Scrapy - İlk Örümcek

Açıklama

Örümcek, verilerin çıkarılacağı ilk URL'yi, sayfalandırma bağlantılarının nasıl izleneceğini ve içinde tanımlanan alanların nasıl çıkarılıp ayrıştırılacağını tanımlayan bir sınıftır. items.py. Scrapy, her biri belirli bir amaç veren farklı türde örümcekler sağlar.

Adlı bir dosya oluşturun "first_spider.py"First_scrapy / spiders dizini altında, Scrapy'ye aradığımız kesin veriyi nasıl bulacağını söyleyebiliriz. Bunun için bazı nitelikler tanımlamalısınız -

• name - Örümceğin benzersiz ismini tanımlar.

• allowed_domains - Örümceğin taraması için temel URL'leri içerir.

• start-urls - Örümceğin taramaya başladığı URL'lerin listesi.

• parse() - Kazınan verileri çıkaran ve ayrıştıran bir yöntemdir.

Aşağıdaki kod, bir örümcek kodunun nasıl göründüğünü gösterir -

import scrapy  

class firstSpider(scrapy.Spider): 
   name = "first" 
   allowed_domains = ["dmoz.org"] 
   
   start_urls = [ 
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", 
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" 
   ]  
   def parse(self, response): 
      filename = response.url.split("/")[-2] + '.html' 
      with open(filename, 'wb') as f: 
         f.write(response.body)