Scrapy - Primera araña

Descripción

Spider es una clase que define la URL inicial para extraer los datos, cómo seguir los enlaces de paginación y cómo extraer y analizar los campos definidos en el items.py. Scrapy proporciona diferentes tipos de arañas, cada una de las cuales tiene un propósito específico.

Crea un archivo llamado "first_spider.py"en el directorio first_scrapy / spiders, donde podemos decirle a Scrapy cómo encontrar los datos exactos que estamos buscando. Para ello, debe definir algunos atributos:

• name - Define el nombre único de la araña.

• allowed_domains - Contiene las URL base para que rastree la araña.

• start-urls - Una lista de URL desde donde la araña comienza a rastrear.

• parse() - Es un método que extrae y analiza los datos raspados.

El siguiente código demuestra cómo se ve un código de araña:

import scrapy  

class firstSpider(scrapy.Spider): 
   name = "first" 
   allowed_domains = ["dmoz.org"] 
   
   start_urls = [ 
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", 
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" 
   ]  
   def parse(self, response): 
      filename = response.url.split("/")[-2] + '.html' 
      with open(filename, 'wb') as f: 
         f.write(response.body)