Python Scrapy como salvar dados em arquivos diferentes

Sep 05 2020

Eu quero salvar cada citação de http://quotes.toscrape.com/salvo em um arquivo csv (2 campos: autor, citação). Outra necessidade é salvar essas citações em arquivos diferentes separados pela página em que residem. ou seja: (página1.csv, página2.csv ...). Tentei fazer isso declarando as exportações de feed no custom_settingsatributo em meu spider, conforme mostrado abaixo. Isso, no entanto, nem mesmo produz um arquivo chamado page-1.csv. Eu sou um iniciante no uso de scrapy, por favor, tente explicar assumindo que eu sei pouco ou nada.

import scrapy
import urllib

class spidey(scrapy.Spider):
    name = "idk"
    start_urls = [
        "http://quotes.toscrape.com/"
    ]

    custom_settings = {
        'FEEDS' : {
            'file://page-1.csv' : { #edit: uri needs to be absolute path
                'format' : 'csv',
                'store_empty' : True
            }
        },
        'FEED_EXPORT_ENCODING' : 'utf-8',
        'FEED_EXPORT_FIELDS' : ['author', 'quote']
    }
    

    def parse(self, response):
        for qts in response.xpath("//*[@class=\"quote\"]"):
            author = qts.xpath("./span[2]/small/text()").get()
            quote = qts.xpath("./*[@class=\"text\"]/text()").get()
            yield {
                'author' : author,
                'quote' : quote
                }

        next_pg = response.xpath('//li[@class="next"]/a/@href').get()      
        if next_pg is not None:
            next_pg = urllib.parse.urljoin(self.start_urls[0], next_pg)
            yield scrapy.Request(next_pg, self.parse)

Como executei o rastreador: scrapy crawl idkComo uma pergunta adicional, preciso que meus arquivos sejam substituídos, em vez de serem anexados, como ao especificar o -osinalizador. É possível fazer isso sem ter que verificar / excluir manualmente os arquivos preexistentes do spider?

Respostas

1 PatrickKlein Nov 25 2020 at 17:39

Salvar seus itens em um arquivo com o nome da página em que os encontrou (afaik) não é compatível com as configurações. Se você quiser fazer isso, poderá criar sua própria funcionalidade para isso com a openfunção do python e csv.writerem seu parsemétodo. Uma opção alternativa seria escrever um pipeline de item que gerencie exportadores de itens diferentes para arquivos diferentes.

O que você pode fazer com as configurações, entretanto, é limitar o número de itens em um arquivo com a FEED_EXPORT_BATCH_ITEM_COUNTconfiguração, que é compatível desde a versão 2.3 do Scrapy.
Sobrescrever em vez de anexar a um arquivo também pode ser feito a partir do Scrapy 2.4. Em FEEDSvocê pode definir overwritecomo True como demonstrado em breve.

Se você substituísse o seu custom_settingspelo seguinte, ele produziria arquivos com 10 itens, cada um nomeado page-seguido de batch_id, que começa com um. Portanto, seus três primeiros arquivos seriam nomeados como page-1.csv, page-2.csv e page-3.csv.

    custom_settings = {
        'FEED_EXPORT_BATCH_ITEM_COUNT': 10,
        'FEEDS' : {
            'page-%(batch_id)d.csv' : {
                'format' : 'csv',
                'store_empty' : True,
                'overwrite': True
            }
        }
    }

Implementando como pipeline

Se você quiser implementar isso usando um pipeline de item, poderá salvar o número da página em que está no dicionário que você retorna, que então é processado e removido pelo pipeline de item.

O pipeline em seu pipelines.py(com base neste exemplo ) poderia ter a seguinte aparência:

from scrapy.exporters import CsvItemExporter


class PerFilenameExportPipeline:
    """Distribute items across multiple CSV files according to their 'page' field"""

    def open_spider(self, spider):
        self.filename_to_exporter = {}

    def close_spider(self, spider):
        for exporter in self.filename_to_exporter.values():
            exporter.finish_exporting()

    def _exporter_for_item(self, item):
        filename = 'page-' + str(item['page_no'])
        del item['page_no']
        if filename not in self.filename_to_exporter:
            f = open(f'{filename}.csv', 'wb')
            exporter = CsvItemExporter(f)
            exporter.start_exporting()
            self.filename_to_exporter[filename] = exporter
        return self.filename_to_exporter[filename]

    def process_item(self, item, spider):
        exporter = self._exporter_for_item(item)
        exporter.export_item(item)
        return item

Em seu spider, você precisaria adicionar uma rotina para obter a página em que está, bem como definir o pipeline em sua custom_settings, o que você poderia fazer da seguinte maneira:

import scrapy
from ..pipelines import PerFilenameExportPipeline


class spidey(scrapy.Spider):
    name = "idk"
    custom_settings = {
        'ITEM_PIPELINES': {
            PerFilenameExportPipeline: 100
        }
    }
    
    def start_requests(self):
        yield scrapy.Request("http://quotes.toscrape.com/", cb_kwargs={'page_no': 1})

    def parse(self, response, page_no):
        for qts in response.xpath("//*[@class=\"quote\"]"):
            yield {
                'page_no': page_no,
                'author' : qts.xpath("./span[2]/small/text()").get(),
                'quote' : qts.xpath("./*[@class=\"text\"]/text()").get()
            }

        next_pg = response.xpath('//li[@class="next"]/a/@href').get()      
        if next_pg is not None:
            yield response.follow(next_pg, cb_kwargs={'page_no': page_no + 1})

No entanto, há um problema com isso. O último arquivo (página 10.csv) permanece vazio por razões além da minha compreensão. Eu perguntei por que isso poderia estar aqui .