Python Scrapy como salvar dados em arquivos diferentes
Eu quero salvar cada citação de http://quotes.toscrape.com/salvo em um arquivo csv (2 campos: autor, citação). Outra necessidade é salvar essas citações em arquivos diferentes separados pela página em que residem. ou seja: (página1.csv, página2.csv ...). Tentei fazer isso declarando as exportações de feed no custom_settingsatributo em meu spider, conforme mostrado abaixo. Isso, no entanto, nem mesmo produz um arquivo chamado page-1.csv. Eu sou um iniciante no uso de scrapy, por favor, tente explicar assumindo que eu sei pouco ou nada.
import scrapy
import urllib
class spidey(scrapy.Spider):
name = "idk"
start_urls = [
"http://quotes.toscrape.com/"
]
custom_settings = {
'FEEDS' : {
'file://page-1.csv' : { #edit: uri needs to be absolute path
'format' : 'csv',
'store_empty' : True
}
},
'FEED_EXPORT_ENCODING' : 'utf-8',
'FEED_EXPORT_FIELDS' : ['author', 'quote']
}
def parse(self, response):
for qts in response.xpath("//*[@class=\"quote\"]"):
author = qts.xpath("./span[2]/small/text()").get()
quote = qts.xpath("./*[@class=\"text\"]/text()").get()
yield {
'author' : author,
'quote' : quote
}
next_pg = response.xpath('//li[@class="next"]/a/@href').get()
if next_pg is not None:
next_pg = urllib.parse.urljoin(self.start_urls[0], next_pg)
yield scrapy.Request(next_pg, self.parse)
Como executei o rastreador: scrapy crawl idkComo uma pergunta adicional, preciso que meus arquivos sejam substituídos, em vez de serem anexados, como ao especificar o -osinalizador. É possível fazer isso sem ter que verificar / excluir manualmente os arquivos preexistentes do spider?
Respostas
Salvar seus itens em um arquivo com o nome da página em que os encontrou (afaik) não é compatível com as configurações. Se você quiser fazer isso, poderá criar sua própria funcionalidade para isso com a openfunção do python e csv.writerem seu parsemétodo. Uma opção alternativa seria escrever um pipeline de item que gerencie exportadores de itens diferentes para arquivos diferentes.
O que você pode fazer com as configurações, entretanto, é limitar o número de itens em um arquivo com a FEED_EXPORT_BATCH_ITEM_COUNTconfiguração, que é compatível desde a versão 2.3 do Scrapy.
Sobrescrever em vez de anexar a um arquivo também pode ser feito a partir do Scrapy 2.4. Em FEEDSvocê pode definir overwritecomo True como demonstrado em breve.
Se você substituísse o seu custom_settingspelo seguinte, ele produziria arquivos com 10 itens, cada um nomeado page-seguido de batch_id, que começa com um. Portanto, seus três primeiros arquivos seriam nomeados como page-1.csv, page-2.csv e page-3.csv.
custom_settings = {
'FEED_EXPORT_BATCH_ITEM_COUNT': 10,
'FEEDS' : {
'page-%(batch_id)d.csv' : {
'format' : 'csv',
'store_empty' : True,
'overwrite': True
}
}
}
Implementando como pipeline
Se você quiser implementar isso usando um pipeline de item, poderá salvar o número da página em que está no dicionário que você retorna, que então é processado e removido pelo pipeline de item.
O pipeline em seu pipelines.py(com base neste exemplo ) poderia ter a seguinte aparência:
from scrapy.exporters import CsvItemExporter
class PerFilenameExportPipeline:
"""Distribute items across multiple CSV files according to their 'page' field"""
def open_spider(self, spider):
self.filename_to_exporter = {}
def close_spider(self, spider):
for exporter in self.filename_to_exporter.values():
exporter.finish_exporting()
def _exporter_for_item(self, item):
filename = 'page-' + str(item['page_no'])
del item['page_no']
if filename not in self.filename_to_exporter:
f = open(f'{filename}.csv', 'wb')
exporter = CsvItemExporter(f)
exporter.start_exporting()
self.filename_to_exporter[filename] = exporter
return self.filename_to_exporter[filename]
def process_item(self, item, spider):
exporter = self._exporter_for_item(item)
exporter.export_item(item)
return item
Em seu spider, você precisaria adicionar uma rotina para obter a página em que está, bem como definir o pipeline em sua custom_settings, o que você poderia fazer da seguinte maneira:
import scrapy
from ..pipelines import PerFilenameExportPipeline
class spidey(scrapy.Spider):
name = "idk"
custom_settings = {
'ITEM_PIPELINES': {
PerFilenameExportPipeline: 100
}
}
def start_requests(self):
yield scrapy.Request("http://quotes.toscrape.com/", cb_kwargs={'page_no': 1})
def parse(self, response, page_no):
for qts in response.xpath("//*[@class=\"quote\"]"):
yield {
'page_no': page_no,
'author' : qts.xpath("./span[2]/small/text()").get(),
'quote' : qts.xpath("./*[@class=\"text\"]/text()").get()
}
next_pg = response.xpath('//li[@class="next"]/a/@href').get()
if next_pg is not None:
yield response.follow(next_pg, cb_kwargs={'page_no': page_no + 1})
No entanto, há um problema com isso. O último arquivo (página 10.csv) permanece vazio por razões além da minha compreensão. Eu perguntei por que isso poderia estar aqui .