Scrapy - Dados Scrapy

Descrição

A melhor maneira de armazenar dados extraídos é usando exportações de feed, que garantem que os dados sejam armazenados corretamente usando vários formatos de serialização. JSON, linhas JSON, CSV, XML são os formatos suportados prontamente em formatos de serialização. Os dados podem ser armazenados com o seguinte comando -

scrapy crawl dmoz -o data.json

Este comando irá criar um data.jsonarquivo contendo dados copiados em JSON. Essa técnica é válida para pequenas quantidades de dados. Se uma grande quantidade de dados tiver que ser tratada, podemos usar o Item Pipeline. Assim como o arquivo data.json, um arquivo reservado é configurado quando o projeto é criado emtutorial/pipelines.py.