Scrapy - dane pobrane

Opis

Najlepszym sposobem przechowywania zeskrobanych danych jest użycie eksportów kanałów, które zapewniają prawidłowe przechowywanie danych przy użyciu wielu formatów serializacji. JSON, linie JSON, CSV, XML to formaty łatwo obsługiwane w formatach serializacji. Dane można zapisać za pomocą następującego polecenia -

scrapy crawl dmoz -o data.json

To polecenie utworzy plik data.jsonplik zawierający pobrane dane w formacie JSON. Ta technika sprawdza się w przypadku małych ilości danych. Jeśli mamy do czynienia z dużą ilością danych, możemy użyć Item Pipeline. Podobnie jak plik data.json, plik zastrzeżony jest konfigurowany podczas tworzenia projektu w programietutorial/pipelines.py.