Scrapy - Verschrottete Daten

Beschreibung

Der beste Weg zum Speichern von Scraped-Daten ist die Verwendung von Feed-Exporten, mit denen sichergestellt wird, dass Daten in mehreren Serialisierungsformaten ordnungsgemäß gespeichert werden. JSON, JSON-Zeilen, CSV, XML sind die Formate, die in Serialisierungsformaten problemlos unterstützt werden. Die Daten können mit dem folgenden Befehl gespeichert werden:

scrapy crawl dmoz -o data.json

Dieser Befehl erstellt eine data.jsonDatei mit Scraped-Daten in JSON. Diese Technik gilt für kleine Datenmengen. Wenn große Datenmengen verarbeitet werden müssen, können wir die Item-Pipeline verwenden. Genau wie bei der Datei data.json wird beim Erstellen des Projekts eine reservierte Datei eingerichtettutorial/pipelines.py.