Scrapy - Futtermittelexporte
Beschreibung
Feed-Exporte sind eine Methode zum Speichern der von den Sites gescrapten Daten, die a generieren "export file".
Serialisierungsformate
Feed-Exporte verwenden mehrere Serialisierungsformate und Speicher-Backends und verwenden Artikelexporteure. Sie generieren einen Feed mit abgekratzten Artikeln.
Die folgende Tabelle zeigt die unterstützten Formate -
| Sr.Nr. | Format & Beschreibung |
|---|---|
| 1 | JSON FEED_FORMAT ist json Der verwendete Exporter ist die Klasse Scrapy.exporters.JsonItemExporter |
| 2 | JSON lines FEED_FROMAT ist jsonlines Der verwendete Exporter ist die Klasse Scrapy.exporters.JsonLinesItemExporter |
| 3 | CSV FEED_FORMAT ist CSV Der verwendete Exporter ist die Klasse Scrapy.exporters.CsvItemExporter |
| 4 | XML FEED_FORMAT ist xml Der verwendete Exporter ist die Klasse Scrapy.exporters.XmlItemExporter |
Verwenden von FEED_EXPORTERS Einstellungen können die unterstützten Formate auch erweitert werden -
| Sr.Nr. | Format & Beschreibung |
|---|---|
| 1 | Pickle FEED_FORMAT ist pickel Der verwendete Exporter ist die Klasse Scrapy.exporters.PickleItemExporter |
| 2 | Marshal FEED_FORMAT ist Marschall Der verwendete Exporter ist die Klasse Scrapy.exporters.MarshalItemExporter |
Speicher-Backends
Das Speicher-Backend definiert, wo der Feed mithilfe des URI gespeichert werden soll.
Die folgende Tabelle zeigt die unterstützten Speicher-Backends -
| Sr.Nr. | Speicher-Backend & Beschreibung |
|---|---|
| 1 | Local filesystem Das URI-Schema ist eine Datei und wird zum Speichern der Feeds verwendet. |
| 2 | FTP Das URI-Schema ist ftp und wird zum Speichern der Feeds verwendet. |
| 3 | S3 Das URI-Schema lautet S3 und die Feeds werden in Amazon S3 gespeichert. Externe Bibliotheken Botocore oder Boto sind erforderlich. |
| 4 | Standard output URI - Schema ist stdout und die Feeds werden in der Standardausgabe gespeichert. |
Speicher-URI-Parameter
Im Folgenden sind die Parameter der Speicher-URL aufgeführt, die beim Erstellen des Feeds ersetzt wird.
- % (Zeit) s: Dieser Parameter wird durch einen Zeitstempel ersetzt.
- % (Name) s: Dieser Parameter wird durch den Spinnennamen ersetzt.
die Einstellungen
Die folgende Tabelle zeigt die Einstellungen, mit denen Feed-Exporte konfiguriert werden können.
| Sr.Nr. | Einstellung & Beschreibung |
|---|---|
| 1 | FEED_URI Dies ist der URI des Export-Feeds, der zum Aktivieren des Feed-Exports verwendet wird. |
| 2 | FEED_FORMAT Es ist ein Serialisierungsformat, das für den Feed verwendet wird. |
| 3 | FEED_EXPORT_FIELDS Es wird zum Definieren von Feldern verwendet, die exportiert werden müssen. |
| 4 | FEED_STORE_EMPTY Es definiert, ob Feeds ohne Elemente exportiert werden sollen. |
| 5 | FEED_STORAGES Es ist ein Wörterbuch mit zusätzlichen Feed-Backends. |
| 6 | FEED_STORAGES_BASE Es ist ein Wörterbuch mit integrierten Feed-Backends. |
| 7 | FEED_EXPORTERS Es ist ein Wörterbuch mit zusätzlichen Futtermittelexporteuren. |
| 8 | FEED_EXPORTERS_BASE Es ist ein Wörterbuch mit integrierten Futtermittelexporteuren. |