Scrapy-フィードのエクスポート

フィードのエクスポートは、サイトから取得したデータを保存する方法であり、 "export file"。

シリアル化フォーマット

複数のシリアル化形式とストレージバックエンドを使用して、フィードエクスポートはアイテムエクスポーターを使用し、スクレイプされたアイテムを含むフィードを生成します。

次の表に、サポートされている形式を示します-

シニア番号	フォーマットと説明
1	JSON FEED_FORMATはjsonです使用されるエクスポーターはクラスscrapy.exporters.JsonItemExporterです
2	JSON lines FEED_FROMATはjsonlinesです使用されるエクスポーターはクラスscrapy.exporters.JsonLinesItemExporterです
3	CSV FEED_FORMATはCSVです使用されるエクスポーターはクラスscrapy.exporters.CsvItemExporterです
4	XML FEED_FORMATはxmlです使用されるエクスポーターはクラスscrapy.exporters.XmlItemExporterです

使用する FEED_EXPORTERS 設定では、サポートされている形式も拡張できます-

シニア番号	フォーマットと説明
1	Pickle FEED_FORMATはピッケルです使用されるエクスポーターはクラスscrapy.exporters.PickleItemExporterです
2	Marshal FEED_FORMATはマーシャルです使用されるエクスポーターはクラスscrapy.exporters.MarshalItemExporterです

ストレージバックエンドは、URIを使用してフィードを保存する場所を定義します。

次の表は、サポートされているストレージバックエンドを示しています-

シニア番号	ストレージバックエンドと説明
1	Local filesystem URIスキームはファイルであり、フィードを保存するために使用されます。
2	FTP URIスキームはftpであり、フィードを保存するために使用されます。
3	S3 URIスキームはS3であり、フィードはAmazonS3に保存されます。外部ライブラリbotocoreまたはbotoが必要です。
4	Standard output URIスキームは標準出力であり、フィードは標準出力に保存されます。

以下は、フィードの作成中に置き換えられるストレージURLのパラメーターです-

次の表は、フィードのエクスポートを構成できる設定を示しています。

シニア番号	設定と説明
1	FEED_URI これは、フィードのエクスポートを有効にするために使用されるエクスポートフィードのURIです。
2	FEED_FORMAT フィードに使用されるシリアル化形式です。
3	FEED_EXPORT_FIELDS エクスポートする必要のあるフィールドを定義するために使用されます。
4	FEED_STORE_EMPTY アイテムのないフィードをエクスポートするかどうかを定義します。
5	FEED_STORAGES これは、追加のフィードストレージバックエンドを備えた辞書です。
6	FEED_STORAGES_BASE これは、フィードストレージバックエンドが組み込まれた辞書です。
7	FEED_EXPORTERS これは、追加のフィードエクスポーターを備えた辞書です。
8	FEED_EXPORTERS_BASE フィードエクスポーターが組み込まれた辞書です。