Scrapy - Yem ihracatı
Açıklama
Yem dışa aktarımı, sitelerden alınan verilerin depolanması için bir yöntemdir; "export file".
Serileştirme Biçimleri
Çoklu serileştirme formatları ve depolama arka uçları kullanan Feed Exports, Öğe dışa aktarıcılarını kullanır ve kopyalanmış öğeler içeren bir feed oluşturur.
Aşağıdaki tablo desteklenen formatları göstermektedir−
| Sr.No | Biçim ve Açıklama |
|---|---|
| 1 | JSON FEED_FORMAT, json Kullanılan dışa aktarıcı , scrapy.exporters.JsonItemExporter sınıfıdır |
| 2 | JSON lines FEED_FROMAT, jsonlines'dır Kullanılan dışa aktarıcı , scrapy.exporters.JsonLinesItemExporter sınıfıdır |
| 3 | CSV FEED_FORMAT olan CSV Kullanılan ihracatçı, scrapy.exporters.CsvItemExporter sınıfıdır |
| 4 | XML FEED_FORMAT olan xml Kullanılan dışa aktarıcı , scrapy.exporters.XmlItemExporter sınıfıdır |
Kullanma FEED_EXPORTERS ayarlar, desteklenen formatlar da genişletilebilir -
| Sr.No | Biçim ve Açıklama |
|---|---|
| 1 | Pickle FEED_FORMAT seçici Kullanılan ihracatçı, scrapy.exporters.PickleItemExporter sınıfıdır |
| 2 | Marshal FEED_FORMAT mareşal Kullanılan ihracatçı, sınıf scrapy.exporters.MarshalItemExporter'dır |
Depolama Arka Uçları
Depolama arka ucu, URI kullanılarak feed'in nerede depolanacağını tanımlar.
Aşağıdaki tablo desteklenen depolama arka uçlarını göstermektedir -
| Sr.No | Depolama Arka Ucu ve Açıklaması |
|---|---|
| 1 | Local filesystem URI şeması dosyadır ve beslemeleri depolamak için kullanılır. |
| 2 | FTP URI şeması ftp'dir ve beslemeleri depolamak için kullanılır. |
| 3 | S3 URI şeması S3'tür ve beslemeler Amazon S3'te depolanır. Dış kütüphaneler botocore veya boto gereklidir. |
| 4 | Standard output URI düzeni stdout'u ve yemler standart çıkışa saklanır. |
Depolama URI Parametreleri
Aşağıda, özet akışı oluşturulurken değiştirilen depolama URL'si parametreleri verilmiştir -
- % (zaman) s: Bu parametrenin yerini bir zaman damgası alır.
- % (ad) s: Bu parametre örümcek adı ile değiştirilir.
Ayarlar
Aşağıdaki tablo, hangi Feed dışa aktarımlarının yapılandırılabileceği kullanılarak ayarları gösterir -
| Sr.No | Ayar ve Açıklama |
|---|---|
| 1 | FEED_URI Feed dışa aktarımlarını etkinleştirmek için kullanılan dışa aktarma feed'inin URI'sıdır. |
| 2 | FEED_FORMAT Feed için kullanılan bir serileştirme formatıdır. |
| 3 | FEED_EXPORT_FIELDS Dışa aktarılması gereken alanları tanımlamak için kullanılır. |
| 4 | FEED_STORE_EMPTY Öğe içermeyen yayınların dışa aktarılıp aktarılmayacağını tanımlar. |
| 5 | FEED_STORAGES Ek besleme depolama arka uçlarına sahip bir sözlüktür. |
| 6 | FEED_STORAGES_BASE Yerleşik besleme depolama arka uçlarına sahip bir sözlüktür. |
| 7 | FEED_EXPORTERS Ek yem ihracatçıları içeren bir sözlüktür. |
| 8 | FEED_EXPORTERS_BASE Yerleşik yem ihracatçıları olan bir sözlüktür. |