Scrapy - Kopyalanmış Veriler

Açıklama

Alınan verileri depolamanın en iyi yolu, verilerin birden çok serileştirme biçimi kullanılarak düzgün şekilde depolanmasını sağlayan Feed dışa aktarımlarını kullanmaktır. JSON, JSON satırları, CSV, XML, serileştirme formatlarında kolaylıkla desteklenen formatlardır. Veriler aşağıdaki komutla saklanabilir -

scrapy crawl dmoz -o data.json

Bu komut bir data.jsonJSON'da alınmış verileri içeren dosya. Bu teknik, az miktarda veri için iyidir. Büyük miktarda verinin işlenmesi gerekiyorsa, Item Pipeline kullanabiliriz. Tıpkı data.json dosyası gibi, proje oluşturulduğunda ayrılmış bir dosya ayarlanır.tutorial/pipelines.py.