Scrapy - การส่งออกอาหารสัตว์
คำอธิบาย
การส่งออกฟีดเป็นวิธีการจัดเก็บข้อมูลที่คัดลอกมาจากไซต์ซึ่งสร้างไฟล์ "export file".
รูปแบบอนุกรม
การใช้รูปแบบการทำให้เป็นอนุกรมและแบ็กเอนด์การจัดเก็บหลายรูปแบบการส่งออกฟีดใช้ตัวส่งออกสินค้าและสร้างฟีดด้วยรายการที่คัดลอก
ตารางต่อไปนี้แสดงรูปแบบที่รองรับ
| ซีเนียร์ No | รูปแบบและคำอธิบาย |
|---|---|
| 1 | JSON FEED_FORMAT คือjson เอ็กซ์พอร์ตที่ใช้คือคลาส scrapy.exporters.JsonItemExporter |
| 2 | JSON lines FEED_FROMAT เป็นjsonlines เอ็กซ์พอร์ตที่ใช้คือคลาส scrapy.exporters.JsonLinesItemExporter |
| 3 | CSV FEED_FORMAT เป็นCSV เอ็กซ์พอร์ตที่ใช้คือคลาส scrapy.exporters.CsvItemExporter |
| 4 | XML FEED_FORMAT คือxml เอ็กซ์พอร์ตที่ใช้คือคลาส scrapy.exporters.XmlItemExporter |
การใช้ FEED_EXPORTERS การตั้งค่ารูปแบบที่รองรับยังสามารถขยายได้ -
| ซีเนียร์ No | รูปแบบและคำอธิบาย |
|---|---|
| 1 | Pickle FEED_FORMAT คือผักดอง Exporter ที่ใช้คือclass scrapy.exporters.PickleItemExporter |
| 2 | Marshal FEED_FORMAT เป็นจอมพล เอ็กซ์พอร์ตที่ใช้คือคลาส scrapy.exporters.MarshalItemExporter |
แบ็คเอนด์การจัดเก็บ
แบ็กเอนด์พื้นที่เก็บข้อมูลกำหนดตำแหน่งที่จะจัดเก็บฟีดโดยใช้ URI
ตารางต่อไปนี้แสดงแบ็กเอนด์หน่วยเก็บข้อมูลที่รองรับ -
| ซีเนียร์ No | แบ็กเอนด์การจัดเก็บและคำอธิบาย |
|---|---|
| 1 | Local filesystem URI Scheme เป็นไฟล์และใช้เพื่อจัดเก็บฟีด |
| 2 | FTP URI Scheme คือftpและใช้เพื่อจัดเก็บฟีด |
| 3 | S3 URI Scheme คือS3และฟีดจะถูกเก็บไว้ใน Amazon S3 จำเป็นต้องใช้ไลบรารีภายนอกbotocoreหรือboto |
| 4 | Standard output โครงร่าง URI เป็นstdoutและฟีดจะถูกเก็บไว้ในเอาต์พุตมาตรฐาน |
พารามิเตอร์ URI ที่เก็บข้อมูล
ต่อไปนี้เป็นพารามิเตอร์ของ URL ที่เก็บข้อมูลซึ่งจะถูกแทนที่ในขณะที่กำลังสร้างฟีด -
- % (เวลา) s: พารามิเตอร์นี้ถูกแทนที่ด้วยการประทับเวลา
- % (name) s: พารามิเตอร์นี้ถูกแทนที่ด้วยชื่อแมงมุม
การตั้งค่า
ตารางต่อไปนี้แสดงการตั้งค่าที่ใช้กำหนดค่าการส่งออกฟีด -
| ซีเนียร์ No | การตั้งค่าและคำอธิบาย |
|---|---|
| 1 | FEED_URI เป็น URI ของฟีดการส่งออกที่ใช้เพื่อเปิดใช้งานการส่งออกฟีด |
| 2 | FEED_FORMAT เป็นรูปแบบการทำให้เป็นอนุกรมที่ใช้สำหรับฟีด |
| 3 | FEED_EXPORT_FIELDS ใช้สำหรับกำหนดเขตข้อมูลที่ต้องส่งออก |
| 4 | FEED_STORE_EMPTY กำหนดว่าจะส่งออกฟีดโดยไม่มีรายการหรือไม่ |
| 5 | FEED_STORAGES เป็นพจนานุกรมที่มีแบ็กเอนด์การจัดเก็บฟีดเพิ่มเติม |
| 6 | FEED_STORAGES_BASE เป็นพจนานุกรมที่มีแบ็กเอนด์การจัดเก็บฟีดในตัว |
| 7 | FEED_EXPORTERS เป็นพจนานุกรมที่มีผู้ส่งออกฟีดเพิ่มเติม |
| 8 | FEED_EXPORTERS_BASE เป็นพจนานุกรมที่มีตัวส่งออกฟีดในตัว |