Scrapy - Xuất khẩu thức ăn chăn nuôi
Sự miêu tả
Xuất nguồn cấp dữ liệu là một phương pháp lưu trữ dữ liệu được thu thập từ các trang web, tạo ra "export file".
Định dạng tuần tự hóa
Sử dụng nhiều định dạng tuần tự hóa và phụ trợ lưu trữ, Xuất nguồn cấp dữ liệu sử dụng Trình xuất mặt hàng và tạo nguồn cấp dữ liệu với các mặt hàng đã được cạo.
Bảng sau đây cho thấy các định dạng được hỗ trợ
| Sr.No | Định dạng & Mô tả |
|---|---|
| 1 | JSON FEED_FORMAT là json Exporter được sử dụng là class scrapy.exporters.JsonItemExporter |
| 2 | JSON lines FEED_FROMAT là jsonlines Exporter được sử dụng là class scrapy.exporters.JsonLinesItemExporter |
| 3 | CSV FEED_FORMAT là CSV Exporter được sử dụng là class scrapy.exporters.CsvItemExporter |
| 4 | XML FEED_FORMAT là xml Exporter được sử dụng là class scrapy.exporters.XmlItemExporter |
Sử dụng FEED_EXPORTERS cài đặt, các định dạng được hỗ trợ cũng có thể được mở rộng -
| Sr.No | Định dạng & Mô tả |
|---|---|
| 1 | Pickle FEED_FORMAT là kén chọn Exporter được sử dụng là class scrapy.exporters.PickleItemExporter |
| 2 | Marshal FEED_FORMAT là thống soái Exporter được sử dụng là class scrapy.exporters.MarshalItemExporter |
Phần phụ trợ lưu trữ
Phần phụ trợ lưu trữ xác định nơi lưu trữ nguồn cấp dữ liệu bằng URI.
Bảng sau hiển thị các phụ trợ lưu trữ được hỗ trợ:
| Sr.No | Phần phụ trợ và mô tả lưu trữ |
|---|---|
| 1 | Local filesystem Lược đồ URI là tệp và nó được sử dụng để lưu trữ các nguồn cấp dữ liệu. |
| 2 | FTP Lược đồ URI là ftp và nó được sử dụng để lưu trữ các nguồn cấp dữ liệu. |
| 3 | S3 Lược đồ URI là S3 và các nguồn cấp dữ liệu được lưu trữ trên Amazon S3. Thư viện bên ngoài botocore hoặc boto là bắt buộc. |
| 4 | Standard output Lược đồ URI là stdout và các nguồn cấp dữ liệu được lưu trữ ở đầu ra tiêu chuẩn. |
Tham số URI lưu trữ
Sau đây là các tham số của URL lưu trữ, được thay thế trong khi tạo nguồn cấp dữ liệu -
- % (time) s: Tham số này được thay thế bằng dấu thời gian.
- % (name) s: Tham số này được thay thế bằng tên con nhện.
Cài đặt
Bảng sau hiển thị các cài đặt sử dụng có thể định cấu hình xuất Nguồn cấp dữ liệu:
| Sr.No | Cài đặt & Mô tả |
|---|---|
| 1 | FEED_URI Nó là URI của nguồn cấp dữ liệu xuất được sử dụng để cho phép xuất nguồn cấp dữ liệu. |
| 2 | FEED_FORMAT Đây là một định dạng tuần tự hóa được sử dụng cho nguồn cấp dữ liệu. |
| 3 | FEED_EXPORT_FIELDS Nó được sử dụng để xác định các trường cần được xuất. |
| 4 | FEED_STORE_EMPTY Nó xác định có xuất các nguồn cấp dữ liệu mà không có mục nào hay không. |
| 5 | FEED_STORAGES Nó là một từ điển với các phụ trợ lưu trữ nguồn cấp dữ liệu bổ sung. |
| 6 | FEED_STORAGES_BASE Nó là một từ điển với phần phụ trợ lưu trữ nguồn cấp dữ liệu được tích hợp sẵn. |
| 7 | FEED_EXPORTERS Nó là một từ điển với các nhà xuất khẩu nguồn cấp dữ liệu bổ sung. |
| số 8 | FEED_EXPORTERS_BASE Nó là một từ điển với các trình xuất nguồn cấp dữ liệu được tích hợp sẵn. |