Scrapy - Xuất khẩu thức ăn chăn nuôi

Sự miêu tả

Xuất nguồn cấp dữ liệu là một phương pháp lưu trữ dữ liệu được thu thập từ các trang web, tạo ra "export file".

Định dạng tuần tự hóa

Sử dụng nhiều định dạng tuần tự hóa và phụ trợ lưu trữ, Xuất nguồn cấp dữ liệu sử dụng Trình xuất mặt hàng và tạo nguồn cấp dữ liệu với các mặt hàng đã được cạo.

Bảng sau đây cho thấy các định dạng được hỗ trợ

Sr.No Định dạng & Mô tả
1

JSON

FEED_FORMAT là json

Exporter được sử dụng là class scrapy.exporters.JsonItemExporter

2

JSON lines

FEED_FROMAT là jsonlines

Exporter được sử dụng là class scrapy.exporters.JsonLinesItemExporter

3

CSV

FEED_FORMAT là CSV

Exporter được sử dụng là class scrapy.exporters.CsvItemExporter

4

XML

FEED_FORMAT là xml

Exporter được sử dụng là class scrapy.exporters.XmlItemExporter

Sử dụng FEED_EXPORTERS cài đặt, các định dạng được hỗ trợ cũng có thể được mở rộng -

Sr.No Định dạng & Mô tả
1

Pickle

FEED_FORMAT là kén chọn

Exporter được sử dụng là class scrapy.exporters.PickleItemExporter

2

Marshal

FEED_FORMAT là thống soái

Exporter được sử dụng là class scrapy.exporters.MarshalItemExporter

Phần phụ trợ lưu trữ

Phần phụ trợ lưu trữ xác định nơi lưu trữ nguồn cấp dữ liệu bằng URI.

Bảng sau hiển thị các phụ trợ lưu trữ được hỗ trợ:

Sr.No Phần phụ trợ và mô tả lưu trữ
1

Local filesystem

Lược đồ URI là tệp và nó được sử dụng để lưu trữ các nguồn cấp dữ liệu.

2

FTP

Lược đồ URI là ftp và nó được sử dụng để lưu trữ các nguồn cấp dữ liệu.

3

S3

Lược đồ URI là S3 và các nguồn cấp dữ liệu được lưu trữ trên Amazon S3. Thư viện bên ngoài botocore hoặc boto là bắt buộc.

4

Standard output

Lược đồ URI là stdout và các nguồn cấp dữ liệu được lưu trữ ở đầu ra tiêu chuẩn.

Tham số URI lưu trữ

Sau đây là các tham số của URL lưu trữ, được thay thế trong khi tạo nguồn cấp dữ liệu -

  • % (time) s: Tham số này được thay thế bằng dấu thời gian.
  • % (name) s: Tham số này được thay thế bằng tên con nhện.

Cài đặt

Bảng sau hiển thị các cài đặt sử dụng có thể định cấu hình xuất Nguồn cấp dữ liệu:

Sr.No Cài đặt & Mô tả
1

FEED_URI

Nó là URI của nguồn cấp dữ liệu xuất được sử dụng để cho phép xuất nguồn cấp dữ liệu.

2

FEED_FORMAT

Đây là một định dạng tuần tự hóa được sử dụng cho nguồn cấp dữ liệu.

3

FEED_EXPORT_FIELDS

Nó được sử dụng để xác định các trường cần được xuất.

4

FEED_STORE_EMPTY

Nó xác định có xuất các nguồn cấp dữ liệu mà không có mục nào hay không.

5

FEED_STORAGES

Nó là một từ điển với các phụ trợ lưu trữ nguồn cấp dữ liệu bổ sung.

6

FEED_STORAGES_BASE

Nó là một từ điển với phần phụ trợ lưu trữ nguồn cấp dữ liệu được tích hợp sẵn.

7

FEED_EXPORTERS

Nó là một từ điển với các nhà xuất khẩu nguồn cấp dữ liệu bổ sung.

số 8

FEED_EXPORTERS_BASE

Nó là một từ điển với các trình xuất nguồn cấp dữ liệu được tích hợp sẵn.