Trị liệu - Dữ liệu được phân loại

Sự miêu tả

Cách tốt nhất để lưu trữ dữ liệu cóp nhặt là sử dụng xuất Nguồn cấp dữ liệu, điều này đảm bảo rằng dữ liệu đang được lưu trữ đúng cách bằng nhiều định dạng tuần tự hóa. Các dòng JSON, JSON, CSV, XML là các định dạng được hỗ trợ sẵn sàng trong các định dạng tuần tự hóa. Dữ liệu có thể được lưu trữ bằng lệnh sau:

scrapy crawl dmoz -o data.json

Lệnh này sẽ tạo ra một data.jsontệp chứa dữ liệu cóp nhặt trong JSON. Kỹ thuật này phù hợp với lượng dữ liệu nhỏ. Nếu phải xử lý một lượng lớn dữ liệu, thì chúng ta có thể sử dụng Đường ống mục. Cũng giống như tệp data.json, tệp dành riêng được thiết lập khi dự án được tạo trongtutorial/pipelines.py.