Scrapy - Merangkak

Deskripsi

Untuk mengeksekusi spider Anda, jalankan perintah berikut dalam direktori first_scrapy Anda -

scrapy crawl first

Dimana, first adalah nama laba-laba yang ditentukan saat membuat laba-laba.

Setelah laba-laba merayap, Anda dapat melihat keluaran berikut -

2016-08-09 18:13:07-0400 [scrapy] INFO: Scrapy started (bot: tutorial)
2016-08-09 18:13:07-0400 [scrapy] INFO: Optional features available: ...
2016-08-09 18:13:07-0400 [scrapy] INFO: Overridden settings: {}
2016-08-09 18:13:07-0400 [scrapy] INFO: Enabled extensions: ...
2016-08-09 18:13:07-0400 [scrapy] INFO: Enabled downloader middlewares: ...
2016-08-09 18:13:07-0400 [scrapy] INFO: Enabled spider middlewares: ...
2016-08-09 18:13:07-0400 [scrapy] INFO: Enabled item pipelines: ...
2016-08-09 18:13:07-0400 [scrapy] INFO: Spider opened
2016-08-09 18:13:08-0400 [scrapy] DEBUG: Crawled (200) 
<GET http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> (referer: None)
2016-08-09 18:13:09-0400 [scrapy] DEBUG: Crawled (200) 
<GET http://www.dmoz.org/Computers/Programming/Languages/Python/Books/> (referer: None)
2016-08-09 18:13:09-0400 [scrapy] INFO: Closing spider (finished)

Seperti yang Anda lihat di keluaran, untuk setiap URL ada baris log yang (referer: None) menyatakan bahwa URL adalah URL awal dan tidak memiliki perujuk. Selanjutnya, Anda akan melihat dua file baru bernama Books.html dan Resources.html dibuat di direktori first_scrapy Anda .