Scrapy - Tarama
Açıklama
Örümceğinizi çalıştırmak için, first_scrapy dizininizde aşağıdaki komutu çalıştırın -
scrapy crawl firstNerede, first örümcek yaratılırken belirtilen örümceğin adıdır.
Örümcek tarandığında, aşağıdaki çıktıyı görebilirsiniz -
2016-08-09 18:13:07-0400 [scrapy] INFO: Scrapy started (bot: tutorial)
2016-08-09 18:13:07-0400 [scrapy] INFO: Optional features available: ...
2016-08-09 18:13:07-0400 [scrapy] INFO: Overridden settings: {}
2016-08-09 18:13:07-0400 [scrapy] INFO: Enabled extensions: ...
2016-08-09 18:13:07-0400 [scrapy] INFO: Enabled downloader middlewares: ...
2016-08-09 18:13:07-0400 [scrapy] INFO: Enabled spider middlewares: ...
2016-08-09 18:13:07-0400 [scrapy] INFO: Enabled item pipelines: ...
2016-08-09 18:13:07-0400 [scrapy] INFO: Spider opened
2016-08-09 18:13:08-0400 [scrapy] DEBUG: Crawled (200)
<GET http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> (referer: None)
2016-08-09 18:13:09-0400 [scrapy] DEBUG: Crawled (200)
<GET http://www.dmoz.org/Computers/Programming/Languages/Python/Books/> (referer: None)
2016-08-09 18:13:09-0400 [scrapy] INFO: Closing spider (finished)Çıktıda görebileceğiniz gibi, her URL için , URL'lerin başlangıç URL'leri olduğunu ve yönlendirenleri olmadığını belirten bir günlük satırı vardır (referer: None) . Daha sonra, first_scrapy dizininizde Books.html ve Resources.html adlı iki yeni dosyanın oluşturulduğunu görmelisiniz .