Scrapy - ลิงค์ต่อไปนี้

คำอธิบาย

ในบทนี้เราจะศึกษาวิธีแยกลิงค์ของหน้าที่เราสนใจติดตามและดึงข้อมูลจากหน้านั้น สำหรับสิ่งนี้เราจำเป็นต้องทำการเปลี่ยนแปลงต่อไปนี้ในรหัสก่อนหน้าของเราที่แสดงดังนี้ -

import scrapy
from tutorial.items import DmozItem

class MyprojectSpider(scrapy.Spider):
   name = "project"
   allowed_domains = ["dmoz.org"]
   
   start_urls = [
      "http://www.dmoz.org/Computers/Programming/Languages/Python/",
   ]
   def parse(self, response):
      for href in response.css("ul.directory.dir-col > li > a::attr('href')"):
         url = response.urljoin(href.extract())
            yield scrapy.Request(url, callback = self.parse_dir_contents)

   def parse_dir_contents(self, response):
      for sel in response.xpath('//ul/li'):
         item = DmozItem()
         item['title'] = sel.xpath('a/text()').extract()
         item['link'] = sel.xpath('a/@href').extract()
         item['desc'] = sel.xpath('text()').extract()
         yield item

โค้ดด้านบนประกอบด้วยวิธีการดังต่อไปนี้ -

• parse() - มันจะดึงลิงค์ที่เราสนใจ

• response.urljoin - เมธอด parse () จะใช้เมธอดนี้เพื่อสร้าง url ใหม่และส่งคำขอใหม่ซึ่งจะถูกส่งไปในภายหลังเพื่อโทรกลับ

• parse_dir_contents() - นี่คือการโทรกลับซึ่งจะขูดข้อมูลที่สนใจออกไป

ที่นี่ Scrapy ใช้กลไกการโทรกลับเพื่อติดตามลิงก์ เมื่อใช้กลไกนี้โปรแกรมรวบรวมข้อมูลที่ใหญ่กว่าสามารถออกแบบได้และสามารถติดตามลิงก์ที่สนใจเพื่อขูดข้อมูลที่ต้องการจากหน้าต่างๆ วิธีการปกติจะเป็นวิธีการโทรกลับซึ่งจะแยกรายการค้นหาลิงก์เพื่อติดตามหน้าถัดไปจากนั้นให้คำขอสำหรับการโทรกลับเดียวกัน

ตัวอย่างต่อไปนี้สร้างลูปซึ่งจะตามลิงค์ไปยังหน้าถัดไป

def parse_articles_follow_next_page(self, response):
   for article in response.xpath("//article"):
      item = ArticleItem()
    
      ... extract article data here

      yield item

   next_page = response.css("ul.navigation > li.next-page > a::attr('href')")
   if next_page:
      url = response.urljoin(next_page[0].extract())
      yield scrapy.Request(url, self.parse_articles_follow_next_page)