Scrapy - определение предмета

Описание

Элементы - это контейнеры, используемые для сбора данных, которые удаляются с веб-сайтов. Вы должны запустить своего паука, указав свой предмет. Чтобы определить элементы, отредактируйтеitems.py файл найден в каталоге first_scrapy(пользовательский каталог). В items.py выглядит следующим образом -

import scrapy  

class First_scrapyItem(scrapy.Item): 
   # define the fields for your item here like: 
      # name = scrapy.Field()

Класс MyItem наследуется от Item, содержащего ряд предопределенных объектов, которые Scrapy уже создал для нас. Например, если вы хотите извлечь с сайтов имя, URL-адрес и описание, вам необходимо определить поля для каждого из этих трех атрибутов.

Следовательно, давайте добавим те предметы, которые мы хотим собрать -

from scrapy.item import Item, Field  

class First_scrapyItem(scrapy.Item): 
   name = scrapy.Field() 
   url = scrapy.Field() 
   desc = scrapy.Field()