Scrapy - Сбор статистики

Описание

Сборщик статистики - это средство, предоставляемое Scrapy для сбора статистики в форме ключей / значений, и доступ к нему осуществляется с помощью API Crawler (Crawler обеспечивает доступ ко всем основным компонентам Scrapy). Сборщик статистики предоставляет одну таблицу статистики для каждого паука, в которой сборщик статистики открывается автоматически, когда паук открывается, и закрывает сборщик статистики, когда паук закрыт.

Обычное использование сборщика статистики

Следующий код обращается к сборщику статистики с помощью stats атрибут.

class ExtensionThatAccessStats(object): 
   def __init__(self, stats): 
      self.stats = stats  
   
   @classmethod 
   def from_crawler(cls, crawler): 
      return cls(crawler.stats)

В следующей таблице показаны различные параметры, которые можно использовать со сборщиком статистики -


stats.set_value('hostname', socket.gethostname())
stats.inc_value('customized_count')
stats.max_value('max_items_scraped', value)
stats.min_value('min_free_memory_percent', value)
stats.get_value('customized_count')
stats.get_stats() {'custom_count': 1, 'start_time': 
datetime.datetime(2009, 7, 14, 21, 47, 28, 977139)}

Старший Нет	Параметры	Описание
1	`stats.set_value('hostname', socket.gethostname())`	Он используется для установки значения статистики.
2	`stats.inc_value('customized_count')`	Увеличивает значение характеристики.
3	`stats.max_value('max_items_scraped', value)`	Вы можете установить значение статистики, только если оно больше предыдущего.
4	`stats.min_value('min_free_memory_percent', value)`	Вы можете установить значение статистики, только если оно ниже предыдущего значения.
5	`stats.get_value('customized_count')`	Он получает значение статистики.
6	`stats.get_stats() {'custom_count': 1, 'start_time': datetime.datetime(2009, 7, 14, 21, 47, 28, 977139)}`	Он получает всю статистику

Доступные сборщики статистики

Scrapy предоставляет различные типы сборщиков статистики, к которым можно получить доступ с помощью STATS_CLASS настройка.

MemoryStatsCollector

Это сборщик статистики по умолчанию, который поддерживает статистику каждого паука, который использовался для очистки, и данные будут храниться в памяти.

class scrapy.statscollectors.MemoryStatsCollector

DummyStatsCollector

Этот сборщик статистики очень эффективен и ничего не делает. Это можно установить с помощью параметра STATS_CLASS и можно использовать для отключения сбора статистики с целью повышения производительности.

class scrapy.statscollectors.DummyStatsCollector