Scrapy-統計コレクション

説明

Stats Collectorは、キー/値の形式で統計を収集するためにScrapyによって提供される機能であり、Crawler APIを使用してアクセスされます（CrawlerはすべてのScrapyコアコンポーネントへのアクセスを提供します）。統計コレクターは、スパイダーごとに1つの統計テーブルを提供します。このテーブルでは、スパイダーが開いているときに統計コレクターが自動的に開き、スパイダーが閉じているときに統計コレクターが閉じます。

一般的な統計コレクターの使用

次のコードは、を使用して統計コレクターにアクセスします stats 属性。

class ExtensionThatAccessStats(object): 
   def __init__(self, stats): 
      self.stats = stats  
   
   @classmethod 
   def from_crawler(cls, crawler): 
      return cls(crawler.stats)

次の表は、統計コレクターで使用できるさまざまなオプションを示しています。


stats.set_value('hostname', socket.gethostname())
stats.inc_value('customized_count')
stats.max_value('max_items_scraped', value)
stats.min_value('min_free_memory_percent', value)
stats.get_value('customized_count')
stats.get_stats() {'custom_count': 1, 'start_time': 
datetime.datetime(2009, 7, 14, 21, 47, 28, 977139)}

シニア番号	パラメーター	説明
1	`stats.set_value('hostname', socket.gethostname())`	統計値を設定するために使用されます。
2	`stats.inc_value('customized_count')`	統計値をインクリメントします。
3	`stats.max_value('max_items_scraped', value)`	以前の値よりも大きい場合にのみ、統計値を設定できます。
4	`stats.min_value('min_free_memory_percent', value)`	以前の値よりも低い場合にのみ、統計値を設定できます。
5	`stats.get_value('customized_count')`	統計値を取得します。
6	`stats.get_stats() {'custom_count': 1, 'start_time': datetime.datetime(2009, 7, 14, 21, 47, 28, 977139)}`	それはすべての統計をフェッチします

利用可能な統計コレクター

Scrapyは、を使用してアクセスできるさまざまなタイプの統計コレクターを提供します。 STATS_CLASS 設定。

MemoryStatsCollector

これは、スクレイピングに使用されたすべてのスパイダーの統計を維持するデフォルトの統計コレクターであり、データはメモリに保存されます。

class scrapy.statscollectors.MemoryStatsCollector

DummyStatsCollector

この統計コレクターは非常に効率的で、何もしません。これは、STATS_CLASS設定を使用して設定でき、パフォーマンスを向上させるために統計収集を無効にするために使用できます。

class scrapy.statscollectors.DummyStatsCollector