Scrapy - Koleksi Statistik

Deskripsi

Stats Collector adalah fasilitas yang disediakan oleh Scrapy untuk mengumpulkan stats berupa key / values dan diakses menggunakan Crawler API (Crawler menyediakan akses ke semua komponen core Scrapy). Pengumpul statistik menyediakan satu tabel statistik per laba-laba di mana pengumpul statistik terbuka secara otomatis saat laba-laba membuka dan menutup pengumpul statistik saat laba-laba ditutup.

Penggunaan Kolektor Statistik Umum

Kode berikut mengakses pengumpul statistik menggunakan stats atribut.

class ExtensionThatAccessStats(object): 
   def __init__(self, stats): 
      self.stats = stats  
   
   @classmethod 
   def from_crawler(cls, crawler): 
      return cls(crawler.stats)

Tabel berikut menunjukkan berbagai opsi yang dapat digunakan dengan pengumpul statistik -


stats.set_value('hostname', socket.gethostname())
stats.inc_value('customized_count')
stats.max_value('max_items_scraped', value)
stats.min_value('min_free_memory_percent', value)
stats.get_value('customized_count')
stats.get_stats() {'custom_count': 1, 'start_time': 
datetime.datetime(2009, 7, 14, 21, 47, 28, 977139)}

Sr Tidak	Parameter	Deskripsi
1	`stats.set_value('hostname', socket.gethostname())`	Ini digunakan untuk mengatur nilai statistik.
2	`stats.inc_value('customized_count')`	Ini menambah nilai stat.
3	`stats.max_value('max_items_scraped', value)`	Anda dapat mengatur nilai stat, hanya jika lebih besar dari nilai sebelumnya.
4	`stats.min_value('min_free_memory_percent', value)`	Anda dapat mengatur nilai stat, hanya jika lebih rendah dari nilai sebelumnya.
5	`stats.get_value('customized_count')`	Ini mengambil nilai stat.
6	`stats.get_stats() {'custom_count': 1, 'start_time': datetime.datetime(2009, 7, 14, 21, 47, 28, 977139)}`	Itu mengambil semua statistik

Kolektor Statistik yang Tersedia

Scrapy menyediakan berbagai jenis pengumpul statistik yang dapat diakses menggunakan STATS_CLASS pengaturan.

MemoryStatsCollector

Ini adalah pengumpul Statistik default yang mempertahankan statistik setiap laba-laba yang digunakan untuk mengorek dan data akan disimpan di memori.

class scrapy.statscollectors.MemoryStatsCollector

DummyStatsCollector

Pengumpul statistik ini sangat efisien yang tidak melakukan apa-apa. Ini dapat disetel menggunakan setelan STATS_CLASS dan dapat digunakan untuk menonaktifkan pengumpulan statistik untuk meningkatkan kinerja.

class scrapy.statscollectors.DummyStatsCollector