Scrapy - Genel Bakış

Scrapy, Python'da yazılmış hızlı, açık kaynaklı bir web tarama çerçevesidir ve XPath tabanlı seçiciler yardımıyla web sayfasından verileri çıkarmak için kullanılır.

Scrapy ilk olarak 26 Haziran 2008'de BSD lisansı altında piyasaya sürüldü ve 1.0 kilometre taşı Haziran 2015'te yayınlandı.

Neden Scrapy Kullanmalı?

Büyük tarama projeleri oluşturmak ve ölçeklendirmek daha kolaydır.
Web sitelerinden veri çıkarmak için Selektörler adı verilen yerleşik bir mekanizmaya sahiptir.
İstekleri asenkron olarak ele alır ve hızlıdır.
Otomatik kısma mekanizmasını kullanarak tarama hızını otomatik olarak ayarlar .
Geliştirici erişilebilirliğini sağlar.

Scrapy'nin Özellikleri

Scrapy açık kaynak kodlu ve web tarama çerçevesini kullanmak için ücretsiz.
Scrapy, JSON, CSV ve XML gibi formatlarda besleme dışa aktarımı oluşturur.
Scrapy, kaynaklardan XPath veya CSS ifadeleri ile veri seçmek ve çıkarmak için yerleşik desteğe sahiptir.
Tarayıcı tabanlı hurda, web sayfalarından otomatik olarak veri alınmasına izin verir.

Avantajlar

Scrapy kolayca genişletilebilir, hızlı ve güçlüdür.
Platformlar arası bir uygulama çerçevesidir (Windows, Linux, Mac OS ve BSD).
Önemsiz talepler zaman uyumsuz olarak planlanır ve işlenir.
Scrapy, adı verilen yerleşik hizmetle birlikte gelir Scrapyd JSON web hizmetini kullanarak proje yüklemeye ve örümcekleri kontrol etmeye izin verir.
Herhangi bir web sitesini hurdaya çıkarmak mümkündür, ancak o web sitesinde ham veri erişimi için API bulunmaz.

Dezavantajları

Scrapy yalnızca Python 2.7 içindir. +
Farklı işletim sistemleri için kurulum farklıdır.