Scrapy - Narzędzia wiersza poleceń

Opis

Narzędzie wiersza poleceń Scrapy służy do kontrolowania Scrapy, co często jest nazywane 'Scrapy tool'. Zawiera polecenia dla różnych obiektów z grupą argumentów i opcji.

Ustawienia konfiguracji

Scrapy znajdzie ustawienia konfiguracyjne w scrapy.cfgplik. Oto kilka lokalizacji -

C: \ scrapy (folder projektu) \ scrapy.cfg w systemie
~ / .config / scrapy.cfg ($ XDG_CONFIG_HOME) i ~ / .scrapy.cfg ($ HOME) dla ustawień globalnych
Możesz znaleźć scrapy.cfg w katalogu głównym projektu.

Scrapy można również skonfigurować przy użyciu następujących zmiennych środowiskowych -

SCRAPY_SETTINGS_MODULE
SCRAPY_PROJECT
SCRAPY_PYTHON_SHELL

Domyślny projekt złomowania struktury

Poniższa struktura przedstawia domyślną strukturę plików projektu Scrapy.

scrapy.cfg                - Deploy the configuration file
project_name/             - Name of the project
   _init_.py
   items.py               - It is project's items file
   pipelines.py           - It is project's pipelines file
   settings.py            - It is project's settings file
   spiders                - It is the spiders directory
      _init_.py
      spider_name.py
      . . .

Plik scrapy.cfgplik to katalog główny projektu, który zawiera nazwę projektu z ustawieniami projektu. Na przykład -

[settings] 
default = [name of the project].settings  

[deploy] 
#url = http://localhost:6800/ 
project = [name of the project]

Korzystanie z narzędzia Scrapy

Narzędzie Scrapy zapewnia niektóre zastosowania i dostępne polecenia w następujący sposób -

Scrapy X.Y  - no active project 
Usage: 
   scrapy  [options] [arguments] 
Available commands: 
   crawl      It puts spider (handle the URL) to work for crawling data 
   fetch      It fetches the response from the given URL

Tworzenie projektu

Możesz użyć następującego polecenia, aby utworzyć projekt w Scrapy -

scrapy startproject project_name

Spowoduje to utworzenie projektu o nazwie project_nameinformator. Następnie przejdź do nowo utworzonego projektu, używając następującego polecenia -

cd  project_name

Kontrolowanie projektów

Możesz kontrolować projekt i zarządzać nim za pomocą narzędzia Scrapy, a także stworzyć nowego pająka, używając następującego polecenia -

scrapy genspider mydomain mydomain.com

Polecenia takie jak indeksowanie itp. Muszą być używane w projekcie Scrapy. W następnej sekcji dowiesz się, które polecenia muszą być uruchamiane w projekcie Scrapy.

Scrapy zawiera kilka wbudowanych poleceń, których można użyć w projekcie. Aby zobaczyć listę dostępnych poleceń, użyj następującego polecenia -

scrapy -h

Po uruchomieniu następującego polecenia Scrapy wyświetli listę dostępnych poleceń w postaci listy -

fetch - Pobiera adres URL za pomocą narzędzia do pobierania Scrapy.
runspider - Służy do uruchamiania samodzielnego pająka bez tworzenia projektu.
settings - Określa wartość ustawienia projektu.
shell - Jest to interaktywny moduł do skrobania podanego adresu URL.
startproject - Tworzy nowy projekt Scrapy.
version - Wyświetla wersję Scrapy.
view - Pobiera adres URL za pomocą narzędzia do pobierania Scrapy i wyświetla zawartość w przeglądarce.

Na liście może znajdować się kilka poleceń związanych z projektem -

crawl - Służy do indeksowania danych za pomocą pająka.
check - Sprawdza elementy zwrócone przez przeszukane polecenie.
list - Wyświetla listę dostępnych pająków obecnych w projekcie.
edit - Możesz edytować pająki za pomocą edytora.
parse - Analizuje podany adres URL za pomocą pająka.
bench - Służy do uruchamiania szybkiego testu porównawczego (Benchmark mówi, ile stron może zostać zindeksowanych na minutę przez Scrapy).

Niestandardowe polecenia projektu

Możesz zbudować niestandardowe polecenie projektu za pomocą COMMANDS_MODULEustawienie w projekcie Scrapy. Zawiera domyślny pusty ciąg w ustawieniu. Możesz dodać następujące niestandardowe polecenie -

COMMANDS_MODULE = 'mycmd.commands'

Polecenia Scrapy można dodać za pomocą sekcji scrapy.commands w pliku setup.py pokazanym w następujący sposób -

from setuptools import setup, find_packages  

setup(name = 'scrapy-module_demo', 
   entry_points = { 
      'scrapy.commands': [ 
         'cmd_demo = my_module.commands:CmdDemo', 
      ], 
   }, 
)

Powyższy kod dodaje cmd_demo polecenie w setup.py plik.