Scrapy-コマンドラインツール

説明

Scrapyコマンドラインツールは、Scrapyを制御するために使用されます。 'Scrapy tool'。これには、引数とオプションのグループを持つさまざまなオブジェクトのコマンドが含まれています。

構成設定

Scrapyは、構成設定を scrapy.cfgファイル。以下はいくつかの場所です-

システム内のC：\ scrapy（プロジェクトフォルダー）\ scrapy.cfg
グローバル設定の場合は〜/ .config / scrapy.cfg（$ XDG_CONFIG_HOME）および〜/ .scrapy.cfg（$ HOME）
プロジェクトのルート内にscrapy.cfgがあります。

Scrapyは、次の環境変数を使用して構成することもできます-

SCRAPY_SETTINGS_MODULE
SCRAPY_PROJECT
SCRAPY_PYTHON_SHELL

デフォルトの構造Scrapyプロジェクト

次の構造は、Scrapyプロジェクトのデフォルトのファイル構造を示しています。

scrapy.cfg                - Deploy the configuration file
project_name/             - Name of the project
   _init_.py
   items.py               - It is project's items file
   pipelines.py           - It is project's pipelines file
   settings.py            - It is project's settings file
   spiders                - It is the spiders directory
      _init_.py
      spider_name.py
      . . .

ザ・ scrapy.cfgfileは、プロジェクトのルートディレクトリであり、プロジェクト名とプロジェクト設定が含まれています。たとえば-

[settings] 
default = [name of the project].settings  

[deploy] 
#url = http://localhost:6800/ 
project = [name of the project]

Scrapyツールの使用

Scrapyツールは、次のようにいくつかの使用法と使用可能なコマンドを提供します-

Scrapy X.Y  - no active project 
Usage: 
   scrapy  [options] [arguments] 
Available commands: 
   crawl      It puts spider (handle the URL) to work for crawling data 
   fetch      It fetches the response from the given URL

プロジェクトの作成

次のコマンドを使用して、Scrapyでプロジェクトを作成できます-

scrapy startproject project_name

これにより、というプロジェクトが作成されます project_nameディレクトリ。次に、次のコマンドを使用して、新しく作成されたプロジェクトに移動します-

cd  project_name

プロジェクトの管理

Scrapyツールを使用してプロジェクトを制御および管理し、次のコマンドを使用して新しいスパイダーを作成することもできます。

scrapy genspider mydomain mydomain.com

クロールなどのコマンドは、Scrapyプロジェクト内で使用する必要があります。次のセクションで、Scrapyプロジェクト内でどのコマンドを実行する必要があるかがわかります。

Scrapyには、プロジェクトで使用できるいくつかの組み込みコマンドが含まれています。使用可能なコマンドのリストを表示するには、次のコマンドを使用します-

scrapy -h

次のコマンドを実行すると、Scrapyは使用可能なコマンドのリストをリストされたとおりに表示します-

fetch −Scrapyダウンローダーを使用してURLをフェッチします。
runspider −プロジェクトを作成せずに自己完結型のスパイダーを実行するために使用されます。
settings −プロジェクト設定値を指定します。
shell −指定されたURLのインタラクティブなスクレイピングモジュールです。
startproject −新しいScrapyプロジェクトを作成します。
version −Scrapyバージョンを表示します。
view − Scrapyダウンローダーを使用してURLを取得し、ブラウザーにコンテンツを表示します。

リストされているように、いくつかのプロジェクト関連のコマンドを持つことができます-

crawl −スパイダーを使用してデータをクロールするために使用されます。
check −クロールされたコマンドによって返されたアイテムをチェックします。
list −プロジェクトに存在する利用可能なスパイダーのリストが表示されます。
edit −エディターを使用してスパイダーを編集できます。
parse −指定されたURLをスパイダーで解析します。
bench −クイックベンチマークテストを実行するために使用されます（ベンチマークは、Scrapyが1分間にクロールできるページ数を示します）。

カスタムプロジェクトコマンド

カスタムプロジェクトコマンドは、次のコマンドで作成できます。 COMMANDS_MODULEScrapyプロジェクトでの設定。設定にはデフォルトの空の文字列が含まれます。次のカスタムコマンドを追加できます-

COMMANDS_MODULE = 'mycmd.commands'

Scrapyコマンドは、次のように、setup.pyファイルのscrapy.commandsセクションを使用して追加できます。

from setuptools import setup, find_packages  

setup(name = 'scrapy-module_demo', 
   entry_points = { 
      'scrapy.commands': [ 
         'cmd_demo = my_module.commands:CmdDemo', 
      ], 
   }, 
)

上記のコードは追加します cmd_demo のコマンド setup.py ファイル。