Scrapy - usługi internetowe
Opis
Działającym robotem indeksującym Scrapy można sterować za pomocą JSON-RPC. Jest włączany przez ustawienie JSONRPC_ENABLED. Ta usługa zapewnia dostęp do głównego obiektu przeszukiwacza za pośrednictwem protokołu JSON-RPC 2.0 . Punkt końcowy dostępu do obiektu przeszukiwacza to -
http://localhost:6080/crawler
Poniższa tabela zawiera niektóre ustawienia, które pokazują zachowanie usługi internetowej -
Sr.No | Ustawienie i opis | Domyślna wartość |
---|---|---|
1 | JSONRPC_ENABLED Odnosi się to do wartości logicznej, która decyduje, czy usługa internetowa wraz z jej rozszerzeniem będzie włączona, czy nie. |
Prawdziwe |
2 | JSONRPC_LOGFILE Odnosi się to do pliku używanego do rejestrowania żądań HTTP kierowanych do usługi internetowej. Jeśli nie zostanie ustawiona, zostanie użyty standardowy dziennik Scrapy. |
Żaden |
3 | JSONRPC_PORT Odnosi się to do zakresu portów dla usługi internetowej. Jeśli jest ustawiona na none, port zostanie przypisany dynamicznie. |
[6080, 7030] |
4 | JSONRPC_HOST Dotyczy to interfejsu, na którym powinna nasłuchiwać usługa sieciowa. |
„127.0.0.1” |