Existe algo como # spliter no scrapy?
eu estou raspandohttps://www.patelco.org/search-results#stq=&stp=1, quero raspar todas as páginas, tenho uma ideia básica sobre scrapy, aqui está o código que estou usando:
import scrapy
import json
class PatelcospiderSpider(scrapy.Spider):
name = 'patelcospider'
start_urls = ['https://www.patelco.org/search-results''#stq=&stp=1']
def parse(self, response):
columns = {
"question": [],
"answer": []
}
QUESTION_ANSWER_SELECTOR = ".st-ui-result"
QUESTION_SELECTOR = ".st-ui-type-heading ::text"
ANSWER_SELECTOR = ".st-ui-type-detail ::text"
questions_answers = response.css(QUESTION_ANSWER_SELECTOR)
for question_answer in questions_answers:
question = question_answer.css(QUESTION_SELECTOR).getall()
question = " ".join(question).strip()
answer = question_answer.css(ANSWER_SELECTOR).getall()
answer = " ".join(answer).strip()
columns["question"].append(question)
columns["answer"].append(answer)
columns["link"].append(response.url)
return columns
Ao executar não está retornando nenhum valor. Aqui está a saída relevante:
2020-08-28 20:39:48 [scrapy.core.engine] INFO: Spider aberto
2020-08-28 20:39:48 [scrapy.extensions.logstats] INFO: 0 páginas rastreadas (a 0 páginas/min), 0 itens raspados (a 0 itens/min)
2020-08-28 20:39:48 [scrapy.extensions.telnet] INFO: Console Telnet ouvindo em 127.0.0.1:6023
2020-08-28 20:39:55 [scrapy.core.engine] DEBUG: Rastreado (200) <GEThttps://www.patelco.org/search-results#stq=&stp=1>(referência: Nenhum)
2020-08-28 20:39:56 [scrapy.core.scraper] DEBUG: raspado de <200https://www.patelco.org/search-results>
{'Resposta da questão': []}
2020-08-28 20:39:56 [scrapy.core.engine] INFO: Aranha de fechamento (concluída)
Acho que o problema é que o Scrapy está rastejandohttps://www.patelco.org/search-resultsque na verdade não tem nada a devolver. Já pesquisei muito mas não sei como resolver.
Desde já, obrigado.
Respostas
Isso ocorre porque a página é carregada por javascript. Você pode verificar isso por si mesmo nas ferramentas de desenvolvimento do Chrome.
Inspecione a página -> Três pontos no lado direito do painel -> Mais ferramentas -> configurações -> Depurador -> Desativar javascript.
Existem dois métodos que você pode usar para conteúdo dinâmico fragmentado. Por conteúdo dinâmico, quero dizer que o javascript está usando solicitações HTTP para obter dados e exibi-los na página da web. Muitos sites modernos exibem informações dessa maneira. Isso apresenta um desafio ao raspar.
- Reengenharia nas solicitações HTTP
- Usando a automação do navegador
A primeira é sempre a primeira escolha, veja se o site tem um endpoint de API que você pode usar. É rápido, eficiente e escalável. Ao contrário da automação do navegador, este é um último recurso ou se a funcionalidade for muito complexa e não houver API disponível. É lento, frágil a mudanças no HTML do site e pouco escalável.
Felizmente para você, existe um endpoint de API para isso. Como posso saber isso? Usando as ferramentas de desenvolvimento do Chrome novamente.
Inspecionar página --> Ferramentas de rede --> XHR
XHR significa XML HTTP Request, qualquer coisa envolvendo um servidor que as APIs sempre fazem, as solicitações vão nesta parte das ferramentas de desenvolvimento.
Você pode ver 'search.json'
Podemos copiar essa solicitação em um site que converte comandos cURL em python (curl.trillworks.com)
Este é o código que o site converte. Ele fornece uma maneira útil de converter a solicitação em dicionários python etc ...
import requests
data = {
'q': '',
'page': '1'
}
response = requests.post('https://search-api.swiftype.com/api/v1/public/installs/Ty14DuZryzPDG_wzbyzh/search.json', data=data)
response.json()
Agora, se você copiar a solicitação, também obterá os cabeçalhos e vale a pena brincar com a solicitação. Algumas solicitações precisam apenas de uma solicitação HTTP simples sem cabeçalhos, dados, parâmetros, cookies. Outros precisarão de muito mais. Aqui, tudo o que precisamos fazer é especificar o número da página no parâmetro data.
Saída
{'record_count': 10,
'records': {'page': [{'url': 'https://www.patelco.org/',
'sections': ['You can count on us',
'Better rates, more savings and all about YOU.',
'Our community',
'Join us',
'What are your dreams and goals?',
'Lower my debt',
'Build my savings',
'Purchase a home',
'Plan for the future',
'Manage my retirement',
"Who we've helped",
'UPGRADE MY HOME',
'SUPERIOR SERVICE',
'APPLY FOR A LOAN'],
'title': 'Serving San Francisco Bay Area, Santa Rosa & Sacramento - Patelco Credit Union', .....
Muita informação lá, mas podemos usar isso para fazer um simples Request scrapy para fazer o mesmo.
Exemplo de código para Scrapy
def start_urls(self):
url = 'https://search-api.swiftype.com/api/v1/public/installs/Ty14DuZryzPDG_wzbyzh/search.json'
data = {
'q': '',
'page': '1'
}
yield scrapy.Request(url=url, meta={'data':data}, callback=self.parse)
def parse(self,response):
response.json()
Observe que o metaargumento é uma maneira de garantir que a solicitação também tenha os dados que queremos enviar junto com a solicitação HTTP. Sem ele, você não obterá o objeto JSON correto que deseja.
Aqui response.json()irá converter o objeto JSON em um dicionário python. Costumo brincar com o pacote de solicitações para pensar nos dados que quero exibir antes de codificar no scrapy por causa do aninhamento que você obtém no dicionário exibido.
Como exemplo disso
response.json()['records']['page'][0]['title']
Corresponde à saída
'Serving San Francisco Bay Area, Santa Rosa & Sacramento - Patelco Credit Union'
Quando você converte objetos JSON em dicionários, geralmente há muito aninhamento e é por isso que uso o pacote de solicitações para descobrir primeiro. As páginas estão aninhadas atrásresponse.json()['records']['page']
Você precisará então pensar em usar um dicionário ou, de preferência, usar itens para armazenar os dados desejados. Procure a documentação fragmentada para isso se não tiver certeza.
Você também pode alterar os parâmetros de dados para fazer solicitações de mais páginas para mais dados, mas eu gostaria de pensar em como fazer isso primeiro. Feliz em ajudar se você estiver com dificuldades.