Jak przeanalizować wyniki wyszukiwania ze strony internetowej po użyciu send_keys (Python) w pasku wyszukiwania?

Question

Moje pytanie jest związane z tym postem: Wpisz zapytanie w pasku wyszukiwania i pobierz wyniki

Jestem w stanie wykonać odpowiedź udzieloną na to poprzednie pytanie, ale nie jestem w stanie zeskrobać danych ze strony internetowej, do której przechodzi Chrome, przez zapętlenie book. Znalazłem tylko odpowiedzi, które pokazałyby, jak zeskrobać dane z dmojego kodu, ale nie z wyniku wyszukiwania po użyciu send_keys.

Próbowałem uzyskać dostęp do elementu, ale nie mogę tego zrobić i chciałbym zeskrobać dane z powstałej witryny po wyszukaniu, booka następnie przejściu do następnej rundy pętli.

Próbowałem:

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
d = webdriver.Chrome('mypath/chromedriver.exe')
books = ['9780062457738']
for book in books:
  d.get('https://www.bol.com/nl/')
  e = d.find_element_by_id('searchfor')
  f = print(e.send_keys(book, Keys.ENTER))

Próbowałem również bez print()funkcji, ale nie zwraca ona żadnego prawdziwego elementu, jeśli napiszę f?, otrzymam:

Type:        NoneType
String form: None
Docstring:   <no docstring>

Każda pomoc dotycząca analizy danych np. Autora książki, tytułu lub innych informacji po przesłaniu zapytania jest bardzo mile widziana!

Answer 1

Aby wyodrębnić i zarezerwować tytuł, tj . Subtelna sztuka nie dawania pieprzenia , musisz wywołać WebDriverWait dla visibility_of_element_located()i możesz użyć jednej z następujących strategii lokalizacyjnych :

• Używając CSS_SELECTOR:

  driver.get("https://www.bol.com/nl/")
  WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "button.js-confirm-button>span"))).click()
  WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "input#searchfor"))).send_keys("9780062457738")
  driver.find_element_by_css_selector("button[type='submit']").click()
  print(WebDriverWait(driver, 20).until(EC.visibility_of_element_located((By.CSS_SELECTOR, "a.product-title"))).get_attribute("innerHTML"))
  

• Używając XPATH:

  driver.get("https://www.bol.com/nl/")
  WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, "//span[text()='Accepteren']"))).click()
  WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, "//input[@id='searchfor']"))).send_keys("9780062457738")
  driver.find_element_by_xpath("//button[@type='submit']").click()
  print(WebDriverWait(driver, 20).until(EC.visibility_of_element_located((By.XPATH, "//a[contains(@class, 'product-title')]"))).get_attribute("innerHTML"))
  

• Wyjście konsoli:

  The Subtle Art of Not Giving a F*ck
  

• Uwaga : musisz dodać następujące importy:

  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.common.by import By
  from selenium.webdriver.support import expected_conditions as EC