So weben Sie in einer Broschüre Polygone mit Selen und Python

Sep 10 2020

Dieser Beitrag ist diesem sehr ähnlich: Verwenden von Selen und Python zum Extrahieren von Daten, wenn diese nach dem Bewegen der Maus angezeigt werden

Aber ich konnte die gesuchte Antwort nicht finden.

Ich versuche, eine Flugblattkarte zu verschrotten, die dieser sehr ähnlich ist: https://leafletjs.com/examples/choropleth/Im Idealfall möchte ich alle Informationen herunterladen, die nach dem Bewegen der Maus über die Polygone angezeigt werden:

Der ursprüngliche Beitrag wurde über jedes Kreiselement geschleift. Ich möchte dasselbe für jedes Polygon tun.

Code-Versuche:

from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
driver = webdriver.Chrome
driver.get("https://leafletjs.com/examples/choropleth/")
timeout = 1000

explicit_wait30 = WebDriverWait(driver, 30)
try:
    # Wait for all circles to load
    poli = explicit_wait30.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, '.leaflet-interactive')))
except TimeoutException:
    driver.refresh()


data = []
i=1
for circle in poli:
    i+=1
    # Execute mouseover on the element
    driver.execute_script("const mouseoverEvent = new Event('mouseover');arguments[0].dispatchEvent(mouseoverEvent)", poli)
    # Wait for the data to appear
    listing = explicit_wait30.until(EC.visibility_of_element_located((By.CSS_SELECTOR, '#listingHover')))
    data.append(listing.text)
    # Close the listing
    driver.execute_script("arguments[0].click()", listing.find_element_by_tag_name('button'))
    print(i)
    if i>15 : 
        break

Ich bekomme eine Fehlermeldung:

JavascriptException: Message: javascript error: arguments[0].dispatchEvent is not a function
  (Session info: chrome=85.0.4183.102)

Scheint, als hätten "Flugblatt-interaktive" Elemente keinen Ereignistyp mit der Maus. Wie kann ich die menschliche Aktion reproduzieren, wenn ich die Maus über die Polygone bewege?

Antworten

2 DebanjanB Sep 25 2020 at 03:32

Um die Faltblattkarte zu verschrotten und alle Informationen zu extrahieren, die nach dem Bewegen der Maus über die Polygone angezeigt werden, da sich die gewünschten Elemente innerhalb eines befinden <iframe>, müssen Sie:

Induzieren Sie WebDriverWait, damit der gewünschte Frame verfügbar ist, und wechseln Sie zu diesem .
Induzieren Sie WebDriverWait für die gewünschte Sichtbarkeit des Elements .

Sie können die folgenden Locator-Strategien verwenden :

driver.get('https://leafletjs.com/examples/choropleth/')
driver.execute_script("return arguments[0].scrollIntoView(true);", WebDriverWait(driver, 20).until(EC.visibility_of_element_located((By.XPATH, "//h2[text()='Interactive Choropleth Map']"))))
WebDriverWait(driver, 20).until(EC.frame_to_be_available_and_switch_to_it((By.CSS_SELECTOR,"iframe[src='example.html']")))
elements = driver.find_elements_by_css_selector("svg.leaflet-zoom-animated>g path")
for element in elements:
    ActionChains(driver).move_to_element(element).perform()
    print(WebDriverWait(driver, 20).until(EC.visibility_of_element_located((By.XPATH, "//div[@class='info leaflet-control']"))).text)

Hinweis : Sie müssen folgende Importe hinzufügen:

from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

Konsolenausgabe:

US Population Density
Alabama
94.65 people / mi2
US Population Density
Hover over a state
US Population Density
Arizona
57.05 people / mi2
US Population Density
Arkansas
56.43 people / mi2
US Population Density
California
241.7 people / mi2
US Population Density
Colorado
49.33 people / mi2
US Population Density
Connecticut
739.1 people / mi2
US Population Density
Delaware
464.3 people / mi2
US Population Density
Maryland
596.3 people / mi2
US Population Density
Hover over a state
US Population Density
Georgia
169.5 people / mi2
US Population Density
Hover over a state
US Population Density
Montana
6.858 people / mi2
US Population Density
Illinois
231.5 people / mi2
US Population Density
Indiana
181.7 people / mi2
US Population Density
Iowa
54.81 people / mi2
US Population Density
Kansas
35.09 people / mi2
US Population Density
Kentucky
110 people / mi2
US Population Density
Mississippi
63.5 people / mi2
US Population Density
Maine
43.04 people / mi2
US Population Density
Virginia
204.5 people / mi2
US Population Density
Massachusetts
840.2 people / mi2
US Population Density

Referenz

Einige relevante Diskussionen finden Sie in:

Möglichkeiten, mit #document unter iframe umzugehen
Wechseln Sie über Selen und Python zu einem Iframe

Dev Oct 01 2020 at 01:49

Anstatt es flackig, Overhead und langwierig auszuführen, greifen Sie einfach auf die URL zu, unter der alle Daten verfügbar sind, und analysieren Sie sie.