Есть ли способ получить Zestimate «Этот дом» за январь каждого года с 2015-2020, используя Selenium of Beautiful Soup? [дубликат]

Aug 17 2020

По следующей ссылке я хочу иметь возможность очищать данные. Однако, когда я использую Beautiful Soup, я не мог найти его в html, и Beautiful soup не работал. Кроме того, я подумал, может быть, я могу использовать селен для очистки этих данных, но я также не могу найти это содержимое. Вы знаете, как я бы использовал селен или Beautiful Soup, чтобы получить Zestimate «Этот дом» за январь каждого года с 2015-2020? Заранее благодарны за Вашу помощь. Я использую Python.

https://www.zillow.com/homedetails/1954-Sandy-Point-Ln-Mount-Pleasant-SC-29466/10938706_zpid/

Ответы

SwaroopHumane Aug 17 2020 at 15:05

Попробуйте приведенный ниже код, он даст Zestimate для дома.

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import time

options = Options()
user_agent = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.50 Safari/537.36'
options.add_argument('user-agent={0}'.format(user_agent))

driver = webdriver.Chrome(options=options)
wait = WebDriverWait(driver, 20)
action = ActionChains(driver)

driver.get("https://www.zillow.com/homedetails/1954-Sandy-Point-Ln-Mount-Pleasant-SC-29466/10938706_zpid/")

Home_Value = wait.until(EC.presence_of_element_located((By.XPATH, "//a[text()='Home value']")))
action.move_to_element(Home_Value).click().perform()

Zestimate = driver.find_element_by_xpath('//*[@id="ds-home-values"]/div/div[1]/div/div[1]/div/div/p').text

print(Zestimate)

По поводу - «Январь каждого года с 2015-2020?» - Вы можете запустить тот же сценарий вручную в январе, чтобы получить последнюю версию Zestimate. Вы также можете создать задание cron. Но я не знаю, как это сделать.

PS - После запуска этого скрипта примерно 3-4 раза я теперь сталкиваюсь с CAPTCHA. По ЭТОЙ ссылке доступно хорошее объяснение

DebanjanB Aug 17 2020 at 15:18

Чтобы извлечь Zestimate, то есть Zestimate®: $4,232,581вы должны вызвать WebDriverWait для, element_to_be_clickable()и вы можете использовать любую из следующих стратегий локатора :

  • Использование XPATH:

    driver.get('https://www.zillow.com/homedetails/1954-Sandy-Point-Ln-Mount-Pleasant-SC-29466/10938706_zpid/')
    print(WebDriverWait(driver, 20).until(EC.visibility_of_element_located((By.XPATH, "//span[contains(., 'For sale')]//following::span[contains(@class, 'ds-dashed-underline') and contains(., 'Zestimate')]//ancestor::span[2]"))).text)
    
  • Примечание . Вам необходимо добавить следующий импорт:

    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support import expected_conditions as EC