Невозможно проанализировать элементы с веб-сайта, содержащего табличные данные (iframe)

Dec 21 2020

Мы пытаемся проанализировать hrefатрибуты DOM веб-сайта с вакансиями . Мы хотим получить hrefпо каждой работе.

Обычно мы используем пути CSS и передаем их find_elements_by_cssметоду Selenium .

К сожалению, мы заметили, что плагин браузера SelectorGadget не может предоставить нам путь CSS. Мы перешли к использованию пути CSS с помощью Google Chrome (ctrl + shift + c). Chrome может извлечь путь, но ни Selenium, ни BeautifulSoup не могут работать с этими путями.

После многих неудачных попыток извлечь элементы с использованием разных классов и тегов мы считаем, что что-то не так с нашим подходом или веб-сайтом. Мы предполагаем, что нужные элементы невозможно проанализировать с помощью Selenium и BeautifulSoup по какой-либо причине? Могут ли iframeтеги в DOM быть источником ошибки (см. Этот вопрос SO )? Что мешает синтаксическому анализу здесь, и есть ли способ обойти эту проблему? Источник проблемы, связанный с веб-сайтом, также объясняет, почему гаджет выбора не смог получить путь вообще. Нашим выводом было бы использование регулярных выражений для извлечения hrefнеобходимых нам атрибутов. Это будет только последнее средство.

Для немецких спикеров, пожалуйста , примечание thatthere является орфографической ошибкой в целевых элементах: <div class="stellenagebot">. Пожалуйста, не позволяйте им запутаться (как это сделали мы).

Не повезло с BeautifulSoup:

import re
import requests
from bs4 import BeautifulSoup


url = 'https://www.artemiskliniken.de/Karriere/%C3%84rzte/'

page = requests.get(url)

soup = BeautifulSoup(page.text, 'html.parser')

print(soup.prettify())
# Out: ...

#<div class="col-md-4 wow fadeInUp">
# <div class="stellenagebot">
#  <h3>
#   Facharzt (m/w/d) für Augenheilkunde in Voll- oder Teilzeit
#  </h3>
#  <h4>
#   Erfurt
#  </h4>
#  <a class="btn btn-default" href="/Stellenangebot/Facharzt_Augenheilkunde_Erfurt/">
#   Mehr
#  </a>
# </div>
#</div>
#<div class="col-md-4 wow fadeInUp">
# <div class="stellenagebot">
#  <h3>
#   Facharzt (m/w/d) für Augenheilkunde in Voll- oder Teilzeit
#  </h3>
#  <h4>
#   Eschwege
#  </h4>
#  <a class="btn btn-default" href="/Stellenangebot/Facharzt_Augenheilkunde_Eschwege/">
#   Mehr
#  </a>
# </div>
#</div>

# ...

print(soup.find_all('.stellenagebot'))
# Out: []

print(soup.find_all(string=re.compile("Stellenangebot")))
# ['Stellenangebote Facharzt für Augenheilkunde und Karrierewege für Ärzte', '<h3>Zur Verst&auml;rkung unseres Teams suchen wir:</h3>\n\n<p class="hyphenate" lang="de">&nbsp;</p>\n\n<div id=\'jobauflistung\' class=\'row\'><div class=\'col-md-4 wow  fadeInUp\'><div class="stellenagebot">\n<h3>Facharzt (m/w/d) für Augenheilkunde in Voll- oder Teilzeit</h3>\n\n<h4>Aachen</h4>\n<a class="btn btn-default" href="/Stellenangebot/Facharzt_Augenheilkunde_Aachen/">Mehr</a></div></div><div class=\'col-md-4 wow  fadeInUp\'><div class="stellenagebot">\n<h3>Facharzt (m/w/d) fü
# ...
# ></div>\n</div>\n</div>\n</div>\n</footer>\n</div><!-- AUF ALLEN SEITEN IN DEN BODY-TAG EINFÜGEN ']

print(len(soup.find_all(string=re.compile("Stellenangebot"))))
# Out: 2

Так что с Selenium не повезло:

from selenium import webdriver

from job_scraper.configuration import CHROMEDRIVER_VERSION, ROOT_PATH, \
    CHROME_OPTIONS


driver = webdriver.Chrome(
    ROOT_PATH / f'assets/chrome_drivers/{CHROMEDRIVER_VERSION}',
    options=CHROME_OPTIONS
)
driver.maximize_window()
driver.get(url)
driver.find_elements_by_css_selector('.stellenagebot')
# Out: []

Ответы

3 KunduK Dec 21 2020 at 23:25

Элемент, который вы ищете, находится внутри comments. вам нужно сначала получить эту информацию о теге, а затем преобразовать ее в строку, а затем снова проанализировать, чтобы получить значение.