Elemente von einer Website, die tabellarische Daten enthält (iframe), können nicht analysiert werden.

Dec 21 2020

Wir versuchen, hrefAttribute aus dem DOM einer Job-Website zu analysieren . Wir wollen hreffür jeden Job eine bekommen.

Wir verwenden normalerweise CSS-Pfade und übergeben diese an die Selenium- find_elements_by_cssMethode.

Leider haben wir festgestellt, dass das Browser-Plugin SelectorGadget Probleme hatte, uns einen CSS-Pfad zur Verfügung zu stellen. Wir haben einen CSS-Pfad mit Google Chrome verwendet (Strg + Umschalt + C). Chrome könnte einen Pfad extrahieren, aber weder Selenium noch BeautifulSoup können mit diesen Pfaden arbeiten.

Nach vielen fehlgeschlagenen Versuchen, die Elemente mit verschiedenen Klassen und Tags zu extrahieren, glauben wir, dass etwas mit unserem Ansatz oder der Website völlig falsch ist. Wir nehmen an, dass die gewünschten Elemente von Selenium und BeautifulSoup aus irgendeinem Grund nicht analysiert werden können. Könnten die iframeTags im DOM eine Fehlerquelle sein (siehe diese SO-Frage )? Was führt dazu, dass das Parsen hier fehlschlägt, und gibt es eine Möglichkeit, dieses Problem zu umgehen? Eine Website-bezogene Problemquelle würde auch erklären, warum das SelectorGadget überhaupt keinen Pfad finden konnte. Unsere Schlussfolgerung wäre, reguläre Ausdrücke zu verwenden, um die hrefAttribute zu extrahieren, die wir benötigen. Dies wäre nur ein letzter Ausweg.

Beachten Sie bei deutschsprachigen Personen, dass die Zielelemente einen Rechtschreibfehler aufweisen : <div class="stellenagebot">. Bitte lassen Sie sich von diesen nicht verwirren (wie wir).

Kein Glück mit BeautifulSoup:

import re
import requests
from bs4 import BeautifulSoup


url = 'https://www.artemiskliniken.de/Karriere/%C3%84rzte/'

page = requests.get(url)

soup = BeautifulSoup(page.text, 'html.parser')

print(soup.prettify())
# Out: ...

#<div class="col-md-4 wow fadeInUp">
# <div class="stellenagebot">
#  <h3>
#   Facharzt (m/w/d) für Augenheilkunde in Voll- oder Teilzeit
#  </h3>
#  <h4>
#   Erfurt
#  </h4>
#  <a class="btn btn-default" href="/Stellenangebot/Facharzt_Augenheilkunde_Erfurt/">
#   Mehr
#  </a>
# </div>
#</div>
#<div class="col-md-4 wow fadeInUp">
# <div class="stellenagebot">
#  <h3>
#   Facharzt (m/w/d) für Augenheilkunde in Voll- oder Teilzeit
#  </h3>
#  <h4>
#   Eschwege
#  </h4>
#  <a class="btn btn-default" href="/Stellenangebot/Facharzt_Augenheilkunde_Eschwege/">
#   Mehr
#  </a>
# </div>
#</div>

# ...

print(soup.find_all('.stellenagebot'))
# Out: []

print(soup.find_all(string=re.compile("Stellenangebot")))
# ['Stellenangebote Facharzt für Augenheilkunde und Karrierewege für Ärzte', '<h3>Zur Verst&auml;rkung unseres Teams suchen wir:</h3>\n\n<p class="hyphenate" lang="de">&nbsp;</p>\n\n<div id=\'jobauflistung\' class=\'row\'><div class=\'col-md-4 wow  fadeInUp\'><div class="stellenagebot">\n<h3>Facharzt (m/w/d) für Augenheilkunde in Voll- oder Teilzeit</h3>\n\n<h4>Aachen</h4>\n<a class="btn btn-default" href="/Stellenangebot/Facharzt_Augenheilkunde_Aachen/">Mehr</a></div></div><div class=\'col-md-4 wow  fadeInUp\'><div class="stellenagebot">\n<h3>Facharzt (m/w/d) fü
# ...
# ></div>\n</div>\n</div>\n</div>\n</footer>\n</div><!-- AUF ALLEN SEITEN IN DEN BODY-TAG EINFÜGEN ']

print(len(soup.find_all(string=re.compile("Stellenangebot"))))
# Out: 2

Auch kein Glück mit Selen:

from selenium import webdriver

from job_scraper.configuration import CHROMEDRIVER_VERSION, ROOT_PATH, \
    CHROME_OPTIONS


driver = webdriver.Chrome(
    ROOT_PATH / f'assets/chrome_drivers/{CHROMEDRIVER_VERSION}',
    options=CHROME_OPTIONS
)
driver.maximize_window()
driver.get(url)
driver.find_elements_by_css_selector('.stellenagebot')
# Out: []

Antworten

3 KunduK Dec 21 2020 at 23:25

Das Element, das Sie suchen, befindet sich im Inneren comments. Sie müssen diese Tag-Informationen zuerst haben und dann in einen String konvertieren und dann erneut analysieren, um den Wert zu erhalten.