Tidak dapat mengurai elemen dari situs web yang berisi data tabel (iframe)

Dec 21 2020

Kami mencoba mengurai hrefatribut dari DOM situs web pekerjaan . Kami ingin mendapatkan hrefuntuk setiap pekerjaan.

Kami biasanya menggunakan jalur CSS dan meneruskannya ke find_elements_by_cssmetode Selenium .

Sayangnya, kami memperhatikan bahwa plugin browser SelectorGadget mengalami masalah dalam menyediakan jalur CSS. Kami melanjutkan untuk menggunakan jalur CSS menggunakan Google Chrome (ctrl + shift + c). Chrome dapat mengekstrak jalur, tetapi Selenium maupun BeautifulSoup tidak dapat bekerja dengan jalur tersebut.

Setelah banyak upaya yang gagal untuk mengekstrak elemen menggunakan kelas dan tag yang berbeda, kami yakin ada sesuatu yang salah dengan pendekatan kami atau situs web. Kami berhipotesis bahwa elemen yang diinginkan tidak mungkin diurai oleh Selenium dan BeautifulSoup karena alasan apa pun? Mungkinkah iframetag di DOM menjadi sumber kesalahan (lihat pertanyaan SO ini )? Apa yang membuat penguraian gagal di sini, dan adakah cara untuk mengatasi masalah ini? Sumber masalah terkait situs web juga akan menjelaskan mengapa Gadget Pemilih tidak bisa mendapatkan jalur sejak awal. Kesimpulan kami adalah menggunakan ekspresi reguler untuk mengekstrak hrefatribut yang kami butuhkan. Ini hanya akan menjadi solusi terakhir.

Untuk Jerman-speaker, silakan catatan thatthere adalah kesalahan ejaan dalam elemen sasaran: <div class="stellenagebot">. Tolong jangan biarkan diri Anda bingung dengan mereka (seperti yang kami lakukan).

Tidak beruntung dengan BeautifulSoup:

import re
import requests
from bs4 import BeautifulSoup


url = 'https://www.artemiskliniken.de/Karriere/%C3%84rzte/'

page = requests.get(url)

soup = BeautifulSoup(page.text, 'html.parser')

print(soup.prettify())
# Out: ...

#<div class="col-md-4 wow fadeInUp">
# <div class="stellenagebot">
#  <h3>
#   Facharzt (m/w/d) für Augenheilkunde in Voll- oder Teilzeit
#  </h3>
#  <h4>
#   Erfurt
#  </h4>
#  <a class="btn btn-default" href="/Stellenangebot/Facharzt_Augenheilkunde_Erfurt/">
#   Mehr
#  </a>
# </div>
#</div>
#<div class="col-md-4 wow fadeInUp">
# <div class="stellenagebot">
#  <h3>
#   Facharzt (m/w/d) für Augenheilkunde in Voll- oder Teilzeit
#  </h3>
#  <h4>
#   Eschwege
#  </h4>
#  <a class="btn btn-default" href="/Stellenangebot/Facharzt_Augenheilkunde_Eschwege/">
#   Mehr
#  </a>
# </div>
#</div>

# ...

print(soup.find_all('.stellenagebot'))
# Out: []

print(soup.find_all(string=re.compile("Stellenangebot")))
# ['Stellenangebote Facharzt für Augenheilkunde und Karrierewege für Ärzte', '<h3>Zur Verst&auml;rkung unseres Teams suchen wir:</h3>\n\n<p class="hyphenate" lang="de">&nbsp;</p>\n\n<div id=\'jobauflistung\' class=\'row\'><div class=\'col-md-4 wow  fadeInUp\'><div class="stellenagebot">\n<h3>Facharzt (m/w/d) für Augenheilkunde in Voll- oder Teilzeit</h3>\n\n<h4>Aachen</h4>\n<a class="btn btn-default" href="/Stellenangebot/Facharzt_Augenheilkunde_Aachen/">Mehr</a></div></div><div class=\'col-md-4 wow  fadeInUp\'><div class="stellenagebot">\n<h3>Facharzt (m/w/d) fü
# ...
# ></div>\n</div>\n</div>\n</div>\n</footer>\n</div><!-- AUF ALLEN SEITEN IN DEN BODY-TAG EINFÜGEN ']

print(len(soup.find_all(string=re.compile("Stellenangebot"))))
# Out: 2

Jadi tidak beruntung dengan Selenium:

from selenium import webdriver

from job_scraper.configuration import CHROMEDRIVER_VERSION, ROOT_PATH, \
    CHROME_OPTIONS


driver = webdriver.Chrome(
    ROOT_PATH / f'assets/chrome_drivers/{CHROMEDRIVER_VERSION}',
    options=CHROME_OPTIONS
)
driver.maximize_window()
driver.get(url)
driver.find_elements_by_css_selector('.stellenagebot')
# Out: []

Jawaban

3 KunduK Dec 21 2020 at 23:25

Elemen yang Anda cari ada di dalam comments. Anda harus memiliki informasi tag ini terlebih dahulu, lalu mengubahnya menjadi string, lalu mengurai lagi untuk mendapatkan nilainya.