सुंदर सूप नहीं ढूँढना तालिका

Aug 16 2020

मैं इस वेबसाइट से डेटा पार्स कर रहा हूं । मैंने साइट से कई चीज़ें पार्स की हैं, लेकिन किसी कारण से, यह विशेष पृष्ठ तालिकाओं में से एक नहीं खोज रहा है। यहाँ एक सरल कोड स्निपेट दिया गया है जो इस मुद्दे को प्रदर्शित करता है:

#!/usr/bin/env python3 

import bs4 as bs
import requests

def get_soup(site):
    headers = {'User-Agent': 'Mozilla/5.0'}
    r = requests.get(site, headers=headers)
    #Always want a status code of 200, which means everything downloaded
    if r.status_code != 200:
        print(r.status_code)
        print("Invalid Status Code")
        exit(1)
    return bs.BeautifulSoup(r.content, 'html.parser')

soup = get_soup("https://www.hockey-reference.com/boxscores/202008140WSH.html#all_advanced")
table = soup.find('table' , {'id' : "NYI_skaters"}).find('tbody').find_all('tr')
table = soup.find('table' , {'id' : "NYI_goalies"}).find('tbody').find_all('tr')
table = soup.find('table' , {'id' : "NYI_adv"}).find('tbody').find_all('tr')

कोड बिना किसी समस्या के स्केटर्स और गोलियां तालिका को ढूंढता है, लेकिन यह _adv तालिका नहीं ढूंढता है, जिसके परिणामस्वरूप एक NoType त्रुटि होती है, क्योंकि यह तालिका नहीं ढूंढ रही है। मैं एक नोड खोजने में सक्षम हूं जो _adv के नीचे रहता है:

table = soup.find('div' , {'id' : "all_advanced"})

उस div टैग (all_advanced) के नीचे, कुछ अजीब दिखने वाला कोड है, इसलिए मुझे यकीन नहीं है कि इसके साथ कुछ करना है। मेरे पास इस विशेष साइट के साथ अन्य चीजों के साथ कोई समस्या नहीं है, सेलेनियम का उपयोग करने की आवश्यकता नहीं है और वे डेटा को स्क्रैप करने वाले लोगों के साथ ठीक हैं। किसी भी सहायता की सराहना की जाएगी।

संपादित करें: panda.read_html का उपयोग करना या तो इसे नहीं ढूंढता है। मैं इसके साथ उपरोक्त सभी "तालिका =" को बदलकर काम करने में सक्षम था:

for comment in soup.find_all(text=lambda text: isinstance(text, bs.Comment)):
    if comment.find("<table ") > 0:
        comment_soup = bs.BeautifulSoup(comment, 'html.parser')
        table = comment_soup.find('table' , {'id' : "NYI_adv"})
for player in table.find_all('tr' , {'class' : "ALLSH hidden"}):
    print(player.find('a')['href'])

धन्यवाद

जवाब

1 AndrejKesely Aug 16 2020 at 14:42

टिप्पणी अनुभाग से तालिका डेटा लोड करने के लिए, इस स्क्रिप्ट का उपयोग करें: