스크래핑 중 AttributeError

Question

웹 사이트를 긁어 내려고하는데이 오류가 발생했습니다.

AttributeError : 'NoneType'개체에 'text'속성이 없습니다.

...에서

---> 12             for x in soup.select("div.site-content")]

사용 된 코드는 다음과 같습니다.

rq = req.get("https://stopcensura.net/category/cronaca")
soup = BeautifulSoup(rq.content, 'html.parser')
scrape_info = [(x.h3.a.text, x.time.text)
            for x in soup.select("div.site-content")]

제목 ( entry-title), 날짜 ( class="date"), 저자 ( <div class="by-author vcard author">... </div>), 내용 ( div class="entry-content") 에 대한 정보를 얻고 싶습니다 . 올바른 태그를 선택하는 것이 문제라고 생각하지만 확실하지 않습니다.

모든 도움과 제안을 주시면 감사하겠습니다.

Answer 1

올바른 출력을 얻으려면 CSS 선택기를 약간 수정하십시오.

import requests
from bs4 import BeautifulSoup


URL = "https://stopcensura.net/category/cronaca"

soup = BeautifulSoup(requests.get(URL).content, "html.parser")

for tag in soup.select(".entry-header"):
    print(tag.select_one(".entry-title a").text)
    print(tag.select_one(".date a").text)
    print(tag.select_one(".by-author a").text)
    print(tag.find_next(class_="entry-content").text.strip())
    print("-" * 50)

산출:

Manifestanti inscenano corteo funebre a Napoli: “Conte hai ucciso l’Italia” (VIDEO)
2 Nov 2020
Redazione
“L’Italia che lotta non si ferma: decimo giorno di protesta. Numerosi cittadini a Napoli protestano contro…
--------------------------------------------------
Foggia, immigrato irrompe in casa armato: sprangate ad una famiglia italiana
2 Nov 2020
Redazione
FOGGIA – La serenità di una famiglia foggiana è stata interrotta da un immigrato 21enne, irregolare…
--------------------------------------------------
Decine di agenti per chiudergli locale. Titolare: “Sono un lavoratore, non un camorrista”
1 Nov 2020
Redazione
“Dopo sei giorni di eroica disobbedienza civile il ristorante Bistrot Bonaccorsi a Bologna viene chiuso con…
--------------------------------------------------
Roma, popolo in marcia verso il Parlamento: agenti caricano i manifestanti (VIDEO)
31 Ott 2020
Redazione
“L’Italia non si ferma: ottavo giorno di proteste. Roma, Campo dei Fiori, cittadini in marcia pacifica…
--------------------------------------------------
Strage di Nizza, leader islamico: “Se i fedeli si arrabbiano, poi succedono tante cose” (VIDEO)
31 Ott 2020
Redazione
Le parole del leader della comunità musulmana di Roma, Ahah Mohammed Taifur Rahman, che ieri durante…
--------------------------------------------------
Proteste a Firenze: “Non siamo fascisti, abbiamo votato per quei pezzi di mer** del Pd” (VIDEO)
31 Ott 2020
Redazione
“Proteste a Firenze contro lockdown e Governo Conte. Manifestanti tuonano contro l’informazione di regime: “Non siamo…
--------------------------------------------------