python3.8 brotli brotli.error: BrotliDecompress nie powiodło się?
mycode python 3.8
brotli = 1,0,9
użyj żądania pobierz adres URL, nagłówki użyj Accept-Encoding = "br" Potrzebuję użyć dekodowania br, ponieważ myślę, że użyj accept-encoding = br, bardziej dobrze
import brotli
import requests
headers = {}
headers['Accept'] = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9"
headers['Accept-Encoding'] = "gzip, deflate, br"
headers['Host'] = "book.douban.com"
headers['Referer'] = "book.douban.com"
headers['Sec-Fetch-Dest'] = "document"
headers['Sec-Fetch-Mode'] = "navigate"
headers['Upgrade-Insecure-Requests'] = "1"
s=requests.Session()
url="https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4"
try:
response = s.get(url, headers=headers)
except:
return ""
if response.status_code == 200:
print(response.headers)
if response.headers.get('Content-Encoding') == 'br':
data = brotli.decompress(response.content)
data1 = data.decode('utf-8')
return data1
else:
return response.text
return ""
podnieść błąd
data = brotli.decompress(response.content)
brotli.error: BrotliDecompress failed
Odpowiedzi
Nigdzie nie wspomniano o tym w dokumentacji żądań, ale po zainstalowaniu Brotli jest obsługiwane bezpośrednio przez Requests.
Oznacza to, że response.content zostanie automatycznie zdekodowany (podobnie jak gzip). Nie musisz tego robićbrotli.decompress(response.content)
jeśli brotli nie jest zainstalowane, nie zostanie wyświetlony żaden komunikat o błędzie. Zamiast tego response.content pozostanie zakodowana ...
edytuj :
kopiąc w kodzie Requests, dowiedziałem się, że Requests używa urllib3.response, który implementuje użycie Brotli.
po załadowaniu urllib3.response będzie szukał importu Brotli:
try:
import brotli
except ImportError:
brotli = None
wtedy podczas dekodowania odpowiedzi użyje odpowiedniego dekodera:
def _get_decoder(mode):
if "," in mode:
return MultiDecoder(mode)
if mode == "gzip":
return GzipDecoder()
if brotli is not None and mode == "br":
return BrotliDecoder()
return DeflateDecoder()
więc jeśli Brotli jest zainstalowany, nastąpi dekodowanie, w przeciwnym razie nic się nie stanie i nie będzie żadnego ostrzeżenia dla użytkownika.