python3.8 brotli brotli.error: BrotliDecompress nie powiodło się?

Sep 09 2020

mycode python 3.8

brotli = 1,0,9

użyj żądania pobierz adres URL, nagłówki użyj Accept-Encoding = "br" Potrzebuję użyć dekodowania br, ponieważ myślę, że użyj accept-encoding = br, bardziej dobrze

import brotli
import requests 
headers = {}
headers['Accept'] = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9"
headers['Accept-Encoding'] = "gzip, deflate, br"
headers['Host'] = "book.douban.com"
headers['Referer'] = "book.douban.com"
headers['Sec-Fetch-Dest'] = "document"
headers['Sec-Fetch-Mode'] = "navigate"
headers['Upgrade-Insecure-Requests'] = "1"

s=requests.Session()
url="https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4"
try:
    response = s.get(url, headers=headers)
except:
    return ""
if response.status_code == 200:
    print(response.headers)
    if response.headers.get('Content-Encoding') == 'br':
        data = brotli.decompress(response.content)
        data1 = data.decode('utf-8')
        return data1
    else:
        return response.text
return ""

podnieść błąd

data = brotli.decompress(response.content)
brotli.error: BrotliDecompress failed

Odpowiedzi

3 LaurentPinson Nov 03 2020 at 05:11

Nigdzie nie wspomniano o tym w dokumentacji żądań, ale po zainstalowaniu Brotli jest obsługiwane bezpośrednio przez Requests.

Oznacza to, że response.content zostanie automatycznie zdekodowany (podobnie jak gzip). Nie musisz tego robićbrotli.decompress(response.content)

jeśli brotli nie jest zainstalowane, nie zostanie wyświetlony żaden komunikat o błędzie. Zamiast tego response.content pozostanie zakodowana ...

edytuj :

kopiąc w kodzie Requests, dowiedziałem się, że Requests używa urllib3.response, który implementuje użycie Brotli.

po załadowaniu urllib3.response będzie szukał importu Brotli:

try:
    import brotli
except ImportError:
    brotli = None

wtedy podczas dekodowania odpowiedzi użyje odpowiedniego dekodera:

def _get_decoder(mode):
    if "," in mode:
        return MultiDecoder(mode)

    if mode == "gzip":
        return GzipDecoder()

    if brotli is not None and mode == "br":
        return BrotliDecoder()

    return DeflateDecoder()

więc jeśli Brotli jest zainstalowany, nastąpi dekodowanie, w przeciwnym razie nic się nie stanie i nie będzie żadnego ostrzeżenia dla użytkownika.