ワニス禁止が追加されましたが、古いオブジェクトが返されます

Jan 08 2021

タイルサーバーの前でニスを使用して、マップボックスタイルをキャッシュしています。古いタイルを削除するために、禁止を使用して、キャッシュされた多数のタイルを効果的に削除するつもりでした。私の問題は、ワニスがまだキャッシュされたオブジェクトを使用し(少なくともage応答ではこれを示しています)、バックエンドに接続しないことです。

私は最初にhttp://varnish/5/3/4.pbfを要求し、次に禁止を追加するcurl -X BAN -H 'X-Purge-Regex: 5/3/4.pbf' varnishか、またはその代わりにvarnishadm、その後ban obj.http.url ~ 5/3/4.pbfhttp://varnish/5/3/4.pbfを再度要求します。

最初は私の禁止リストは空です:

Present bans:
1610117471.434488     1 C

禁止は正常に追加されます curl -X BAN -H 'X-Purge-Regex: 5/3/4.pbf' varnish

<!DOCTYPE html>
<html>
  <head>
    <title>200 Ban added</title>
  </head>
  <body>
    <h1>Error 200 Ban added</h1>
    <p>Ban added</p>
    <h3>Guru Meditation:</h3>
    <p>XID: 8</p>
    <hr>
    <p>Varnish cache server</p>
  </body>
</html>

禁止リストに表示されます

Present bans:
1610117369.028870     0 -  obj.http.url ~ 5/3/4.pbf
1610117307.220739     1 C  

http://varnish/5/3/4.pbfを再度リクエストした後、禁止リストは禁止が使用されたことを示しています

Present bans:
1610117471.434488     1 -  obj.http.url ~ 5/3/4.pbf

ただし、応答の経過時間は0ではありません。これは、最初の要求からのオブジェクトであるためです。

しばらくすると、禁止が解除されます。

Present bans:
1610117471.434488     1 C  

vcl_recvはこのように見えますが、エラーも機能しないため、おそらくどこか別の場所にありますvarnishadm

sub vcl_recv {
    unset req.http.cookie;

    # Allowing PURGE from localhost
    if (req.method == "BAN"||req.method == "PURGE") {
                if (!client.ip ~ purge) {
                        return(synth(405,"Not allowed."));
                }
                if (req.method == "BAN") {
                    ban("obj.http.url ~ " + req.http.X-Purge-Regex);

                    # Throw a synthetic page so the
                    # request won't go to the backend.
                    return(synth(200, "Ban added"));
                }
                if (req.method == "PURGE") {
                    return (purge);
                }
        }
}

私もから使ってみvcl_purgeましたhttps://stackoverflow.com/a/61507014 しかし、これは禁止には役立たないようです(?)。

X-Purge-Regexヘッダーを使用して、次のような特殊文字をエスケープする必要がないようにしています。https://stackoverflow.com/a/38526921しかし、のような禁止はobj.http.url ~ 0機能しません。

vcl4.0でニス6.5を使用しています。

禁止リクエスト

*   << Request  >> 54        
-   Begin          req 53 rxreq
-   Timestamp      Start: 1610121483.345437 0.000000 0.000000
-   Timestamp      Req: 1610121483.345437 0.000000 0.000000
-   VCL_use        boot
-   ReqStart       192.168.48.2 50882 http
-   ReqMethod      BAN
-   ReqURL         /
-   ReqProtocol    HTTP/1.1
-   ReqHeader      Host: varnish-volatile
-   ReqHeader      User-Agent: curl/7.64.0
-   ReqHeader      Accept: */*
-   ReqHeader      X-Purge-Regex: 0
-   ReqHeader      X-Forwarded-For: 192.168.48.2
-   VCL_call       RECV
-   VCL_acl        MATCH purge "importer"
-   VCL_return     synth
-   VCL_call       HASH
-   VCL_return     lookup
-   RespProtocol   HTTP/1.1
-   RespStatus     200
-   RespReason     Ban added
-   RespHeader     Date: Fri, 08 Jan 2021 15:58:03 GMT
-   RespHeader     Server: Varnish
-   RespHeader     X-Varnish: 54
-   VCL_call       SYNTH
-   RespHeader     Content-Type: text/html; charset=utf-8
-   RespHeader     Retry-After: 5
-   VCL_return     deliver
-   Timestamp      Process: 1610121483.347281 0.001844 0.001844
-   RespHeader     Content-Length: 246
-   Storage        malloc Transient
-   Filters        
-   RespHeader     Accept-Ranges: bytes
-   RespHeader     Connection: keep-alive
-   Timestamp      Resp: 1610121483.347557 0.002120 0.000276
-   ReqAcct        98 0 98 218 246 464
-   End            

禁止を追加した後にGET

*   << Request  >> 32806     
-   Begin          req 32805 rxreq
-   Timestamp      Start: 1610121552.733872 0.000000 0.000000
-   Timestamp      Req: 1610121552.733872 0.000000 0.000000
-   VCL_use        boot
-   ReqStart       192.168.48.1 55176 http
-   ReqMethod      GET
-   ReqURL         /public.snow_db/0/0/0.pbf
-   ReqProtocol    HTTP/1.1
-   ReqHeader      Host: localhost:8090
-   ReqHeader      User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:84.0) Gecko/20100101 Firefox/84.0
-   ReqHeader      Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
-   ReqHeader      Accept-Language: en-US,en;q=0.5
-   ReqHeader      Accept-Encoding: gzip, deflate
-   ReqHeader      DNT: 1
-   ReqHeader      Connection: keep-alive
-   ReqHeader      Upgrade-Insecure-Requests: 1
-   ReqHeader      Pragma: no-cache
-   ReqHeader      Cache-Control: no-cache
-   ReqHeader      X-Forwarded-For: 192.168.48.1
-   VCL_call       RECV
-   ReqUnset       Host: localhost:8090
-   ReqHeader      host: localhost:8090
-   VCL_return     hash
-   ReqUnset       Accept-Encoding: gzip, deflate
-   ReqHeader      Accept-Encoding: gzip
-   VCL_call       HASH
-   VCL_return     lookup
-   Hit            28 601789.331504 10.000000 0.000000
-   VCL_call       HIT
-   VCL_return     deliver
-   RespProtocol   HTTP/1.1
-   RespStatus     200
-   RespReason     OK
-   RespHeader     content-encoding: gzip
-   RespHeader     content-type: application/x-protobuf
-   RespHeader     date: Fri, 08 Jan 2021 15:09:02 GMT
-   RespHeader     Vary: Accept-Encoding
-   RespHeader     X-Varnish: 32806 28
-   RespHeader     Age: 3010
-   RespHeader     Via: 1.1 varnish (Varnish/6.5)
-   VCL_call       DELIVER
-   VCL_return     deliver
-   Timestamp      Process: 1610121552.734070 0.000197 0.000197
-   Filters        
-   RespHeader     Accept-Ranges: bytes
-   RespHeader     Content-Length: 295
-   RespHeader     Connection: keep-alive
-   Timestamp      Resp: 1610121552.734217 0.000345 0.000147
-   ReqAcct        414 0 414 272 295 567
-   End  

問題の再現

バグを再現するには:

  • git clone https://github.com/Baschdl/varnish-ban-setup.git && cd varnish-ban-setup
  • docker-compose up
  • http:// localhost:8092/5/3 /1.pbfを開きます
  • docker-compose exec varnish varnishadm ban obj.http.url ~ pbf
  • http:// localhost:8092/5/3 / 1.pbfをもう一度開くと、古いオブジェクトが取得されます

回答

2 ThijsFeryn Jan 09 2021 at 00:23

obj.http.url ~ 5/3/4.pbfあなたが発行されている禁止は、マッチングされたurlレスポンスヘッダを。

注意: URLはリクエストヘッダーであり、レスポンスヘッダーではありません。パニックになる理由はありません。あなたがしていることは完全に理にかなっており、いわゆるバンラーカーの範囲に関連しています。

潜伏者を禁止する

禁止リードオンリーメンバーは非同期にキャッシュからオブジェクトのパターンを除去するために禁止に禁止リストと一致オブジェクトの禁止を処理するスレッドです。

禁止ラーカーはリクエストスコープ内では動作しませんが、オブジェクトスコープのみを認識します。

リクエスト情報を正常に照合するために、リクエストコンテキストをレスポンスヘッダーとして追加できます。そしてそれはあなたが経由してやっていることですobj.http.url

では、なぜ禁止が機能​​しないのですか?

禁止が機能​​しない理由obj.http.urlは、VCLファイルに設定しなかったためです。その結果、禁止の潜伏者はそれにどのオブジェクトも一致させることができません。

問題を解決する方法

解決策は簡単です。以下に示すように、バックエンド応答コンテキストで欠落しているヘッダーを設定します。

sub vcl_backend_response {
    set beresp.http.url = bereq.url;
    set beresp.http.host = bereq.http.host;
}

バックエンドが応答すると、オブジェクトがキャッシュに保存される直前に、欠落しているヘッダーを設定できます。

その後、禁止ラーカーは禁止式を適切なオブジェクトに一致させ、それらをキャッシュから削除できるようになります。

オブジェクトがすぐに一致しないことを忘れないでください。オブジェクトはban_lurker_age、デフォルトで1分に設定されているに達したときにのみ削除されます。