Prometheus WAL continue de croître indéfiniment

Question

Actuellement, j'ai un Prometheus v2.20.0 en cours d'exécution, et le problème est que le WAL continue de croître indéfiniment et de consommer de l'espace disque.

En fait, l'espace disque n'est pas le problème maintenant, mais le dossier WAL n'est pas nettoyé, donc si Prometheus est redémarré à tout moment, il essaie de charger l'intégralité du WAL en mémoire.

Ainsi, par exemple, WAL fait maintenant 60 Go et la mémoire est de 32 Go, donc Prometheus continue de redémarrer lorsqu'il est tué par le MOO, car il consomme toute la mémoire du serveur de 24 Go.

Voici ma configuration actuelle pour cela, et veuillez noter que je l'exécute en utilisant Docker Compose.

   - '--web.enable-admin-api'
   - '--config.file=/etc/prometheus/prometheus.yml'
   - '--web.external-url=https://prometheus.example.com'
   - '--storage.tsdb.path=/var/lib/prometheus'
   - '--storage.tsdb.retention=150d'
   - '--web.console.libraries=/usr/share/prometheus/console_libraries'
   - '--web.console.templates=/usr/share/prometheus/consoles'

Ma question est donc la suivante: comment puis-je le configurer pour effectuer un point de contrôle et un nettoyage appropriés de WAL afin qu'il ne continue pas de croître indéfiniment?

Answer 1

Il semble qu'un bogue connu dans Prometheus v2.20.0, et une mise à niveau vers la v2.21.0 le corrige. https://github.com/prometheus/prometheus/issues/7955