comprendre kafka log.dirs
J'ai un cluster Kafka et le log.dirs=/data/kafka est défini sur le répertoire de données dans server.properties. ma partition DATA continue de se remplir à cause de ces journaux qui en occupent une grande partie. (parlant des journaux binaires dans le répertoire du sujet comme 000000000000000.log) J'ai lu dans LA DOCUMENTATION à propos de ce paramètre (log.dirs Les répertoires dans lesquels les données du journal sont conservées. Si elles ne sont pas définies, la valeur dans log.dir est utilisée)
et je ne comprends pas encore bien le sens De plus, peuvent-ils être supprimés, et quelle conservation faut-il paramétrer ? et est-il recommandé de le séparer du répertoire de données ? Merci
Réponses
Kafka Topic est un regroupement logique d'une ou plusieurs partitions Kafka. Chaque partition kafka est essentiellement un ou plusieurs fichiers (journaux) sur le disque. Ainsi, les données que vous avez publiées kafka sont stockées uniquement dans ces fichiers (journaux).
log.dirs indique à kafka où créer ces fichiers. Ainsi, chaque fois que vous avez une nouvelle partition (en augmentant la partition sur un sujet existant ou en créant un nouveau sujet), vous verrez de nouveaux fichiers dans log.dirs .
Vous ne devez pas supprimer manuellement les données de ce dossier. Utilisez log.retention.hours pour configurer la durée pendant laquelle Kafka doit conserver vos données.