entendendo kafka log.dirs

Question

Eu tenho o cluster Kafka e o log.dirs=/data/kafka está definido para o diretório de dados em server.properties. minha partição de DADOS continua ficando cheia devido a esses logs que ocupam grande parte dela. (falando sobre logs binários no diretório de tópicos como 000000000000000.log) Eu li na DOCUMENTAÇÃO sobre este parâmetro (log.dirs Os diretórios nos quais os dados de log são mantidos. Se não for definido, o valor em log.dir é usado)

e ainda não entendo totalmente o significado Além disso, eles podem ser excluídos e qual retenção deve ser configurada? e é recomendado separá-lo do diretório de dados? obrigado

Answer 1

Kafka Topic é um agrupamento lógico de uma ou mais partições Kafka. Cada partição kafka é essencialmente (log) arquivo/s no disco. Portanto, os dados que você publicou kafka são armazenados apenas nesses arquivos (logs).

log.dirs informa ao kafka onde criar esses arquivos. Portanto, sempre que você tiver uma nova partição (aumentando a partição no tópico existente ou criando um novo tópico), você verá o(s) novo(s) arquivo(s) em log.dirs .

Você não deve excluir os dados desta pasta manualmente. Use log.retention.hours para configurar por quanto tempo o Kafka deve manter seus dados.