comprensione di kafka log.dirs

Question

Ho un cluster Kafka e log.dirs=/data/kafka è impostato sulla directory dei dati in server.properties. la mia partizione DATA continua a riempirsi a causa di questi registri che ne occupano gran parte. (parlando di log binari nella directory dell'argomento come 0000000000000000.log) Ho letto nella DOCUMENTAZIONE di questo parametro (log.dirs Le directory in cui sono conservati i dati di log. Se non impostato, viene utilizzato il valore in log.dir)

e non ne capisco ancora del tutto il significato Inoltre, possono essere cancellati e quale conservazione deve essere configurata? ed è consigliabile separarlo dalla directory dei dati? Grazie

Answer 1

Kafka Topic è un raggruppamento logico di una o più partizioni Kafka. Ogni partizione kafka è essenzialmente file (log) sul disco. Quindi i dati che hai pubblicato kafka sono memorizzati solo in questi file (registri).

log.dirs dice a kafka dove creare questi file. Quindi, ogni volta che hai una nuova partizione (aumentando la partizione sull'argomento esistente o creando del tutto un nuovo argomento), vedresti nuovi file in log.dirs .

Non eliminare manualmente i dati da questa cartella. Usa log.retention.hours per configurare per quanto tempo Kafka deve conservare i tuoi dati.