kafkalog.dirsを理解する

Question

Kafkaクラスターがあり、log.dirs = / data / kafkaがserver.propertiesのデータディレクトリに設定されています。私のDATAパーティションは、その大部分を占めるこれらのログのためにいっぱいになり続けています。（000000000000000.logのようなトピックディレクトリのバイナリログについて話します）このパラメータについてドキュメントを読みました（log.dirsログデータが保持されているディレクトリ。設定されていない場合は、log.dirの値が使用されます）

そして、私はまだその意味を完全には理解していません。さらに、それらを削除することはできますか、またどの保持を構成する必要がありますか？データディレクトリから分離することをお勧めしますか？ありがとう

Answer 1

Kafkaトピックは、1つ以上のKafkaパーティションの論理グループです。各kafkaパーティションは、基本的にディスク上の（ログ）ファイルです。したがって、kafkaを公開したデータは、これらのファイル（ログ）にのみ保存されます。

log.dirsは、これらのファイルを作成する場所をkafkaに指示します。したがって、（既存のトピックのパーティションを増やすか、新しいトピックを作成することによって）新しいパーティションがある場合は常に、log.dirsに新しいファイルが表示されます。

あなたはすべきではない手動でこのフォルダからデータを削除します。log.retention.hoursを使用して、Kafkaがデータを保持する期間を構成します。