memahami kafka log.dirs

Question

Saya memiliki cluster Kafka dan log.dirs = / data / kafka diatur ke direktori data di server.properties. partisi DATA saya terus penuh karena log ini yang mengambil sebagian besar darinya. (berbicara tentang log biner di direktori topik seperti 000000000000000.log) Saya membaca di DOKUMENTASI tentang parameter ini (log.dirs Direktori di mana data log disimpan. Jika tidak diatur, nilai dalam log.dir digunakan)

dan saya belum sepenuhnya mengerti artinya. Selain itu, dapatkah mereka dihapus, dan retensi mana yang harus dikonfigurasi? dan apakah disarankan untuk memisahkannya dari direktori data? Terima kasih

Answer 1

Topik Kafka adalah pengelompokan logis dari satu atau lebih partisi Kafka. Setiap partisi kafka pada dasarnya adalah file (log) pada disk. Jadi data yang Anda terbitkan kafka hanya disimpan di file ini (log).

log.dirs memberi tahu kafka tempat membuat file-file ini. Jadi, setiap kali Anda memiliki partisi baru (dengan meningkatkan partisi pada topik yang ada atau dengan membuat topik baru sama sekali), Anda akan melihat file baru di log.dirs .

Anda tidak boleh menghapus data dari folder ini secara manual. Gunakan log.retention.hours untuk mengonfigurasi berapa lama Kafka harus menyimpan data Anda.