hiểu kafka log.dirs

Question

Tôi có cụm Kafka và log.dirs = / data / kafka được đặt thành thư mục dữ liệu trong server.properties. phân vùng DATA của tôi luôn bị đầy do các nhật ký này chiếm một phần lớn trong đó. (nói về nhật ký nhị phân trong thư mục chủ đề như 000000000000000.log) Tôi đọc trong TÀI LIỆU về tham số này (log.dirs Các thư mục trong đó dữ liệu nhật ký được lưu giữ. Nếu không được đặt, giá trị trong log.dir sẽ được sử dụng)

và tôi chưa hiểu đầy đủ ý nghĩa Hơn nữa, chúng có thể bị xóa không, và nên định cấu hình lưu giữ nào? và có nên tách nó ra khỏi thư mục dữ liệu không? cảm ơn

Answer 1

Chủ đề Kafka là một nhóm hợp lý của một hoặc nhiều phân vùng Kafka. Mỗi phân vùng kafka về cơ bản là / s tệp (nhật ký) trên đĩa. Vì vậy, dữ liệu bạn đã xuất bản kafka chỉ được lưu trữ trong các tệp (nhật ký) này.

log.dirs cho kafka biết nơi tạo các tệp này. Vì vậy, bất cứ khi nào bạn có một phân vùng mới (bằng cách tăng phân vùng trên chủ đề hiện có hoặc bằng cách tạo một chủ đề mới hoàn toàn), bạn sẽ thấy / s tệp mới trong log.dirs .

Bạn không nên xóa dữ liệu khỏi thư mục này theo cách thủ công. Sử dụng log.retention.hours để định cấu hình Kafka sẽ giữ dữ liệu của bạn trong bao lâu.