kafka log.dirs 이해

Question

Kafka 클러스터가 있고 log.dirs = / data / kafka 가 server.properties의 데이터 디렉토리로 설정되어 있습니다. 내 데이터 파티션은 큰 부분을 차지하는 이러한 로그로 인해 계속 가득 차 있습니다. (000000000000000.log와 같은 토픽 디렉토리의 바이너리 로그에 대해 이야기)이 매개 변수에 대한 문서를 읽었습니다 (log.dirs 로그 데이터가 보관되는 디렉토리. 설정하지 않으면 log.dir의 값이 사용됨).

그리고 아직 그 의미를 완전히 이해하지 못합니다. 또한 삭제할 수 있으며 어떤 보존을 구성해야합니까? 데이터 디렉토리에서 분리하는 것이 좋습니다. 감사

Answer 1

Kafka 토픽은 하나 이상의 Kafka 파티션의 논리적 그룹입니다. 각 kafka 파티션은 기본적으로 디스크에있는 (로그) 파일입니다. 따라서 kafka를 게시 한 데이터는이 파일 (로그)에만 저장됩니다.

log.dirs 는 kafka에게 이러한 파일을 생성 할 위치를 알려줍니다. 따라서 새 파티션이있을 때마다 (기존 주제에 대한 파티션을 늘리거나 새 주제를 모두 생성하여) log.dirs에 새 파일이 표시됩니다 .

당신은해야 하지 수동으로이 폴더에서 데이터를 삭제합니다. log.retention.hours 를 사용 하여 Kafka가 데이터를 보유하는 기간을 구성하십시오.