comprensión de kafka log.dirs

Question

Tengo un clúster de Kafka y log.dirs=/data/kafka está configurado en el directorio de datos en server.properties. mi partición de DATOS se sigue llenando debido a estos registros que ocupan una gran parte. (hablando de registros binarios en el directorio de temas como 000000000000000.log) Leí en LA DOCUMENTACIÓN sobre este parámetro (log.dirs Los directorios en los que se guardan los datos de registro. Si no se establece, se usa el valor en log.dir)

y aún no entiendo completamente el significado Además, ¿se pueden eliminar y qué retención se debe configurar? y se recomienda separarlo del directorio de datos? Gracias

Answer 1

Kafka Topic es una agrupación lógica de una o más particiones de Kafka. Cada partición kafka es esencialmente un archivo (de registro) en el disco. Entonces, los datos que publicó kafka se almacenan solo en estos archivos (registros).

log.dirs le dice a kafka dónde crear estos archivos. Entonces, cada vez que tenga una nueva partición (aumentando la partición en un tema existente o creando un nuevo tema por completo), verá nuevos archivos en log.dirs .

No debe eliminar los datos de esta carpeta manualmente. Utilice log.retention.hours para configurar cuánto tiempo Kafka debe conservar sus datos.