Instrucciones de instalación de Fluentd para AWS Elasticsearch Service
Utilizamos AWS Elasticsearch Service. Nos gustaría instalar fluentd en nuestro clúster de Kubernetes. Fluentd envía registros a AWS Elasticsearch Service. ¿Hay alguna instrucción sobre cómo hacerlo? En este enlace,https://docs.fluentd.org/v/0.12/articles/kubernetes-fluentd, muestra los pasos para enviar los registros a un Pod de Elasticsearch. Significa que elasticsearch está instalado dentro del clúster de Kubernetes.
El enlace anterior muestra cómo realizar cambios en fluentd-daemonset-elasticsearch.yaml (ver a continuación) para el módulo de búsqueda elástica. ¿Qué cambios de configuración debo realizar para el servicio AWS elasticsearch?
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
name: fluentd
namespace: kube-system
...
spec:
...
spec:
containers:
- name: fluentd
image: quay.io/fluent/fluentd-kubernetes-daemonset
env:
- name: FLUENT_ELASTICSEARCH_HOST
value: "elasticsearch-logging"
- name: FLUENT_ELASTICSEARCH_PORT
value: "9200"
......
Respuestas
Suponiendo que tiene la conectividad necesaria. Por ejemplo, Kubernetes y Elasticsearch en la misma VPC o si en diferentes VPC tiene configurado el emparejamiento de VPC .
Además, tiene las reglas de firewall ( grupos de seguridad ) para permitir el puerto 9200
de Kubernetes al clúster de Elasticsearch.
Debería ser sencillo (simplemente apunte las configuraciones al punto de enlace del clúster de AWS Elasticsearch):
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
name: fluentd
namespace: kube-system
...
spec:
...
spec:
containers:
- name: fluentd
image: quay.io/fluent/fluentd-kubernetes-daemonset
env:
- name: FLUENT_ELASTICSEARCH_HOST
value: "vpc-domain-name-identifier.region.es.amazonaws.com"
- name: FLUENT_ELASTICSEARCH_PORT
value: "9200"
......
Esto es si está utilizando VPC. También puede usar el punto final público de Elasticsearch si configuró su clúster de esa manera. (Pero es menos seguro ya que está pasando por la nube pública). Algo como esto:
https://search-domain-name-identifier.region.es.amazonaws.com
✌️