Instrucciones de instalación de Fluentd para AWS Elasticsearch Service

Aug 19 2020

Utilizamos AWS Elasticsearch Service. Nos gustaría instalar fluentd en nuestro clúster de Kubernetes. Fluentd envía registros a AWS Elasticsearch Service. ¿Hay alguna instrucción sobre cómo hacerlo? En este enlace,https://docs.fluentd.org/v/0.12/articles/kubernetes-fluentd, muestra los pasos para enviar los registros a un Pod de Elasticsearch. Significa que elasticsearch está instalado dentro del clúster de Kubernetes.

El enlace anterior muestra cómo realizar cambios en fluentd-daemonset-elasticsearch.yaml (ver a continuación) para el módulo de búsqueda elástica. ¿Qué cambios de configuración debo realizar para el servicio AWS elasticsearch?

apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: fluentd
  namespace: kube-system
  ...
spec:
    ...
    spec:
      containers:
      - name: fluentd
        image: quay.io/fluent/fluentd-kubernetes-daemonset
        env:
          - name:  FLUENT_ELASTICSEARCH_HOST
            value: "elasticsearch-logging"
          - name:  FLUENT_ELASTICSEARCH_PORT
            value: "9200"
            ......

Respuestas

2 Rico Aug 19 2020 at 08:59

Suponiendo que tiene la conectividad necesaria. Por ejemplo, Kubernetes y Elasticsearch en la misma VPC o si en diferentes VPC tiene configurado el emparejamiento de VPC .

Además, tiene las reglas de firewall ( grupos de seguridad ) para permitir el puerto 9200de Kubernetes al clúster de Elasticsearch.

Debería ser sencillo (simplemente apunte las configuraciones al punto de enlace del clúster de AWS Elasticsearch):

apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: fluentd
  namespace: kube-system
  ...
spec:
    ...
    spec:
      containers:
      - name: fluentd
        image: quay.io/fluent/fluentd-kubernetes-daemonset
        env:
          - name:  FLUENT_ELASTICSEARCH_HOST
            value: "vpc-domain-name-identifier.region.es.amazonaws.com" 
          - name:  FLUENT_ELASTICSEARCH_PORT
            value: "9200"
            ......

Esto es si está utilizando VPC. También puede usar el punto final público de Elasticsearch si configuró su clúster de esa manera. (Pero es menos seguro ya que está pasando por la nube pública). Algo como esto:

https://search-domain-name-identifier.region.es.amazonaws.com

✌️