Istioを使用したKubernetesで503UHエラーが発生しましたが、サービスは機能しています

Nov 21 2020

IstioがインストールされているKubernetes(minikube)上のサービス間の通信の適切な構成に問題があります。

POSTサービスからelasticsearchにリクエストを送信しようとしていますが、常に次のメッセージを受信して​​います。

POST /_bulk?timeout=1m HTTP/1.1" 503 UH "-" "-" 0 19 0 - "-" "Apache-HttpAsyncClient/4.1.4 (Java/11.0.9.1)" "1a290357-7b18-9692-9392-d0298ed3276c" "elasticsearch:9200" "-" - - 10.102.10.19:9200 172.18.0.12:39194 - default

Istioctl analyze問題はありません。また、mtlsを無効にしました。

何が悪いのか分かりますか?Elasticsearchが機能し、Kialiダッシュボードにも正常として表示されるため、なぜUH(異常)があるのか​​わかりません。

私の展開とサービス:

Elasticsearch

apiVersion: v1
kind: Service
metadata:
  name: elasticsearch
  labels:
    app: elasticsearch
    tier: database
spec:
  selector:
    app: elasticsearch
  ports:
  - name: "http-9200"
    port: 9200
    targetPort: 9200
  - name: "tcp-9300"
    port: 9300
    targetPort: 9300
  selector:
    app: elasticsearch
    tier: database

---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: elasticsearch
  labels:
    service: elasticsearch
spec:
  serviceName: elasticsearch
  replicas: 1
  selector:
    matchLabels:
      service: elasticsearch
  template:
    metadata:
      labels:
        service: elasticsearch
    spec:
      terminationGracePeriodSeconds: 300
      initContainers:
      - name: fix-the-volume-permission
        image: busybox
        command:
        - sh
        - -c
        - chown -R 1000:1000 /usr/share/elasticsearch/data
        securityContext:
          privileged: true
        volumeMounts:
        - name: data
          mountPath: /usr/share/elasticsearch/data
      - name: increase-the-vm-max-map-count
        image: busybox
        command:
        - sysctl
        - -w
        - vm.max_map_count=262144
        securityContext:
          privileged: true
      - name: increase-the-ulimit
        image: busybox
        command:
        - sh
        - -c
        - ulimit -n 65536
        securityContext:
          privileged: true
      containers:
      - name: elasticsearch
        image: docker.elastic.co/elasticsearch/elasticsearch-oss:6.2.4
        ports:
        - containerPort: 9200
          name: "http-9200"
        - containerPort: 9300
          name: "tcp-9300"
        env:
          - name: cluster.name
            value: elasticsearch-cluster
          - name: node.name
            valueFrom:
              fieldRef:
                fieldPath: metadata.name
          - name: ES_JAVA_OPTS
            value: -Xms4g -Xmx4g
        volumeMounts:
        - name: data
          mountPath: /usr/share/elasticsearch/data
  volumeClaimTemplates:
  - metadata:
      name: data
      annotations:
        volume.beta.kubernetes.io/storage-class: "standard"
    spec:
      accessModes:
        - ReadWriteOnce
      resources:
        requests:
          storage: 1Gi



マイサービス

apiVersion: v1
kind: Service
metadata:
  name: scrappers-service
  labels:
    name: scrappers-service
spec:
  ports:
  - nodePort: 30164
    name: "http-8080"
    port: 8080
    targetPort: 8080
  selector:
    app: scrappers-service
  type: NodePort
---

apiVersion: apps/v1
kind: Deployment
metadata:
  name: scrappers-service
  labels:
    name: scrappers-service
spec:
  selector:
    matchLabels:
      app: scrappers-service
  replicas: 1
  template:
    metadata:
      labels:
        app: scrappers-service
    spec:
      containers:
      - image: example/scrappers:master
        imagePullPolicy: Never
        name: scrappers-service
        ports: 
        - containerPort: 8080

回答

1 Jakub Nov 24 2020 at 15:01

ここで述べたように

Elasticsearchで説明されているソリューションを使用することにしました。私はelasticseach-operatorを意味します。私はすべてのステップを適用しました、そしてそれは大きな問題なしでちょうど働きます。

したがって、解決策は、以下のアノテーションを使用して機能させるelasticsearchのドキュメントに従うことです。

annotations:
  traffic.sidecar.istio.io/excludeOutboundPorts: "" 
  traffic.sidecar.istio.io/excludeInboundPorts: ""

検証WebhookをIstioで機能させるには、インバウンドポート9443をプロキシから除外する必要があります。これは、elastic-operator StatefulSetのテンプレート定義を編集して、演算子Podに次のアノテーションを追加することで実行できます。

[...]
spec:
  template:
    metadata:
      annotations:
        traffic.sidecar.istio.io/excludeInboundPorts: "9443"
        traffic.sidecar.istio.io/includeInboundPorts: '*'
[...]

Istioを許容モードで構成した場合、ECKドキュメントの他の場所で定義されている例は、変更を必要とせずに引き続き機能します。ただし、グローバル(MeshPolicy)または名前空間レベル(Policy)構成のいずれかを介して、サービス間の厳密な相互TLS認証を有効にしている場合、正しく動作させるには、リソースマニフェストに次の変更を加える必要があります。

apiVersion: elasticsearch.k8s.elastic.co/v1
kind: Elasticsearch
metadata:
  name: elastic-istio
spec:
  version: 7.10.0
  http:
    tls: 
      selfSignedCertificate:
        disabled: true
  nodeSets:
  - name: default
    count: 3
    podTemplate:
      metadata:
        annotations:
          traffic.sidecar.istio.io/includeInboundPorts: "*"
          traffic.sidecar.istio.io/excludeOutboundPorts: "9300" 
          traffic.sidecar.istio.io/excludeInboundPorts: "9300"
      spec:
        automountServiceAccountToken: true 

自動相互TLSを有効にしていない場合は、オペレーターがElasticsearchクラスターと通信できるように宛先ルールを作成する必要がある場合があります。オペレーターと管理対象のElasticsearchクラスター間の通信の問題は、オペレーターのログを調べて、テキスト503 ServiceUnavailableで報告されたエラーがあるかどうかを確認することで検出できます。

apiVersion: networking.istio.io/v1alpha3
kind: DestinationRule
metadata:
  name: elastic-istio
spec:
  host: "elastic-istio-es-http.default.svc.cluster.local"
  trafficPolicy:
    tls:
      mode: ISTIO_MUTUAL

関連するgithubの問題があります:

  • https://github.com/istio/istio/issues/14662
  • https://github.com/elastic/cloud-on-k8s/issues/2770