La cuota de recursos de GKE muestra INCORRECTAMENTE el límite de pod alcanzado y evita la creación de un nuevo pod

Aug 21 2020

No puedo crear nuevos pods en mi espacio de nombres predeterminado en GKE. Verifiqué el error en implementaciones y conjuntos de réplicas usando kubectl -n default get replicaset xxxx-> El error es:

  Warning  FailedCreate  6m54s replicaset-controller  Error creating: pods "dummy-deployment-54b6f555b7-ms5sb" is forbidden: exceeded quota: gke-resource-quotas, requested: pods=1, used: pods=5k, limited: pods=5k

Entonces ejecuté este comando kubectl get resourcequota gke-resource-quotas -o yaml -n defaultpara ver qué está pasando con gke-resource-quotas

Obtengo este resultado:

apiVersion: v1
kind: ResourceQuota
metadata:
  creationTimestamp: "2020-02-04T13:06:27Z"
  name: gke-resource-quotas
  namespace: default
  resourceVersion: "109072XXXX"
  selfLink: /api/v1/namespaces/default/resourcequotas/gke-resource-quotas
  uid: 2727d85b-474f-11ea-a2f2-XXXXXXXXXX
spec:
  hard:
    count/ingresses.extensions: 5k
    count/jobs.batch: 10k
    pods: 5k
    services: "1500"
status:
  hard:
    count/ingresses.extensions: 5k
    count/jobs.batch: 10k
    pods: 5k
    services: "1500"
  used:
    count/ingresses.extensions: "7"
    count/jobs.batch: "4540"
    pods: 5k
    services: "20"

Pero lo comprobé usando kubectl -n default get pods | wc -lNo tengo 5k pods en ejecución.

Esto me impide crear nuevos pods en mi espacio de nombres predeterminado en GKE.

Esto parece un error de parte de GKE / K8. ¿Alguien sabe cómo puedo resolver esto? ¡Gracias!

Respuestas

2 Rico Aug 21 2020 at 11:41

Parece un problema de GKE con sus cuotas predefinidas. Es posible que en un momento haya alcanzado el límite de 5k, tal vez no se haya actualizado para los pods terminados y cree que ha alcanzado el límite.

Alguien más encontró una solución, así que solo probaría eso por ahora:

kubectl delete resourcequota gke-resource-quotas -n default

Si está ejecutando a esa escala y este es un problema recurrente importante, le recomiendo encarecidamente que acceda al soporte de GKE / GCP . O busque alternativas como correr fuera de GKE.

✌️