La cuota de recursos de GKE muestra INCORRECTAMENTE el límite de pod alcanzado y evita la creación de un nuevo pod
No puedo crear nuevos pods en mi espacio de nombres predeterminado en GKE. Verifiqué el error en implementaciones y conjuntos de réplicas usando kubectl -n default get replicaset xxxx
-> El error es:
Warning FailedCreate 6m54s replicaset-controller Error creating: pods "dummy-deployment-54b6f555b7-ms5sb" is forbidden: exceeded quota: gke-resource-quotas, requested: pods=1, used: pods=5k, limited: pods=5k
Entonces ejecuté este comando kubectl get resourcequota gke-resource-quotas -o yaml -n default
para ver qué está pasando con gke-resource-quotas
Obtengo este resultado:
apiVersion: v1
kind: ResourceQuota
metadata:
creationTimestamp: "2020-02-04T13:06:27Z"
name: gke-resource-quotas
namespace: default
resourceVersion: "109072XXXX"
selfLink: /api/v1/namespaces/default/resourcequotas/gke-resource-quotas
uid: 2727d85b-474f-11ea-a2f2-XXXXXXXXXX
spec:
hard:
count/ingresses.extensions: 5k
count/jobs.batch: 10k
pods: 5k
services: "1500"
status:
hard:
count/ingresses.extensions: 5k
count/jobs.batch: 10k
pods: 5k
services: "1500"
used:
count/ingresses.extensions: "7"
count/jobs.batch: "4540"
pods: 5k
services: "20"
Pero lo comprobé usando kubectl -n default get pods | wc -l
No tengo 5k pods en ejecución.
Esto me impide crear nuevos pods en mi espacio de nombres predeterminado en GKE.
Esto parece un error de parte de GKE / K8. ¿Alguien sabe cómo puedo resolver esto? ¡Gracias!
Respuestas
Parece un problema de GKE con sus cuotas predefinidas. Es posible que en un momento haya alcanzado el límite de 5k, tal vez no se haya actualizado para los pods terminados y cree que ha alcanzado el límite.
Alguien más encontró una solución, así que solo probaría eso por ahora:
kubectl delete resourcequota gke-resource-quotas -n default
Si está ejecutando a esa escala y este es un problema recurrente importante, le recomiendo encarecidamente que acceda al soporte de GKE / GCP . O busque alternativas como correr fuera de GKE.
✌️