Résoudre les problèmes liés à etcd pour GKE sur AWS

Cette page explique comment résoudre les problèmes liés à etcd pour GKE sur AWS.

Si vous avez besoin d'aide supplémentaire, contactez l'assistance Cloud Customer Care.

Le disque de données etcd est saturé

L'erreur suivante se produit lorsque le disque de données etcd est saturé, et peut être observée de différentes manières :

• Les journaux etcd peuvent afficher des erreurs d'expiration de délai pour les requêtes d'écriture :

  rafthttp: failed to save KV snapshot (write /var/etcd/data/member/snap/tmp720030520: no space left on device)
  

  Vous pouvez également voir des erreurs d'expiration de délai pour les connexions à des pairs :

  rafthttp: health check for peer [peer-id] could not connect: dial tcp [peer-ip]:2380: i/o timeout
  etcd server doesn't start:
  

• Les journaux des ports série peuvent indiquer qu'etcd ne peut pas démarrer en raison d'un manque d'espace :

  failed on file /dev/stdout (No space left on device)
  

Pour déterminer la taille de votre instance etcd, utilisez l'une des méthodes suivantes :

SSH

1. Connectez-vous à l'un des nœuds maîtres via SSH et exécutez la commande suivante :

   ETCDCTL_API=3 etcdctl --write-out=table endpoint status
   

   La colonne DB_SIZE indique la taille utilisée, comme illustré dans l'exemple de résultat condensé suivant :

   +------------------+------------------+---------+---------+
   |    ENDPOINT      |        ID        | VERSION | DB SIZE |
   +------------------+------------------+---------+---------+
   | 10.240.0.17:2379 | 4917a7ab173fabe7 |  3.5.0  |   45 kB |
   | 10.240.0.18:2379 | 59796ba9cd1bcd72 |  3.5.0  |   45 kB |
   | 10.240.0.19:2379 | 94df724b66343e6c |  3.5.0  |   45 kB |
   +------------------+------------------+---------+---------+
   

Console

1. Dans la console, accédez à la page Cloud Monitoring.

   Accéder à la page Cloud Monitoring

2. Sélectionnez l'Explorateur de métriques.

3. Sélectionnez la métrique metric etcd_mvcc_db_total_size_in_bytes.

Pour résoudre ce problème, redimensionnez le disque de données pour etcd en suivant la procédure appropriée pour votre fournisseur de stockage et votre système d'exploitation. Ajoutez suffisamment d'espace supplémentaire pour tenir compte de la croissance future d'etcd.

1. Une fois le disque redimensionné, vérifiez si un avertissement continue de s'afficher concernant l'espace disque :

   ETCDCTL_API=3 etcdctl alarm list
   

2. Si la dernière colonne indique NOSPACE, désactivez l'alarme comme suit :

   ETCDCTL_API=3 etcdctl alarm disarm
   

Étapes suivantes

Si vous avez besoin d'une aide supplémentaire, contactez Cloud Customer Care.