Cette page explique comment créer des règles d'alerte pour Anthos Clusters on VMware (GKE On-Prem).
Avant de commencer
Vous devez disposer des autorisations suivantes pour créer des règles d'alerte :
- monitoring.alertPolicies.create
- monitoring.alertPolicies.delete
- monitoring.alertPolicies.update
Vous obtiendrez ces autorisations si vous disposez de l'un des rôles suivants :
- monitoring.alertPolicyEditor
- monitoring.editor
- Éditeur de projet
- Propriétaire du projet
Pour vérifier vos rôles, accédez à la page IAM dans Google Cloud Console.
Créer une règle : serveur d'API du cluster d'administrateur indisponible
Dans cet exercice, vous allez créer une règle d'alerte pour les serveurs d'API Kubernetes des clusters d'administrateur. Une fois cette règle en place, vous pouvez faire en sorte d'être averti dès que le serveur d'API d'un cluster d'administrateur tombe en panne.
Téléchargez le fichier de configuration de la règle : admin-cluster-apiserver-down.json.
Créez la règle :
gcloud alpha monitoring policies create --policy-from-file=POLICY_CONFIG
Remplacez POLICY_CONFIG par le chemin d'accès du fichier de configuration que vous venez de télécharger.
Affichez vos règles d'alerte :
Console
Dans Google Cloud Console, accédez à la page Monitoring.
Sur la gauche, sélectionnez Alertes.
Sous Règles, vous pouvez voir la liste de vos règles d'alerte.
Dans la liste, sélectionnez Serveur d'API du cluster d'administrateur GKE On-Prem indisponible (critique) pour afficher les détails de votre nouvelle règle. Sous Conditions, vous pouvez consulter une description de la règle. Exemple :
Policy violates when ANY condition is met Anthos On-Prem Admin Cluster API Server is up Violates when: Any kubernetes.io/anthos/up stream is absent for greater than 5 minutes
gcloud
gcloud alpha monitoring policies list
La sortie affiche des informations détaillées sur la règle. Exemple :
combiner: OR conditions: – conditionAbsent: aggregations: - alignmentPeriod: 60s crossSeriesReducer: REDUCE_SUM groupByFields: - resource.label.project_id - resource.label.location - resource.label.cluster_name perSeriesAligner: ALIGN_MEAN duration: 300s filter: resource.type="k8s_container" AND metric.type="kubernetes.io/anthos/up" AND resource.label."container_name"=monitoring.regex.full_match("kube-apiserver") trigger: count: 1 ... displayName: GKE on-prem admin cluster API server down (critical) enabled: true ... name: projects/xxxxxx/alertPolicies/12331540576820203183
Créer des règles d'alerte supplémentaires
Cette section fournit des descriptions et des fichiers de configuration pour un ensemble de règles d'alerte recommandées.
Pour créer une règle, suivez les étapes que vous avez utilisées dans l'exercice précédent :
Cliquez sur le lien dans la colonne de droite pour télécharger le fichier de configuration.
Exécutez
gcloud alpha monitoring policies create
pour créer la règle.
Disponibilité des composants du plan de contrôle de cluster d'administrateur
Nom de l'alerte | Description | Définition de la règle d'alerte dans Cloud Monitoring |
---|---|---|
Serveur d'API du cluster d'administrateur GKE On-Prem indisponible (critique) | Le serveur d'API du cluster d'administrateur a disparu de la découverte cible de métriques. | admin-cluster-apiserver-down.json |
Programmeur du cluster d'administrateur GKE On-Prem indisponible (critique) | Le programmeur du cluster d'administrateur a disparu de la découverte cible de métriques. | admin-cluster-scheduler-down.json |
Gestionnaire du contrôleur de cluster d'administrateur GKE On-Prem indisponible (critique) | Le gestionnaire du contrôleur de cluster d'administrateur a disparu de la découverte cible de métriques. | admin-cluster-controller-manager-down.json |
Etcd du cluster d'administrateur GKE On-Prem indisponible (critique) | L'etcd du cluster d'administrateur a disparu de la découverte cible de métriques. | admin-cluster-etcd-down.json |
Disponibilité des composants du plan de contrôle de cluster d'utilisateur
Les alertes du plan de contrôle du cluster d'utilisateur sont basées sur des métriques. Pour la plupart des métriques de cluster, le champ cluster_name
est le nom du cluster lui-même. Toutefois, pour les métriques du plan de contrôle du cluster d'utilisateur, le champ cluster_name
correspond au nom du cluster d'administrateur, et le champ namespace_name
au nom du cluster d'utilisateur.
Vous pouvez le constater dans une capture d'écran de la section Créer un tableau de bord d'état du plan de contrôle.
Nom de l'alerte | Description | Définition de la règle d'alerte dans Cloud Monitoring | |
---|---|---|---|
Serveur d'API du cluster d'utilisateur GKE On-Prem indisponible (critique) | Le serveur d'API du cluster d'utilisateur a disparu de la découverte cible de métriques. | user-cluster-apiserver-down.json | |
Programmeur du cluster d'utilisateur GKE On-Prem indisponible (critique) | Le programmeur du cluster d'utilisateur a disparu de la découverte cible de métriques. | user-cluster-scheduler-down.json | |
Gestionnaire du contrôleur de cluster d'utilisateur GKE On-Prem indisponible (critique) | Le gestionnaire du contrôleur de cluster d'utilisateur a disparu de la découverte cible de métriques. | user-cluster-controller-manager-down.json | |
Etcd du cluster d'utilisateur GKE On-Prem indisponible (critique) | L'etcd du cluster d'utilisateur a disparu de la découverte cible de métriques. | user-cluster-etcd-down.json |
Système Kubernetes
Nom de l'alerte | Description | Définition de la règle d'alerte dans Cloud Monitoring |
---|---|---|
Pod GKE On-Prem en boucle de plantage (critique) | Le pod se trouve dans une boucle de plantage. | pod-crash-looping.json |
Pod GKE On-Prem indisponible pendant plus d'une heure (critique) | Le pod est dans un état non prêt pendant plus d'une heure. | pod-not-ready-1h.json |
Utilisation intensive du volume persistant GKE On-Prem (critique) | Le volume persistant déclaré devrait être rempli. | persistent-volume-usage-high.json |
Nœud GKE On-Prem non prêt pendant plus d'une heure (critique) | Le nœud est dans un état non prêt pendant plus d'une heure. | node-not-ready-1h.json |
Performances de Kubernetes
Nom de l'alerte | Description | Définition de la règle d'alerte dans Cloud Monitoring |
---|---|---|
Le taux d'erreur du serveur d'API du cluster d'administrateur GKE On-Prem dépasse 10 % (critique) | Le serveur d'API du cluster d'administrateur renvoie des erreurs pour plus de 10 % des requêtes. | admin-cluster-apiserver-error-ratio-10-percent.json |
Le taux d'erreur du serveur d'API du cluster d'administrateur GKE On-Prem dépasse 5 % (avertissement) | Le serveur d'API du cluster d'administrateur renvoie des erreurs pour plus de 5 % des requêtes. | admin-cluster-apiserver-error-ratio-5-percent.json |
Le taux d'erreur du serveur d'API du cluster d'utilisateur GKE On-Prem dépasse 10 % (critique) | Le serveur d'API du cluster d'utilisateur renvoie des erreurs pour plus de 10 % des requêtes. | user-cluster-apiserver-error-ratio-10-percent.json |
Le taux d'erreur du serveur d'API du cluster d'utilisateur GKE On-Prem dépasse 5 % (avertissement) | Le serveur d'API du cluster d'utilisateur renvoie des erreurs pour plus de 5 % des requêtes. | user-cluster-apiserver-error-ratio-5-percent.json |
Recevoir des notifications
Une fois que vous avez créé une règle d'alerte, vous pouvez définir un ou plusieurs canaux de notification pour cette règle. Il existe plusieurs types de canaux de notification. Par exemple, vous pouvez être averti par e-mail, ou via un canal Slack ou une application mobile. Vous pouvez choisir les canaux qui répondent à vos besoins.
Pour obtenir des instructions sur la configuration des canaux de notification, consultez la page Gérer les canaux de notification.