Journalisation et surveillance des clusters Anthos associés

Cette page vous explique comment exporter les journaux et les métriques d'un cluster Anthos associé vers Cloud Logging et Cloud Monitoring.

Fonctionnement

La suite des opérations Google Cloud est la solution d'observabilité intégrée pour Google Cloud. Pour exporter la télémétrie au niveau du cluster depuis un cluster associé vers Google Cloud, vous devez déployer les agents d'exportation Open Source suivants dans votre cluster :

  • Agrégateur de journaux Stackdriver (stackdriver-log-aggregator-*). Objet StatefulSet Fluentd qui envoie des journaux à l'API de Cloud Logging (anciennement Stackdriver Logging).
  • Transfert de journaux Stackdriver (stackdriver-log-forwarder-*). Objet Daemonset Fluentbit qui envoie les journaux de chaque nœud Kubernetes à l'agrégateur de journaux Stackdriver.
  • Collecteur de métriques Stackdriver (stackdriver-prometheus-k8s-*). Objet StatefulSet Prometheus, configuré avec un conteneur side-car d'exportation Stackdriver pour envoyer des métriques Prometheus à l'API de Cloud Monitoring (anciennement Stackdriver Monitoring). Le side-car est un autre conteneur au sein du même pod qui lit les métriques que le serveur Prometheus stocke sur le disque et qui permet de les transmet à l'API de Cloud Monitoring.

Prérequis

  1. Un projet Google Cloud avec facturation activée. Consultez notre guide des tarifs pour en savoir plus sur les coûts des opérations dans le cloud.

  2. Un cluster Anthos associé, enregistré à l'aide de ce guide. Exécutez la commande suivante pour vérifier que votre cluster est enregistré.

    gcloud container hub memberships list
    

    Exemple de résultat :

    NAME  EXTERNAL_ID
    eks   ae7b76b8-7922-42e9-89cd-e46bb8c4ffe4
    

  3. Environnement local à partir duquel vous pouvez accéder à votre cluster et exécuter des commandes kubectl. Consultez le guide de démarrage rapide de GKE pour savoir comment installer kubectl via gcloud. Exécutez la commande suivante pour vérifier que vous pouvez accéder au cluster associé à l'aide de kubectl.

    kubectl cluster-info
    

    Exemple de résultat :

    Kubernetes master is running at https://[redacted].gr7.us-east-2.eks.amazonaws.com
    

Prérequis

  1. Créez un espace de travail Cloud Monitoring pour votre projet en suivant ces instructions.

  2. Clonez l'exemple de dépôt et accédez au répertoire de ce guide.

    git clone https://github.com/GoogleCloudPlatform/anthos-samples
    cd anthos-samples/attached-logging-monitoring
    
  3. Définissez la variable d'ID du projet pour le projet dans lequel vous avez enregistré votre cluster.

    PROJECT_ID="your-project-id"
    
  4. Créez un compte de service Google Cloud avec les autorisations nécessaires pour écrire des métriques et des journaux sur les API de Cloud Monitoring et de Cloud Logging. Vous ajouterez la clé de ce compte de service aux charges de travail déployées dans la section suivante.

    gcloud iam service-accounts create anthos-lm-forwarder
    
    gcloud projects add-iam-policy-binding $PROJECT_ID \
    --member="serviceAccount:anthos-lm-forwarder@${PROJECT_ID}.iam.gserviceaccount.com" \
      --role=roles/logging.logWriter
    
    gcloud projects add-iam-policy-binding $PROJECT_ID \
    --member="serviceAccount:anthos-lm-forwarder@${PROJECT_ID}.iam.gserviceaccount.com" \
      --role=roles/monitoring.metricWriter
    
  5. Créez et téléchargez une clé JSON pour le compte de service que vous venez de créer, puis créez un secret Kubernetes dans votre cluster à l'aide de cette clé.

    gcloud iam service-accounts keys create credentials.json \
    --iam-account anthos-lm-forwarder@${PROJECT_ID}.iam.gserviceaccount.com
    
    kubectl create secret generic google-cloud-credentials -n kube-system --from-file credentials.json
    

Installer l'agent Logging

  1. Accédez au répertoire logging/.

    cd logging/
    
  2. Ouvrir aggregator.yaml Au bas du fichier, définissez les variables suivantes sur la valeur correspondant à votre projet et à votre cluster :

    project_id [PROJECT_ID]
    k8s_cluster_name [CLUSTER_NAME]
    k8s_cluster_location [CLUSTER_LOCATION]
    

    Pour trouver l'emplacement de votre cluster, exécutez la commande suivante avec le nom d'appartenance de votre cluster associé et récupérez l'emplacement qui s'affiche sur /locations/<location>.

    gcloud container hub memberships describe eks | grep name
    

    Sortie :

    name: projects/my-project/locations/global/memberships/eks
    

  3. Dans aggregator.yaml, sous volumeClaimTemplates/spec, annulez la mise en commentaire de la ressource storageClassName PersistentVolumeClaim correspondant à votre fournisseur cloud. Pour EKS, utilisez gp2. Pour AKS, utilisez default. Si vous avez configuré une classe de stockage Kubernetes personnalisée dans AWS ou Azure, ou si vous souhaitez utiliser une classe de stockage autre que celle par défaut, vous pouvez écrire une classe storageClassName personnalisée.

    # storageClassName: standard #Google Cloud
    # storageClassName: gp2 #AWS EKS
    # storageClassName: default #Azure AKS
    
  4. Déployer l'agrégateur de journaux et le redirecteur sur le cluster.

    kubectl apply -f aggregator.yaml
    kubectl apply -f forwarder.yaml
    
  5. Vérifiez que les pods ont démarré. Vous devriez voir 2 pods d'agrégateur et un pod de redirecteur par nœud de travail Kubernetes. Par exemple, dans un cluster à 4 nœuds, attendez-vous à voir 4 pods de redirecteur.

    kubectl get pods -n kube-system | grep stackdriver-log
    

    Sortie :

    stackdriver-log-aggregator-0                 1/1     Running   0          139m
    stackdriver-log-aggregator-1                 1/1     Running   0          139m
    stackdriver-log-forwarder-2vlxb              1/1     Running   0          139m
    stackdriver-log-forwarder-dwgb7              1/1     Running   0          139m
    stackdriver-log-forwarder-rfrdk              1/1     Running   0          139m
    stackdriver-log-forwarder-sqz7b              1/1     Running   0          139m
    

  6. Obtenez les journaux des agrégateurs et vérifiez que les journaux sont envoyés à Google Cloud.

    kubectl logs stackdriver-log-aggregator-0 -n kube-system
    

    Sortie :

    2020-10-12 14:35:40 +0000 [info]: #3 [google_cloud] Successfully sent gRPC to Stackdriver Logging API.
    

  7. Déployez une application de test sur votre cluster Il s'agit d'un serveur Web HTTP de base avec un "loadgenerator".

    kubectl apply -f  https://raw.githubusercontent.com/GoogleCloudPlatform/istio-samples/master/sample-apps/helloserver/server/server.yaml
    
    kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/istio-samples/master/sample-apps/helloserver/loadgen/loadgen.yaml
    
  8. Vérifiez que vous pouvez afficher les journaux du cluster associé dans le tableau de bord de Cloud Logging. Accédez à l'explorateur de journaux dans Google Cloud Console :

    Accédez à l'explorateur de journaux

  9. Dans l'explorateur de journaux, copiez l'exemple de requête ci-dessous dans le champ Générateur de requête, en remplaçant ${your-cluster-name} par le nom de votre cluster. Cliquez sur Exécuter la requête. Vous pourrez voir les journaux de cluster récents apparaître sous Résultats de la requête.

    resource.type="k8s_container" resource.labels.cluster_name="${your-cluster-name}"
    

Journaux pour le cluster associé

Installer l'agent Monitoring

  1. Quittez le répertoire logging/ et accédez au répertoire monitoring/.

    cd ../monitoring
    
  2. Ouvrir prometheus.yaml Sous stackdriver-prometheus-sidecar/args, définissez les variables suivantes pour qu'elles correspondent à votre environnement.

    "--stackdriver.project-id=[PROJECT_ID]"
    "--stackdriver.kubernetes.location=[CLUSTER_LOCATION]"
    "--stackdriver.generic.location=[CLUSTER_LOCATION]"
    "--stackdriver.kubernetes.cluster-name=[CLUSTER_NAME]"
    
  3. Depuis le fichier prometheus.yaml, sous volumeClaimTemplates, annulez la mise en commentaire du fichier storageClassName correspondant à votre fournisseur de services cloud, comme décrit dans la section "Installer l'agent Logging".

    # storageClassName: standard #Google Cloud
    # storageClassName: gp2 #AWS EKS
    # storageClassName: default #Azure AKS
    
  4. Déployez l'objet StatefulSet stackdriver-prometheus, configuré avec le side-car exportateur, dans votre cluster.

    kubectl apply -f server-configmap.yaml
    kubectl apply -f sidecar-configmap.yaml
    kubectl apply -f prometheus.yaml
    
  5. Vérifiez que le pod stackdriver-prometheus est en cours d'exécution.

    watch kubectl get pods -n kube-system | grep stackdriver-prometheus
    
    Sortie :
    stackdriver-prometheus-k8s-0         2/2     Running   0          5h24m
    
  6. Récupérez les journaux du conteneur side-car Stackdriver Prometheus pour vérifier que le pod a démarré.

    kubectl logs stackdriver-prometheus-k8s-0 -n kube-system stackdriver-prometheus-sidecar
    
    Sortie :
    level=info ts=2020-11-18T21:37:24.819Z caller=main.go:598 msg="Web server started"
    level=info ts=2020-11-18T21:37:24.819Z caller=main.go:579 msg="Stackdriver client started"
    
  7. Vérifiez que les métriques de cluster sont correctement exportées vers Cloud Monitoring. Accédez à l'explorateur de métriques dans Google Cloud Console.

    Accéder à l'explorateur de métriques

  8. Cliquez sur Query editor (Éditeur de requête), puis copiez et exécutez la commande suivante, en remplaçant ${your-project-id} et ${your-cluster-name} par les informations de votre propre projet et cluster. Cliquez ensuite sur Run Query (Exécuter la requête). Vous devriez voir 1.0.

    fetch k8s_container
    | metric 'kubernetes.io/anthos/up'
    | filter
        resource.project_id == '${your-project-id}'
        && (resource.cluster_name =='${your-cluster-name}')
    | group_by 1m, [value_up_mean: mean(value.up)]
    | every 1m
    

Surveillance du cluster associé

Nettoyer

  1. Pour supprimer toutes les ressources créées dans ce guide, procédez comme suit :

    kubectl delete -f logging
    kubectl delete -f monitoring
    kubectl delete secret google-cloud-credentials -n kube-system
    kubectl delete -f https://raw.githubusercontent.com/GoogleCloudPlatform/istio-samples/master/sample-apps/helloserver/loadgen/loadgen.yaml
    kubectl delete -f https://raw.githubusercontent.com/GoogleCloudPlatform/istio-samples/master/sample-apps/helloserver/server/server.yaml
    rm -r credentials.json
    gcloud compute service-accounts delete anthos-lm-forwarder
    

Étape suivante

Découvrez Cloud Logging :

Découvrez Cloud Monitoring :