Logging und Monitoring für Anwendungen aktivieren

Auf dieser Seite wird beschrieben, wie Sie einen GKE on Bare Metal-Cluster konfigurieren, damit benutzerdefinierte Logs und Messwerte von Nutzeranwendungen an Cloud Logging und Cloud Monitoring sowie an Google Cloud Managed Service for Prometheus gesendet werden.

Für ein optimales Logging und Monitoring von Nutzeranwendungen empfehlen wir dringend, die folgende Konfiguration zu verwenden:

  • Aktivieren Sie Google Cloud Managed Service for Prometheus. Dazu setzen Sie enableGMPForApplications im Stackdriver-Objekt auf true. Mit dieser Konfiguration können Sie Ihre Arbeitslasten mit Prometheus global überwachen und Benachrichtigungen dazu erhalten. Eine Anleitung und zusätzliche Informationen finden Sie auf dieser Seite unter Managed Service for Prometheus aktivieren.

  • Aktivieren Sie Cloud Logging für Nutzeranwendungen. Setzen Sie dazu enableCloudLoggingForApplications im Objekt Stackdriver auf true. Diese Konfiguration bietet Logging für Ihre Arbeitslasten. Eine Anleitung und weitere Informationen finden Sie auf dieser Seite unter Cloud Logging für Nutzeranwendungen aktivieren.

  • Deaktivieren Sie Legacy-Logging und -Monitoring für Nutzeranwendungen. Dazu setzen Sie enableApplication in der Clusterressource auf false. Wenn Sie diese Funktion deaktivieren, werden Anwendungsmesswerte nicht zweimal erfasst. Führen Sie die Schritte unter Logging und Monitoring für Nutzeranwendungen aktivieren (Legacy) aus, legen Sie dabei aber enableApplication auf false statt auf true fest.

Managed Service for Prometheus aktivieren

Die Konfiguration für Managed Service for Prometheus wird in einem Stackdriver-Objekt mit dem Namen stackdriver angegeben. Weitere Informationen sowie Best Practices und Fehlerbehebungen finden Sie in der Dokumentation zu Managed Service for Prometheus.

So konfigurieren Sie das Objekt stackdriver, um Google Cloud Managed Service for Prometheus zu aktivieren:

  1. Öffnen Sie das Stackdriver-Objekt zur Bearbeitung:

    kubectl --kubeconfig=CLUSTER_KUBECONFIG \
    --namespace kube-system edit stackdriver stackdriver

    Ersetzen Sie CLUSTER_KUBECONFIG durch den Pfad der kubeconfig-Datei des Clusters.

  2. Legen Sie unter spec den Wert enableGMPForApplications auf true fest:

    apiVersion: addons.gke.io/v1alpha1
kind: Stackdriver
metadata:
  name: stackdriver
  namespace: kube-system
spec:
  projectID: ...
  clusterName: ...
  clusterLocation: ...
  proxyConfigSecretName: ...
  enableGMPForApplications: true
  enableVPC: ...
  optimizedMetrics: true

  3. Speichern und schließen Sie die bearbeitete Datei.

    Die von Google verwalteten Prometheus-Komponenten werden automatisch im Cluster im Namespace gmp-system gestartet.

  4. Prüfen Sie die von Google verwalteten Prometheus-Komponenten:

    kubectl --kubeconfig=CLUSTER_KUBECONFIG --namespace gmp-system get pods

    Die Ausgabe dieses Befehls sieht wie folgt aus:

    NAME                              READY   STATUS    RESTARTS        AGE
collector-abcde                   2/2     Running   1 (5d18h ago)   5d18h
collector-fghij                   2/2     Running   1 (5d18h ago)   5d18h
collector-klmno                   2/2     Running   1 (5d18h ago)   5d18h
gmp-operator-68d49656fc-abcde     1/1     Running   0               5d18h
rule-evaluator-7c686485fc-fghij   2/2     Running   1 (5d18h ago)   5d18h

Managed Service for Prometheus unterstützt die Regelauswertung und Benachrichtigungen. Informationen zum Einrichten der Regelauswertung finden Sie unter Regelauswertung.

Beispielanwendung ausführen

Der verwaltete Dienst stellt ein Manifest für eine Beispielanwendung prom-example bereit, die Prometheus-Messwerte am metrics-Port ausgibt. Die Anwendung verwendet drei Replikate.

So stellen Sie die Anwendung bereit:

  1. Erstellen Sie den Namespace gmp-test für Ressourcen, die Sie als Teil der Beispielanwendung erstellen:

    kubectl --kubeconfig=CLUSTER_KUBECONFIG create ns gmp-test

  2. Wenden Sie das Anwendungsmanifest mit dem folgenden Befehl an:

    kubectl -n gmp-test apply \
    -f https://raw.githubusercontent.com/GoogleCloudPlatform/prometheus-engine/v0.4.1/examples/example-app.yaml

PodMonitoring-Ressource konfigurieren

In diesem Abschnitt konfigurieren Sie eine benutzerdefinierte PodMonitoring-Ressource, um von der Beispielanwendung ausgegebene Messwertdaten zu erfassen und an Managed Service for Prometheus zu senden. Die benutzerdefinierte Ressource PodMonitoring verwendet Ziel-Scraping. In diesem Fall wenden die Collector-Agents Scraping auf den Endpunkt /metrics, an den die Beispielanwendung Daten ausgibt.

Eine benutzerdefinierte PodMonitoring-Ressource wendet Ziel-Scraping nur in dem Namespace an, in dem sie bereitgestellt wird. Wenn Sie Ziel-Scraping in mehreren Namespaces anwenden möchten, stellen Sie in jedem Namespace dieselbe benutzerdefinierte PodMonitoring-Ressource bereit. Mit dem folgenden Befehl können Sie prüfen, ob die PodMonitoring-Ressource im gewünschten Namespace installiert ist:

kubectl --kubeconfig CLUSTER_KUBECONFIG get podmonitoring -A

Eine Referenzdokumentation zu allen benutzerdefinierten Ressourcen für Managed Service for Prometheus finden Sie in der Referenz zu prometheus-engine/doc/api reference.

Das folgende Manifest definiert die PodMonitoring-Ressource prom-example im Namespace gmp-test. Die Ressource findet alle Pods im Namespace mit dem Label app mit dem Wert prom-example. Die übereinstimmenden Pods werden an einem Port mit dem Namen metrics alle 30 Sekunden über den /metrics-HTTP-Pfad extrahiert.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: prom-example
spec:
  selector:
    matchLabels:
      app: prom-example
  endpoints:
  - port: metrics
    interval: 30s

Führen Sie folgenden Befehl aus, um diese Ressource anzuwenden:

kubectl --kubeconfig CLUSTER_KUBECONFIG -n gmp-test apply \
    -f https://raw.githubusercontent.com/GoogleCloudPlatform/prometheus-engine/v0.4.1/examples/pod-monitoring.yaml

Managed Service for Prometheus extrahiert jetzt übereinstimmende Pods.

Messwertdaten abfragen

Ob Ihre Prometheus-Daten exportiert werden, lässt sich am einfachsten mit PromQL-Abfragen im Metrics Explorer in der Google Cloud Console prüfen.

So führen Sie eine PromQL-Abfrage aus:

  1. Rufen Sie in der Google Cloud Console die Seite Monitoring auf oder klicken Sie auf die folgende Schaltfläche:

    Zu Monitoring

  2. Wählen Sie im Navigationsbereich Metrics Explorer aus.

  3. Geben Sie in der Prometheus Query Language (PromQL) die Daten an, die im Diagramm angezeigt werden sollen:

    1. Wählen Sie in der Symbolleiste des Bereichs Messwert auswählen die Option Code-Editor aus.

    2. Wählen Sie im Menü Sprache die Ein/Aus-Schaltfläche PromQL aus. Die Ein-/Aus-Schaltfläche für die Sprache befindet sich unten im Code-Editor.

    3. Geben Sie die Abfrage in den Query Editor ein. Mit der folgenden Abfrage können Sie beispielsweise die durchschnittliche Anzahl von Sekunden grafisch darstellen, die CPUs in den einzelnen Modi in der letzten Stunde verbracht haben:

      avg(rate(kubernetes_io:anthos_container_cpu_usage_seconds_total
{monitored_resource="k8s_node"}[1h]))

    Weitere Informationen zur Verwendung von PromQL finden Sie unter PromQL in Cloud Monitoring.

Der folgende Screenshot zeigt ein Diagramm mit dem Messwert anthos_container_cpu_usage_seconds_total:

Managed Service for Prometheus-Diagramm für den Prometheus-Messwert „anthos_container_cpu_usage_seconds_total“.

Wenn Sie große Datenmengen erfassen, können Sie exportierte Messwerte filtern, um die Kosten niedrig zu halten.

Cloud Logging für Nutzeranwendungen aktivieren

Die Konfiguration für Cloud Logging und Cloud Monitoring wird in einem Stackdriver-Objekt namens stackdriver gespeichert.

  1. Öffnen Sie das Stackdriver-Objekt zur Bearbeitung:

    kubectl --kubeconfig=CLUSTER_KUBECONFIG \
    --namespace kube-system edit stackdriver stackdriver

    Ersetzen Sie CLUSTER_KUBECONFIG durch den Pfad der kubeconfig-Datei des Nutzerclusters.

  2. Legen Sie im Abschnitt spec den Wert enableCloudLoggingForApplications auf true fest:

    apiVersion: addons.gke.io/v1alpha1
  kind: Stackdriver
  metadata:
    name: stackdriver
    namespace: kube-system
  spec:
    projectID: ...
    clusterName: ...
    clusterLocation: ...
    proxyConfigSecretName: ...
    enableCloudLoggingForApplications: true
    enableVPC: ...
    optimizedMetrics: true

  3. Speichern und schließen Sie die bearbeitete Datei.

Beispielanwendung ausführen

In diesem Abschnitt erstellen Sie eine Anwendung, die benutzerdefinierte Logs schreibt.

  1. Speichern Sie das folgende Deployment-Manifeste in eine Datei mit dem Namen my-app.yaml.

    apiVersion: apps/v1
kind: Deployment
metadata:
  name: "monitoring-example"
  namespace: "default"
  labels:
    app: "monitoring-example"
spec:
  replicas: 1
  selector:
    matchLabels:
      app: "monitoring-example"
  template:
    metadata:
      labels:
        app: "monitoring-example"
    spec:
      containers:
      - image: gcr.io/google-samples/prometheus-dummy-exporter:latest
        name: prometheus-example-exporter
        imagePullPolicy: Always
        command:
        - /bin/sh
        - -c
        - ./prometheus-dummy-exporter --metric-name=example_monitoring_up --metric-value=1 --port=9090
        resources:
          requests:
            cpu: 100m

  2. Deployment erstellen

    kubectl --kubeconfig CLUSTER_KUBECONFIG apply -f my-app.yaml

Anwendungslogs aufrufen.

Console

  1. Rufen Sie in der Google Cloud Console den Log-Explorer auf.

    Zu „Log-Explorer“

  2. Klicken Sie auf Ressource. Wählen Sie im Menü ALLE RESSOURCENTYPEN die Option Kubernetes-Container aus.

  3. Wählen Sie unter CLUSTER_NAME den Namen Ihres Nutzerclusters aus.

  4. Wählen Sie unter NAMESPACE_NAME die Option Standard aus.

  5. Klicken Sie auf Hinzufügen und dann auf Abfrage ausführen.

  6. Unter Abfrageergebnisse sehen Sie die Logeinträge des Deployment monitoring-example. Beispiel:

    {
  "textPayload": "2020/11/14 01:24:24 Starting to listen on :9090\n",
  "insertId": "1oa4vhg3qfxidt",
  "resource": {
    "type": "k8s_container",
    "labels": {
      "pod_name": "monitoring-example-7685d96496-xqfsf",
      "cluster_name": ...,
      "namespace_name": "default",
      "project_id": ...,
      "location": "us-west1",
      "container_name": "prometheus-example-exporter"
    }
  },
  "timestamp": "2020-11-14T01:24:24.358600252Z",
  "labels": {
    "k8s-pod/pod-template-hash": "7685d96496",
    "k8s-pod/app": "monitoring-example"
  },
  "logName": "projects/.../logs/stdout",
  "receiveTimestamp": "2020-11-14T01:24:39.562864735Z"
}

gcloud-CLI

  1. Führen Sie folgenden Befehl aus:

    gcloud logging read 'resource.labels.project_id="PROJECT_ID" AND \
    resource.type="k8s_container" AND resource.labels.namespace_name="default"'

    Ersetzen Sie PROJECT_ID durch die ID Ihres Projekts.

  2. In der Ausgabe sehen Sie die Logeinträge des Deployments monitoring-example. Beispiel:

    insertId: 1oa4vhg3qfxidt
labels:
  k8s-pod/app: monitoring-example
  k8s- pod/pod-template-hash: 7685d96496
logName: projects/.../logs/stdout
receiveTimestamp: '2020-11-14T01:24:39.562864735Z'
resource:
  labels:
    cluster_name: ...
    container_name: prometheus-example-exporter
    location: us-west1
    namespace_name: default
    pod_name: monitoring-example-7685d96496-xqfsf
    project_id: ...
  type: k8s_container
textPayload: |
  2020/11/14 01:24:24 Starting to listen on :9090
timestamp: '2020-11-14T01:24:24.358600252Z'

Anwendungslogs filtern

Das Filtern von Anwendungslogs kann die Abrechnung für das Anwendungs-Logging und den Netzwerkverkehr vom Cluster zu Cloud Logging reduzieren. Wenn ab der GKE on Bare Metal-Version 1.15.0 enableCloudLoggingForApplications auf true gesetzt ist, können Sie Anwendungslogs nach den folgenden Kriterien filtern:

  • Pod-Labels (podLabelSelectors)
  • Namespaces (namespaces)
  • Reguläre Ausdrücke für Loginhalte (contentRegexes)

GKE on Bare Metal sendet nur die Filterergebnisse an Cloud Logging.

Anwendungslogfilter definieren

Die Konfiguration für Logging wird in einem Stackdriver-Objekt mit dem Namen stackdriver angegeben.

  1. Öffnen Sie das Objekt stackdriver zum Bearbeiten:

    kubectl --kubeconfig USER_CLUSTER_KUBECONFIG --namespace kube-system \
    edit stackdriver stackdriver

    Ersetzen Sie USER_CLUSTER_KUBECONFIG durch den Pfad zur kubeconfig-Datei Ihres Nutzerclusters.

  2. Fügen Sie der spec einen appLogFilter-Abschnitt hinzu:

      apiVersion: addons.gke.io/v1alpha1
  kind: Stackdriver
  metadata:
    name: stackdriver
    namespace: kube-system
  spec:
    enableCloudLoggingForApplications: true
    projectID: ...
    clusterName: ...
    clusterLocation: ...
    appLogFilter:
      keepLogRules:
      - namespaces:
        - prod
        ruleName: include-prod-logs
      dropLogRules:
      - podLabelSelectors:
        - disableGCPLogging=yes
        ruleName: drop-logs

  3. Speichern und schließen Sie die bearbeitete Datei.

  4. (Optional) Wenn Sie podLabelSelectors verwenden, starten Sie das DaemonSet stackdriver-log-forwarder neu, damit Ihre Änderungen so schnell wie möglich wirksam werden:

    kubectl --kubeconfig USER_CLUSTER_KUBECONFIG --namespace kube-system \
    rollout restart daemonset stackdriver-log-forwarder

    Normalerweise werden podLabelSelectors nach 10 Minuten wirksam. Wenn Sie das DaemonSet stackdriver-log-forwarder neu starten, werden die Änderungen schneller wirksam.

Beispiel: ERROR- oder WARN-Logs nur in prod-Namespace einschließen

Das folgende Beispiel zeigt, wie ein Anwendungslogfilter funktioniert. Sie definieren einen Filter, der einen Namespace (prod), einen regulären Ausdruck (.*(ERROR|WARN).*) und ein Pod-Label (disableGCPLogging=yes) verwendet. Anschließend prüfen Sie, ob der Filter funktioniert, und führen zum Testen dieser Filterbedingungen einen Pod im Namespace prod aus.

So definieren und testen Sie einen Anwendungslogfilter:

  1. Geben Sie im Stackdriver-Objekt einen Anwendungslogfilter an:

    Im folgenden appLogFilter-Beispiel werden nur ERROR- oder WARN-Logs im Namespace prod beibehalten. Alle Logs für Pods mit dem Label disableGCPLogging=yes werden gelöscht:

    apiVersion: addons.gke.io/v1alpha1
kind: Stackdriver
metadata:
  name: stackdriver
  namespace: kube-system
spec:
  ...
  appLogFilter:
    keepLogRules:
    - namespaces:
      - prod
      contentRegexes:
      - ".*(ERROR|WARN).*"
      ruleName: include-prod-logs
    dropLogRules:
    - podLabelSelectors:
      - disableGCPLogging=yes # kubectl label pods pod disableGCPLogging=yes
      ruleName: drop-logs
...

  2. Stellen Sie einen Pod im Namespace prod bereit und führen Sie ein Skript aus, das die Logeinträge ERROR und INFO generiert:

    kubectl --kubeconfig USER_CLUSTER_KUBECONFIG run pod1 \
    --image gcr.io/cloud-marketplace-containers/google/debian10:latest \
    --namespace prod --restart Never --command -- \
    /bin/sh -c "while true; do echo 'ERROR is 404\\nINFO is not 404' && sleep 1; done"

    Die gefilterten Logs sollten nur die ERROR-Einträge enthalten, nicht die INFO-Einträge.

  3. Fügen Sie dem Pod das Label disableGCPLogging=yes hinzu:

    kubectl --kubeconfig USER_CLUSTER_KUBECONFIG label pods pod1 \
    --namespace prod disableGCPLogging=yes

    Das gefilterte Log sollte keine Einträge mehr für den Pod pod1 enthalten.

API-Definition für Anwendungslogfilter

Die Definition für den Anwendungslogfilter wird in der benutzerdefinierten Stackdriver-Ressourcendefinition deklariert.

Führen Sie den folgenden Befehl aus, um die Definition der benutzerdefinierten Stackdriver-Ressourcen abzurufen:

kubectl --kubeconfig USER_CLUSTER_KUBECONFIG get crd stackdrivers.addons.gke.io \
    --namespace kube-system -o yaml

Logging und Monitoring für Nutzeranwendungen aktivieren (Legacy)

Es wird dringend empfohlen, der Konfigurationsanleitung am Anfang dieses Dokuments zu folgen.

Die folgenden Schritte funktionieren zwar, werden aber nicht empfohlen. Lesen Sie dieses bekannte Problem, bevor Sie die folgenden Schritte ausführen.

Verwenden Sie das Feld spec.clusterOperations.enableApplication in der Cluster-Konfigurationsdatei, um Logging und Monitoring für Ihre Anwendungen zu aktivieren.

  1. Aktualisieren Sie die Cluster-Konfigurationsdatei, um enableApplication auf true festzulegen:

    apiVersion: v1
kind: Namespace
metadata:
  name: cluster-user-basic
---
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: user-basic
  namespace: cluster-user-basic
spec:
  type: user
  ...
  clusterOperations:
    projectID: project-fleet
    location: us-central1
    enableApplication: true
    ...

  2. Wenden Sie die Änderungen mit bmctl update an:

    bmctl update cluster -c CLUSTER_NAME --admin-kubeconfig=ADMIN_KUBECONFIG

    Ersetzen Sie Folgendes:

    • CLUSTER_NAME: der Name des Clusters, der aktualisiert werden soll.
    • ADMIN_KUBECONFIG: der Pfad zur kubeconfig-Datei des Administratorclusters.

Arbeitslasten annotieren

Zum Aktivieren der Erfassung benutzerdefinierter Messwerte aus einer Anwendung fügen Sie die Annotation prometheus.io/scrape: "true" dem Dienst- oder Pod-Manifest der Anwendung hinzu oder fügen sie dem Abschnitt spec.template im Deployment- oder DaemonSet-Manifest hinzu, damit sie an die zugehörigen Pods übergeben wird.

Beispielanwendung ausführen

In diesem Abschnitt erstellen Sie eine Anwendung, die benutzerdefinierte Logs schreibt und einen benutzerdefinierten Messwert bereitstellt.

  1. Speichern Sie die folgenden Dienst- und Deployment-Manifeste in einer Datei mit dem Namen my-app.yaml. Der Dienst hat die Annotation prometheus.io/scrape: "true":

    kind: Service
apiVersion: v1
metadata:
  name: "monitoring-example"
  namespace: "default"
  annotations:
    prometheus.io/scrape: "true"
spec:
  selector:
    app: "monitoring-example"
  ports:
    - name: http
      port: 9090
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: "monitoring-example"
  namespace: "default"
  labels:
    app: "monitoring-example"
spec:
  replicas: 1
  selector:
    matchLabels:
      app: "monitoring-example"
  template:
    metadata:
      labels:
        app: "monitoring-example"
    spec:
      containers:
      - image: gcr.io/google-samples/prometheus-dummy-exporter:latest
        name: prometheus-example-exporter
        imagePullPolicy: Always
        command:
        - /bin/sh
        - -c
        - ./prometheus-dummy-exporter --metric-name=example_monitoring_up --metric-value=1 --port=9090
        resources:
          requests:
            cpu: 100m

  2. Erstellen Sie das Deployment und den Dienst:

    kubectl --kubeconfig CLUSTER_KUBECONFIG apply -f my-app.yaml

Anwendungslogs aufrufen.

Console

  1. Rufen Sie in der Google Cloud Console den Log-Explorer auf.

    Zum Log-Explorer

  2. Klicken Sie auf Ressource. Wählen Sie unter ALLE RESSOURCENTYPEN die Option Kubernetes-Container aus.

  3. Wählen Sie unter CLUSTER_NAME den Namen Ihres Nutzerclusters aus.

  4. Wählen Sie unter NAMESPACE_NAME die Option Standard aus.

  5. Klicken Sie auf Hinzufügen und dann auf Abfrage ausführen.

  6. Unter Abfrageergebnisse sehen Sie die Logeinträge des Deployment monitoring-example. Beispiel:

    {
  "textPayload": "2020/11/14 01:24:24 Starting to listen on :9090\n",
  "insertId": "1oa4vhg3qfxidt",
  "resource": {
    "type": "k8s_container",
    "labels": {
      "pod_name": "monitoring-example-7685d96496-xqfsf",
      "cluster_name": ...,
      "namespace_name": "default",
      "project_id": ...,
      "location": "us-west1",
      "container_name": "prometheus-example-exporter"
    }
  },
  "timestamp": "2020-11-14T01:24:24.358600252Z",
  "labels": {
    "k8s-pod/pod-template-hash": "7685d96496",
    "k8s-pod/app": "monitoring-example"
  },
  "logName": "projects/.../logs/stdout",
  "receiveTimestamp": "2020-11-14T01:24:39.562864735Z"
}

gcloud-CLI

  1. Führen Sie folgenden Befehl aus:

    gcloud logging read 'resource.labels.project_id="PROJECT_ID" AND \
    resource.type="k8s_container" AND resource.labels.namespace_name="default"'

    Ersetzen Sie PROJECT_ID durch die ID Ihres Projekts.

  2. In der Ausgabe sehen Sie die Logeinträge des Deployments monitoring-example. Beispiel:

    insertId: 1oa4vhg3qfxidt
labels:
  k8s-pod/app: monitoring-example
  k8s- pod/pod-template-hash: 7685d96496
logName: projects/.../logs/stdout
receiveTimestamp: '2020-11-14T01:24:39.562864735Z'
resource:
  labels:
    cluster_name: ...
    container_name: prometheus-example-exporter
    location: us-west1
    namespace_name: default
    pod_name: monitoring-example-7685d96496-xqfsf
    project_id: ...
  type: k8s_container
textPayload: |
  2020/11/14 01:24:24 Starting to listen on :9090
timestamp: '2020-11-14T01:24:24.358600252Z'

Anwendungsmesswerte in der Google Cloud Console ansehen

Ihre Beispielanwendung stellt einen benutzerdefinierten Messwert namens example_monitoring_up bereit. Die Werte dieses Messwerts finden Sie in der Google Cloud Console.

  1. Rufen Sie in der Google Cloud Console den Metrics Explorer auf.

    Zum Metrics Explorer

  2. Wählen Sie als Ressourcentyp Kubernetes Pod oder Kubernetes Container aus.

  3. Wählen Sie für Messwert die Option external.googleapis.com/prometheus/example_monitoring_up aus.

  4. Im Diagramm sehen Sie, dass example_monitoring_up einen wiederkehrenden Wert von 1 hat.