Istio

In diesem Dokument wird beschrieben, wie Sie Ihre Google Kubernetes Engine-Bereitstellung so konfigurieren, dass Sie Google Cloud Managed Service for Prometheus verwenden können, um Messwerte von Istio zu erfassen. Dieses Dokument enthält Anleitungen für folgende Aufgaben:

  • Istio einrichten, um Messwerte zu melden
  • Eine PodMonitoring-Ressource für Managed Service for Prometheus konfigurieren, um die exportierten Messwerte zu erfassen.
  • Auf ein Dashboard in Cloud Monitoring zugreifen, um die Messwerte zu prüfen.
  • Benachrichtigungsregeln konfigurieren, um die Messwerte zu beobachten.

Diese Anleitung gilt nur, wenn Sie die verwaltete Sammlung mit Managed Service for Prometheus verwenden. Wenn Sie eine selbst bereitgestellte Sammlung verwenden, finden Sie Installationsinformationen im Quell-Repository für Istio.

Diese Anleitung dient als Beispiel und sollte in den meisten Kubernetes-Umgebungen funktionieren. Wenn Sie aufgrund von restriktiven Sicherheits- oder Organisationsrichtlinien Probleme beim Installieren einer Anwendung oder eines Exporters haben, empfehlen wir Ihnen, die Open Source-Dokumentation für Support zu nutzen.

Weitere Informationen zu Istio finden Sie unter Istio.

Vorbereitung

Zum Erfassen von Messwerten aus Istio mithilfe von Managed Service for Prometheus und einer verwalteten Sammlung muss Ihre Bereitstellung die folgenden Anforderungen erfüllen:

  • Ihr Cluster muss Google Kubernetes Engine Version 1.21.4-gke.300 oder höher ausführen.
  • Sie müssen Managed Service for Prometheus mit aktivierter verwalteter Sammlung ausführen. Weitere Informationen finden Sie unter Erste Schritte mit verwalteter Sammlung.

Istio stellt automatisch Messwerte im Prometheus-Format bereit. Sie müssen es nicht separat installieren. Mit den folgenden Prüfungen können Sie prüfen, ob der Istio-Proxy als Sidecar eingefügt wurde und ob sowohl Istiod, die Steuerungsebene von Istio als auch der Istio-Proxy Messwerte an die erwarteten Endpunkte ausgeben.

  • Wenn Sie feststellen möchten, ob der Istio-Proxy als Sidecar-Datei eingefügt wird, führen Sie den folgenden Befehl aus, der die in den Pods der Anwendung ausgeführten Container auflistet:

    kubectl get pod -l app=APPLICATION_NAME -n NAMESPACE_NAME -o jsonpath='{.items[0].spec.containers[*].name}'

    Wenn Sie sehen, dass die Pods den Sidecar-Container istio enthalten, wurde der Exporter eingefügt. Wenn der Sidecar nicht eingefügt wird, folgen Sie der Anleitung unter Istio: Sidecar installieren.

  • Führen Sie den folgenden Befehl aus, um zu prüfen, ob Messwerte vom Istio-Proxy ausgegeben werden. Dieser prüft den Endpunkt /stats/prometheus des istio im angegebenen Pod:

    kubectl exec POD_NAME -n NAMESPACE_NAME -c istio-proxy -- curl -sS 'localhost:15090/stats/prometheus'

    Wenn die Prometheus-Rohmesswerte istio_* und envoy_* angezeigt werden, werden die Messwerte korrekt ausgegeben.

  • Führen Sie den folgenden Befehl aus, um zu prüfen, ob Messwerte auf Istiod ähnlich ausgegeben werden. Damit wird der Endpunkt /metrics von Istiod auf einem der Pods im Deployment istiod geprüft:

    kubectl exec -n istio-system deployment/istiod -- curl -sS 'localhost:15014/metrics'

PodMonitoring-Ressource definieren

Für die Zielerkennung benötigt der Managed Service for Prometheus Operator eine PodMonitoring-Ressource, die dem Istio-Exporter im selben Namespace entspricht.

Sie können die folgende PodMonitoring-Konfiguration verwenden:

# Copyright 2022 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: istiod
  namespace: istio-system
  labels:
    app.kubernetes.io/name: istiod
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  selector:
    matchLabels:
      app: istiod
  endpoints:
  - port: 15014
    interval: 30s
    path: /metrics
  targetLabels:
    fromPod:
    - from: app
      to: app
---
apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: istio-proxy
  labels:
    app.kubernetes.io/name: istio-proxy
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  selector:
    matchLabels:
  endpoints:
  - port: http-envoy-prom
    scheme: http
    interval: 30s
    path: /stats/prometheus
Istio erfordert zwei separate PodMonitoring-Ressourcen: Eine, die Istiod überwacht, und eine weitere, die die Istio Proxy-Sidecars sowie die Gateways für eingehenden und ausgehenden Traffic überwacht. Wenn Sie Istio-Proxy-Messwerte in allen Namespaces im Cluster gleichzeitig überwachen möchten, wenden Sie das PodMonitoring istio-proxy auf jeden Namespace an oder richten Sie eine Ressource ClusterPodMonitoring einer PodMonitoring-Ressource pro Namespace ein.

Wenn Sie die von Istio bereitgestellten Grafana-Dashboards verwenden möchten, müssen Sie zusätzlich zu den in diesem Dokument beschriebenen PodMonitoring-Ressourcen auch Kubelet und cAdvisor-Extraktion konfigurieren.

Führen Sie den folgenden Befehl aus, um Konfigurationsänderungen aus einer lokalen Datei anzuwenden: 

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Sie können Ihre Konfigurationen auch mit Terraform verwalten.

Regeln und Benachrichtigungen definieren

Sie können die folgende Rules-Konfiguration verwenden, um Benachrichtigungen für Redis-Messwerte zu definieren:

# Copyright 2022 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: Rules
metadata:
  name: istio-rules
  labels:
    app.kubernetes.io/component: rules
    app.kubernetes.io/name: istio-rules
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  groups:
  - name: istio
    interval: 30s
    rules:
    - alert: IstioHighTotalRequestRate
      expr: sum(rate(istio_requests_total{reporter="destination"}[5m])) > 1000
      for: 2m
      labels:
        severity: warning
      annotations:
        summary: Istio high total request rate (instance {{ $labels.instance }})
        description: |-
          Global request rate in the service mesh is unusually high.
            VALUE = {{ $value }}
            LABELS = {{ $labels }}
    - alert: IstioLowTotalRequestRate
      expr: sum(rate(istio_requests_total{reporter="destination"}[5m])) < 100
      for: 2m
      labels:
        severity: warning
      annotations:
        summary: Istio low total request rate (instance {{ $labels.instance }})
        description: |-
          Global request rate in the service mesh is unusually low.
            VALUE = {{ $value }}
            LABELS = {{ $labels }}
    - alert: IstioHigh4xxErrorRate
      expr: sum(rate(istio_requests_total{reporter="destination", response_code=~"4.*"}[5m])) / sum(rate(istio_requests_total{reporter="destination"}[5m])) * 100 > 5
      for: 1m
      labels:
        severity: warning
      annotations:
        summary: Istio high 4xx error rate (instance {{ $labels.instance }})
        description: |-
          High percentage of HTTP 5xx responses in Istio (> 5%).
            VALUE = {{ $value }}
            LABELS = {{ $labels }}
    - alert: IstioHigh5xxErrorRate
      expr: sum(rate(istio_requests_total{reporter="destination", response_code=~"5.*"}[5m])) / sum(rate(istio_requests_total{reporter="destination"}[5m])) * 100 > 5
      for: 1m
      labels:
        severity: warning
      annotations:
        summary: Istio high 5xx error rate (instance {{ $labels.instance }})
        description: |-
          High percentage of HTTP 5xx responses in Istio (> 5%).
            VALUE = {{ $value }}
            LABELS = {{ $labels }}
    - alert: IstioHighRequestLatency
      expr: rate(istio_request_duration_milliseconds_sum{reporter="destination"}[1m]) / rate(istio_request_duration_milliseconds_count{reporter="destination"}[1m]) > 100
      for: 1m
      labels:
        severity: warning
      annotations:
        summary: Istio high request latency (instance {{ $labels.instance }})
        description: |-
          Istio average requests execution is longer than 100ms.
            VALUE = {{ $value }}
            LABELS = {{ $labels }}
    - alert: IstioLatency99Percentile
      expr: histogram_quantile(0.99, sum(rate(istio_request_duration_milliseconds_bucket[1m])) by (destination_canonical_service, destination_workload_namespace, source_canonical_service, source_workload_namespace, le)) > 1
      for: 1m
      labels:
        severity: warning
      annotations:
        summary: Istio latency 99 percentile (instance {{ $labels.instance }})
        description: |-
          Istio 1% slowest requests are longer than 1s.
            VALUE = {{ $value }}
            LABELS = {{ $labels }}

Führen Sie den folgenden Befehl aus, um Konfigurationsänderungen aus einer lokalen Datei anzuwenden: 

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Sie können Ihre Konfigurationen auch mit Terraform verwalten.

Weitere Informationen zum Anwenden von Regeln auf Ihren Cluster finden Sie unter Verwaltete Regelauswertung und Benachrichtigungen.

Diese Rules-Konfiguration wurde von den Istio-Regeln angepasst, die von Tolle Prometheus-Benachrichtigungen bereitgestellt wurden. Sie können die Schwellenwerte für Benachrichtigungen an Ihre Anwendung anpassen.

Konfiguration prüfen

Mit dem Metrics Explorer können Sie prüfen, ob der Istio-Exporter richtig konfiguriert ist. Es kann ein oder zwei Minuten dauern, bis Cloud Monitoring Ihre Messwerte aufgenommen hat.

So prüfen Sie, ob die Messwerte aufgenommen wurden:

  1. Rufen Sie in der Google Cloud Console die Seite Metrics Explorer auf.

    Zum Metrics Explorer

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

  2. Klicken Sie in der Symbolleiste des Bereichs "Query Builder" auf die Schaltfläche  MQL oder  PromQL.
  3. Prüfen Sie, ob PromQL in der Ein-/Aus-Schaltfläche PromQL ausgewählt ist. Die Sprachschaltfläche befindet sich in derselben Symbolleiste, mit der Sie Ihre Abfrage formatieren können.
  4. Geben Sie die folgende Abfrage ein und führen Sie sie aus:
    sum(istio_build{cluster="CLUSTER_NAME"}) by (component)

Dashboards ansehen

Die Cloud Monitoring-Integration beinhaltet das Dashboard Istio Envoy Prometheus – Übersicht. Dashboards werden automatisch mitkonfiguriert, wenn Sie die Integration konfigurieren. Sie können auch eine statische Vorschau von Dashboards aufrufen, ohne die Integration zu installieren.

So rufen Sie ein installiertes Dashboard auf:

  1. Rufen Sie in der Google Cloud Console die Seite Dashboards auf.

    Dashboards aufrufen

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

  2. Wählen Sie den Tab Dashboard-Liste aus.
  3. Wählen Sie die Kategorie Integrationen aus.
  4. Klicken Sie auf den Namen des Dashboards, z. B. Istio Envoy Prometheus – Übersicht.

So rufen Sie eine statische Vorschau des Dashboards auf:

  1. Öffnen Sie in der Google Cloud Console die Seite Einbindungen:

    Zu „Integrationen“

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

  2. Klicken Sie auf den Filter für die Deployment-Plattform Kubernetes Engine.
  3. Suchen Sie nach der Istio-Integration und klicken Sie auf Details ansehen.
  4. Wählen Sie den Tab Dashboards aus.

Fehlerbehebung

Informationen zur Fehlerbehebung bei Problemen mit der Messwertaufnahme finden Sie unter Probleme mit der Erfassung über Exporter unter Fehlerbehebung bei Problemen mit der Aufnahme.