HashiCorp Vault

Vault ist ein identitätsbasiertes Secret und ein Verschlüsselungsverwaltungssystem. Durch diese Integration werden die Audit-Logs von Vault erfasst. Die Integration erfasst auch Token-, Arbeitsspeicher- und Speichermesswerte.

Weitere Informationen zu Vault finden Sie in der Dokumentation zu Hashicorp Vault.

Vorbereitung

Zum Erfassen von Flink-Telemetriedaten müssen Sie den Ops-Agent installieren:

  • Installieren Sie für Messwerte Version 2.18.2 oder höher.
  • Installieren Sie für Logs die Version 2.18.1 oder höher.

Diese Integration unterstützt Vault Version 1.6 oder höher.

Vault-Instanz konfigurieren

Zum Erfassen von Telemetriedaten aus Ihrer Vault-Instanz müssen Sie in der Konfigurationsdatei von HCL oder JSON Vault das Feld prometheus_retention_time auf einen Wert ungleich null setzen.

Full configuration options can be found at https://www.vaultproject.io/docs/configuration
telemetry {
  prometheus_retention_time = "10m"
  disable_hostname = false
}

Darüber hinaus ist ein Root-Nutzer erforderlich, um die Audit-Log-Erfassung zu aktivieren und eine Prometheus-Richtlinie für Prometheus-Messwerte zu erstellen. Mit einem Root-Token wird dem Endpunkt /sys/metrics eine Richtlinie mit Lesefunktionen hinzugefügt. Mit dieser Richtlinie wird ein Vault-Token mit ausreichenden Berechtigungen zum Erfassen von Vault-Messwerten erstellt.

Wenn Sie Vault zum ersten Mal initialisieren, können Sie mit dem folgenden Script ein Root-Token generieren. Andernfalls finden Sie unter Root-Tokens mit Unseal Keys generieren Informationen zum Generieren eines Root-Tokens.

export VAULT_ADDR=http://localhost:8200
# Create simple Vault initialization with 1 key share and a key threshold of 1.
vault operator init -key-shares=1 -key-threshold=1 | head -n3 | cat > .vault-init
VAULT_KEY=$(grep 'Unseal Key 1'  .vault-init | awk '{print $NF}')
VAULT_TOKEN=$(grep 'Initial Root Token:' .vault-init | awk '{print $NF}')
export VAULT_TOKEN
vault operator unseal $VAULT_KEY

# Enable audit logs.
vault audit enable file file_path=/var/log/vault_audit.log

# Create Prometheus ACL policy to access metrics endpoint.
vault policy write prometheus-metrics - << EOF
path "/sys/metrics" {
  capabilities = ["read"]
}
EOF

# Create an example token with the prometheus-metrics policy to access Vault metrics.
# This token is used as `$VAULT_TOKEN` in your Ops Agent configuration for Vault.
vault token create -field=token -policy prometheus-metrics > prometheus-token

Ops-Agent für Vault konfigurieren

Fügen Sie die erforderlichen Elemente zum Erfassen von Telemetriedaten aus den Vault-Instanzen gemäß der Anleitung unter Ops-Agent konfigurieren hinzu und starten Sie den Agent neu.

Konfigurationsbeispiel

Der folgende Befehl erstellt die Konfiguration zum Erfassen und Aufnehmen von Telemetriedaten für Vault und startet den Ops-Agent neu.

# Configures Ops Agent to collect telemetry from the app and restart Ops Agent.

set -e

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Create a Vault token that has read capabilities to /sys/metrics policy.
# For more information see: https://developer.hashicorp.com/vault/tutorials/monitoring/monitor-telemetry-grafana-prometheus?in=vault%2Fmonitoring#define-prometheus-acl-policy
VAULT_TOKEN=$(cat prometheus-token)

sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    vault:
      type: vault
      token: $VAULT_TOKEN
      endpoint: 127.0.0.1:8200
  service:
    pipelines:
      vault:
        receivers:
          - vault
logging:
  receivers:
    vault_audit:
      type: vault_audit
      include_paths: [/var/log/vault_audit.log]
  service:
    pipelines:
      vault:
        receivers:
          - vault_audit
EOF

sudo service google-cloud-ops-agent restart

Logerfassung konfigurieren

Um Logs von Vault aufzunehmen, müssen Sie Empfänger für die von Vault erzeugten Logs erstellen und dann eine Pipeline für die neuen Empfänger erstellen.

Geben Sie die folgenden Felder an, um einen Empfänger für Ihre vault_audit-Logs zu konfigurieren:

Feld Standard Beschreibung
exclude_paths Eine Liste von Dateisystempfadmustern, die aus dem mit include_paths übereinstimmenden Satz ausgeschlossen werden sollen.
include_paths Eine Liste mit Dateisystempfaden, die durch Tailing jeder Datei gelesen werden sollen. In den Pfaden kann ein Platzhalter (*) verwendet werden.
record_log_file_path false Wenn true festgelegt ist, wird der Pfad zu der spezifischen Datei, aus der der Logdatensatz abgerufen wurde, im Ausgabelogeintrag als Wert des Labels agent.googleapis.com/log_file_path angezeigt. Bei Verwendung eines Platzhalters wird nur der Pfad der Datei aufgezeichnet, aus der der Eintrag abgerufen wurde.
type Der Wert muss vault_audit betragen.
wildcard_refresh_interval 60s Das Intervall, in dem Platzhalterdateipfade in include_paths aktualisiert werden. Wird als Zeitdauer angegeben, z. B. 30s oder 2m. Dieses Attribut kann bei hohen Logging-Durchsätzen nützlich sein, wenn Logdateien schneller als das Standardintervall rotiert werden.

Was wird protokolliert?

Der logName wird von den Empfänger-IDs abgeleitet, die in der Konfiguration angegeben sind. Detaillierte Felder in LogEntry sind:

vault_audit-Logs enthalten die folgenden Felder in LogEntry:

Feld Typ Beschreibung
jsonPayload.auth Struktur (in Code: struct)
jsonPayload.auth.accessor String Dies ist ein HMAC der auf das Client-Token zugreifenden Person.
jsonPayload.auth.client_token String Dies ist ein HMAC der Token-ID des Clients.
jsonPayload.auth.display_name String Dies ist der angezeigte Name, der von der Rolle für die Authentifizierungsmethode oder explizit beim Erstellen des Secrets festgelegt wird.
jsonPayload.auth.entity_id String Dies ist eine Token-Entitätskennung.
jsonPayload.auth.metadata Objekt Dies enthält eine Liste der Metadaten-Schlüssel/Wert-Paare, die mit dem Client-Token verknüpft sind.
jsonPayload.auth.policies Objekt Dies enthält eine Liste von Richtlinien, die dem Client-Token zugeordnet sind.
jsonPayload.auth.token_type String
jsonPayload.error String Wenn bei der Anfrage ein Fehler aufgetreten ist, ist die Fehlermeldung im Wert dieses Felds enthalten.
jsonPayload.request Struktur (in Code: struct)
jsonPayload.request.client_token String Dies ist ein HMAC der Token-ID des Clients.
jsonPayload.request.client_token_accessor String Dies ist ein HMAC der auf das Client-Token zugreifenden Person.
jsonPayload.request.data Objekt Das Datenobjekt enthält Secret-Daten in Schlüssel/Wert-Paaren.
jsonPayload.request.headers Objekt Zusätzliche HTTP-Header, die vom Client als Teil der Anfrage angegeben werden.
jsonPayload.request.id String Dies ist die eindeutige Anfragekennung.
jsonPayload.request.namespace.id String
jsonPayload.request.operation String Dies ist der Typ des Vorgangs, der den Pfadfunktionen entspricht, und lautet voraussichtlich create, read, update, delete oder list.
jsonPayload.request.path String Der angeforderte Vault-Pfad für den Vorgang.
jsonPayload.request.policy_override boolean Dies ist true, wenn eine weich-obligatorische Richtlinienüberschreibung angefordert wurde.
jsonPayload.request.remote_address String Die IP-Adresse des Clients, der die Anfrage stellt.
jsonPayload.request.wrap_ttl String Wenn das Token verpackt ist, wird der konfigurierte verpackte TTL-Wert als numerischer String angezeigt.
jsonPayload.response Struktur (in Code: struct)
jsonPayload.response.data.accessor String Dies ist ein HMAC der auf das Client-Token zugreifenden Person.
jsonPayload.response.data.creation_time String Zeitstempel im RFC 3339-Format für die Erstellung des Tokens.
jsonPayload.response.data.creation_ttl String TTL der Tokenerstellung in Sekunden.
jsonPayload.response.data.display_name String Dies ist der angezeigte Name, der von der Rolle für die Authentifizierungsmethode oder explizit beim Erstellen des Secrets festgelegt wird.
jsonPayload.response.data.entity_id String Dies ist eine Token-Entitätskennung.
jsonPayload.response.data.expire_time String Zeitstempel im RFC 3339-Format, der den Zeitpunkt darstellt, an dem dieses Token abläuft.
jsonPayload.response.data.explicit_max_ttl String Maximaler TTL-Wert für explizite Tokens in Sekunden ("0", wenn nicht festgelegt).
jsonPayload.response.data.id String Dies ist die eindeutige Antwortkennung.
jsonPayload.response.data.issue_time String Zeitstempel im RFC 3339-Format.
jsonPayload.response.data.num_uses number Wenn das Token auf eine bestimmte Anzahl von Verwendungen beschränkt ist, wird dieser Wert hier dargestellt.
jsonPayload.response.data.orphan boolean Boolescher Wert, der angibt, ob das Token verwaist ist.
jsonPayload.response.data.path String Der angeforderte Vault-Pfad für den Vorgang.
jsonPayload.response.data.policies Objekt Dies enthält eine Liste von Richtlinien, die dem Client-Token zugeordnet sind.
jsonPayload.response.data.renewable boolean Boolescher Wert, der angibt, ob das Token verwaist ist.
jsonPayload.type String Der Typ des Audit-Logs.
severity String
timestamp String (Timestamp) Zeitpunkt des Eingangs der Anfrage

Messwerterfassung konfigurieren

Um Messwerte von Vault aufzunehmen, müssen Sie einen Empfänger für die von Vault erzeugten Messwerte erstellen und dann eine Pipeline für den neuen Empfänger erstellen.

Dieser Empfänger unterstützt die Verwendung mehrerer Instanzen in der Konfiguration, z. B. zum Überwachen mehrerer Endpunkte, nicht. Alle diese Instanzen schreiben in dieselbe Zeitachse und Cloud Monitoring kann sie nicht unterscheiden.

Um einen Empfänger für Ihre vault-Messwerte zu konfigurieren, geben Sie die folgenden Felder an:

Feld Standard Beschreibung
ca_file Pfad zum CA-Zertifikat. Als Client wird dadurch das Serverzertifikat verifiziert. Wenn leer, verwendet der Empfänger die System-Stammzertifizierungsstelle.
cert_file Pfad zum TLS-Zertifikat, das für TLS-fähige Verbindungen verwendet werden soll.
collection_interval 60s Ein time.Duration-Wert wie 30s oder 5m.
endpoint localhost:8200 Der von Vault verwendete „hostname:port“
insecure true Legt fest, ob eine sichere TLS-Verbindung verwendet werden soll. Wenn false festgelegt ist, ist TLS aktiviert.
insecure_skip_verify false Legt fest, ob die Bestätigung des Zertifikats übersprungen werden soll. Wenn insecure auf true gesetzt ist, wird der Wert „insecure_skip_verify“ nicht verwendet.
key_file Pfad zum TLS-Schlüssel, der für TLS-erforderliche Verbindungen verwendet werden soll.
metrics_path /v1/sys/metrics Der Pfad für die Messwerterfassung.
token localhost:8200 Für die Authentifizierung verwendetes Token.
type Dieser Wert muss vault sein.

Was wird überwacht?

Die folgende Tabelle enthält die Liste der Messwerte, die der Ops-Agent aus der Vault-Instanz erfasst.

Messwerttyp
Art, Typ
Überwachte Ressourcen		 Label
workload.googleapis.com/vault.audit.request.failed
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/vault.audit.response.failed
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/vault.core.leader.duration
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/vault.core.request.count
GAUGE, INT64
gce_instance 		cluster
workload.googleapis.com/vault.memory.usage
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/vault.storage.operation.delete.count
CUMULATIVE, INT64
gce_instance 		storage
workload.googleapis.com/vault.storage.operation.delete.time
CUMULATIVE, DOUBLE
gce_instance 		storage
workload.googleapis.com/vault.storage.operation.get.count
CUMULATIVE, INT64
gce_instance 		storage
workload.googleapis.com/vault.storage.operation.get.time
CUMULATIVE, DOUBLE
gce_instance 		storage
workload.googleapis.com/vault.storage.operation.list.count
CUMULATIVE, INT64
gce_instance 		storage
workload.googleapis.com/vault.storage.operation.list.time
CUMULATIVE, DOUBLE
gce_instance 		storage
workload.googleapis.com/vault.storage.operation.put.count
CUMULATIVE, INT64
gce_instance 		storage
workload.googleapis.com/vault.storage.operation.put.time
CUMULATIVE, DOUBLE
gce_instance 		storage
workload.googleapis.com/vault.token.count
GAUGE, INT64
gce_instance 		namespace
cluster
workload.googleapis.com/vault.token.lease.count
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/vault.token.renew.time
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/vault.token.revoke.time
GAUGE, INT64
gce_instance 		 

Konfiguration prüfen

In diesem Abschnitt wird beschrieben, wie Sie prüfen können, ob Sie den Vault-Empfänger richtig konfiguriert haben. Es kann ein oder zwei Minuten dauern, bis der Ops-Agent Telemetriedaten erfasst.

So prüfen Sie, ob Vault-Logs an Cloud Logging gesendet werden:

  1. Wählen Sie im Navigationsbereich der Google Cloud Console Logging und anschließend Log-Explorer aus:

    Zum Log-Explorer

  2. Geben Sie im Editor die folgende Abfrage ein und klicken Sie dann auf Abfrage ausführen: 
    resource.type="gce_instance"
log_id("vault_audit")

So prüfen Sie, ob Vault-Messwerte an Cloud Monitoring gesendet werden:

  1. Wählen Sie im Navigationsbereich der Google Cloud Console Monitoring und anschließend  Metrics Explorer aus:

    Zum Metrics Explorer

  2. Klicken Sie in der Symbolleiste des Bereichs "Query Builder" auf die Schaltfläche  MQL oder  PromQL.
  3. Prüfen Sie, ob MQL im Schalter Sprache ausgewählt ist. Die Sprachschaltfläche befindet sich in derselben Symbolleiste, mit der Sie Ihre Abfrage formatieren können.
  4. Geben Sie im Editor die folgende Abfrage ein und klicken Sie dann auf Abfrage ausführen: 
    fetch gce_instance
| metric 'workload.googleapis.com/vault.memory.usage'
| every 1m

Dashboard aufrufen

Damit Sie Ihre Vault-Messwerte aufrufen können, müssen Sie ein Diagramm oder ein Dashboard konfiguriert haben. Die Vault-Einbindung enthält ein oder mehrere Dashboards. Alle Dashboards werden automatisch installiert, nachdem Sie die Integration konfiguriert haben und der Ops-Agent mit dem Erfassen von Messwertdaten begonnen hat.

Sie können auch eine statische Vorschau von Dashboards aufrufen, ohne die Integration zu installieren.

So rufen Sie ein installiertes Dashboard auf:

  1. Wählen Sie im Navigationsbereich der Google Cloud Console Monitoring und anschließend  Dashboards aus:

    Dashboards aufrufen

  2. Wählen Sie den Tab Dashboard-Liste und dann die Kategorie Integrationen aus.
  3. Wählen Sie den Namen des Dashboards aus, das Sie aufrufen möchten.

Wenn Sie eine Integration konfiguriert haben, das Dashboard jedoch nicht installiert ist, prüfen Sie, ob der Ops-Agent ausgeführt wird. Wenn im Dashboard keine Messwertdaten für ein Diagramm vorhanden sind, schlägt die Installation des Dashboards fehl. Nachdem der Ops-Agent mit dem Erfassen von Messwerten begonnen hat, wird das Dashboard für Sie installiert.

So rufen Sie eine statische Vorschau des Dashboards auf:

  1. Wählen Sie im Navigationsbereich der Google Cloud Console Monitoring und anschließend  Integrationen aus:

    Zu „Integrationen“

  2. Klicken Sie auf den Filter für die Deployment-Plattform Compute Engine.
  3. Suchen Sie den Eintrag für Vault und klicken Sie auf Details ansehen.
  4. Wählen Sie den Tab Dashboards aus, um eine statische Vorschau aufzurufen. Wenn das Dashboard installiert ist, können Sie es aufrufen. Klicken Sie dazu auf Dashboard aufrufen.

Weitere Informationen zu Dashboards in Cloud Monitoring finden Sie unter Dashboards und Diagramme.

Weitere Informationen zur Verwendung der Seite Integrationen finden Sie unter Integrationen verwalten.

Benachrichtigungsrichtlinien installieren

Durch Benachrichtigungsrichtlinien wird Cloud Monitoring angewiesen, Sie zu benachrichtigen, wenn bestimmte Bedingungen auftreten. Die Vault-Integration enthält eine oder mehrere Benachrichtigungsrichtlinien, die Sie verwenden können. Sie können diese Benachrichtigungsrichtlinien auf der Seite Integrationen in Monitoring aufrufen und installieren.

So zeigen Sie die Beschreibungen der verfügbaren Benachrichtigungsrichtlinien an und installieren sie:

  1. Wählen Sie im Navigationsbereich der Google Cloud Console Monitoring und anschließend  Integrationen aus:

    Zu „Integrationen“

  2. Suchen Sie den Eintrag für Vault und klicken Sie auf Details ansehen.
  3. Wählen Sie den Tab Benachrichtigungen aus. Dieser Tab enthält Beschreibungen der verfügbaren Benachrichtigungsrichtlinien und eine Oberfläche für deren Installation.
  4. Installieren Sie Benachrichtigungsrichtlinien. Benachrichtigungsrichtlinien müssen wissen, wohin Benachrichtigungen gesendet werden sollen, dass die Benachrichtigung ausgelöst wurde. Daher benötigen sie Informationen von Ihnen für die Installation. So installieren Sie Benachrichtigungsrichtlinien:
    1. Wählen Sie aus der Liste der verfügbaren Benachrichtigungsrichtlinien die Richtlinien aus, die Sie installieren möchten.

    2. Wählen Sie im Abschnitt Benachrichtigungen konfigurieren einen oder mehrere Benachrichtigungskanäle aus. Sie haben die Möglichkeit, die Verwendung von Benachrichtigungskanälen zu deaktivieren. In diesem Fall werden Ihre Benachrichtigungsrichtlinien jedoch automatisch ausgelöst. Sie können ihren Status in Monitoring prüfen, aber Sie erhalten keine Benachrichtigungen.

      Weitere Informationen zu Benachrichtigungskanälen finden Sie unter Benachrichtigungskanäle verwalten.

    3. Klicken Sie auf Richtlinien erstellen.

Weitere Informationen zu Benachrichtigungsrichtlinien in Cloud Monitoring finden Sie unter Einführung in Benachrichtigungen.

Weitere Informationen zur Verwendung der Seite Integrationen finden Sie unter Integrationen verwalten.

Nächste Schritte

Eine Anleitung zur Installation von Ops-Agent mit Ansible zum Konfigurieren einer Drittanbieteranwendung und zum Installieren eines Beispieldashboards finden Sie im Video Ops-Agent installieren, um Fehler in Drittanbieteranwendungen zu beheben.