HashiCorp Vault

Vault est un système de gestion du chiffrement et des secrets basé sur l'identité. Cette intégration collecte les journaux d'audit de Vault. L'intégration collecte également les métriques de jeton, de mémoire et de stockage.

Pour en savoir plus sur Vault, consultez la documentation de HashiCorp Vault.

Prérequis

Pour collecter les données de télémétrie Vault, vous devez installer l'agent Ops :

  • Pour les métriques, installez la version 2.18.2 ou ultérieure.
  • Pour les journaux, installez la version 2.18.1 ou ultérieure.

Cette intégration est compatible avec Vault version 1.6 ou ultérieure.

Configurer votre instance Vault

Pour collecter les données de télémétrie à partir de votre instance Vault, vous devez définir le champ prometheus_retention_time sur une valeur non nulle dans votre fichier de configuration HCL ou JSON Vault.

Full configuration options can be found at https://www.vaultproject.io/docs/configuration
telemetry {
  prometheus_retention_time = "10m"
  disable_hostname = false
}

De plus, un utilisateur racine est requis pour activer la collecte des journaux d'audit et créer une règle LCA prometheus-metrics. Un jeton racine permet d'ajouter une règle dotée de fonctionnalités de lecture au point de terminaison /sys/metrics. Cette règle permet de créer un jeton Vault disposant d'une autorisation suffisante pour collecter des métriques Vault.

Si vous initialisez Vault pour la première fois, vous pouvez utiliser le script suivant pour générer un jeton racine. Sinon, consultez la section Générer des jetons racines à l'aide de clés de descellement pour en savoir plus sur la génération d'un jeton racine.

export VAULT_ADDR=http://localhost:8200
# Create simple Vault initialization with 1 key share and a key threshold of 1.
vault operator init -key-shares=1 -key-threshold=1 | head -n3 | cat > .vault-init
VAULT_KEY=$(grep 'Unseal Key 1'  .vault-init | awk '{print $NF}')
VAULT_TOKEN=$(grep 'Initial Root Token:' .vault-init | awk '{print $NF}')
export VAULT_TOKEN
vault operator unseal $VAULT_KEY

# Enable audit logs.
vault audit enable file file_path=/var/log/vault_audit.log

# Create Prometheus ACL policy to access metrics endpoint.
vault policy write prometheus-metrics - << EOF
path "/sys/metrics" {
  capabilities = ["read"]
}
EOF

# Create an example token with the prometheus-metrics policy to access Vault metrics.
# This token is used as `$VAULT_TOKEN` in your Ops Agent configuration for Vault.
vault token create -field=token -policy prometheus-metrics > prometheus-token

Configurer l'agent Ops pour Vault

En suivant le guide de configuration de l'agent Ops, ajoutez les éléments requis pour collecter la télémétrie des instances Vault et redémarrez l'agent.

Exemple de configuration

Les commandes suivantes créent la configuration permettant de collecter et d'ingérer la télémétrie pour Vault et de redémarrer l'Agent Ops.

# Configures Ops Agent to collect telemetry from the app and restart Ops Agent.

set -e

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Create a Vault token that has read capabilities to /sys/metrics policy.
# For more information see: https://developer.hashicorp.com/vault/tutorials/monitoring/monitor-telemetry-grafana-prometheus?in=vault%2Fmonitoring#define-prometheus-acl-policy
VAULT_TOKEN=$(cat prometheus-token)


sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    vault:
      type: vault
      token: $VAULT_TOKEN
      endpoint: 127.0.0.1:8200
  service:
    pipelines:
      vault:
        receivers:
          - vault
logging:
  receivers:
    vault_audit:
      type: vault_audit
      include_paths: [/var/log/vault_audit.log]
  service:
    pipelines:
      vault:
        receivers:
          - vault_audit
EOF

sudo service google-cloud-ops-agent restart

Configurer la collecte de journaux

Pour ingérer des métriques à partir de Vault, vous devez créer un récepteur pour les métriques produites par Vault, puis créer un pipeline pour le nouveau récepteur.

Pour configurer un récepteur pour vos journaux vault_audit, spécifiez les champs suivants :

Champ Par défaut Description
exclude_paths Liste des formats de chemin d'accès au système de fichiers à exclure de l'ensemble correspondant à include_paths.
include_paths Liste des chemins d'accès du système de fichiers à lire en affichant chaque fichier. Un caractère générique (*) peut être utilisé dans les chemins d'accès.
record_log_file_path false Si cette valeur est définie sur true, le chemin d'accès au fichier spécifique à partir duquel l'enregistrement de journal a été obtenu apparaît dans l'entrée de journal de sortie en tant que valeur du libellé agent.googleapis.com/log_file_path. Lorsque vous utilisez un caractère générique, seul le chemin du fichier à partir duquel l'enregistrement a été obtenu est enregistré.
type La valeur doit être égale à vault_audit.
wildcard_refresh_interval 60s Intervalle d'actualisation pour les chemins d'accès de fichiers utilisant des caractères génériques dans include_paths. Renseigné sous la forme d'une durée, par exemple, 30s ou 2m. Cette propriété peut s'avérer utile lorsque le débit de journalisation est élevé et que les fichiers journaux sont alternés plus rapidement que l'intervalle par défaut.

Contenu consigné

Le champ logName est dérivé des ID de récepteur spécifiés dans la configuration. Les champs détaillés dans l'entrée de journal (LogEntry) sont les suivants.

Les journaux vault_audit contiennent les champs suivants dans LogEntry :

Champ Type Description
jsonPayload.auth struct
jsonPayload.auth.accessor chaîne Il s'agit d'un HMAC de l'accesseur de jeton client.
jsonPayload.auth.client_token chaîne Il s'agit d'un HMAC de l'ID de jeton du client.
jsonPayload.auth.display_name chaîne Il s'agit du nom à afficher défini par le rôle de la méthode d'authentification ou explicitement au moment de la création du secret.
jsonPayload.auth.entity_id chaîne Il s'agit d'un identifiant d'entité de jeton.
jsonPayload.auth.metadata objet Il contient une liste de paires clé/valeur de métadonnées associées à client_token.
jsonPayload.auth.policies objet Cet objet contiendra une liste de règles associées au client_token.
jsonPayload.auth.token_type chaîne
jsonPayload.error chaîne Si une erreur s'est produite avec la requête, le message d'erreur est inclus dans la valeur de ce champ.
jsonPayload.request struct
jsonPayload.request.client_token chaîne Il s'agit d'un HMAC de l'ID de jeton du client.
jsonPayload.request.client_token_accessor chaîne Il s'agit d'un HMAC de l'accesseur de jeton client.
jsonPayload.request.data objet L'objet de données contiendra des données secrètes sous forme de paires clé/valeur.
jsonPayload.request.headers objet En-têtes HTTP supplémentaires spécifiés par le client dans le cadre de la requête.
jsonPayload.request.id chaîne Il s'agit de l'identifiant de requête unique.
jsonPayload.request.namespace.id chaîne
jsonPayload.request.operation chaîne Il s'agit du type d'opération qui correspond aux capacités du chemin d'accès, parmi : create, read, update, delete ou list.
jsonPayload.request.path chaîne Chemin d'accès Vault demandé pour l'opération.
jsonPayload.request.policy_override booléen Il s'agit de true lorsqu'un remplacement de stratégie réversible a été demandé.
jsonPayload.request.remote_address chaîne Adresse IP du client à l'origine de la requête.
jsonPayload.request.wrap_ttl chaîne Si le jeton est encapsulé, la valeur TTL encapsulée s'affiche sous forme de chaîne numérique.
jsonPayload.response struct
jsonPayload.response.data.accessor chaîne Il s'agit d'un HMAC de l'accesseur de jeton client.
jsonPayload.response.data.creation_time chaîne Horodatage de création du jeton au format RFC 3339.
jsonPayload.response.data.creation_ttl chaîne Valeur TTL de création du jeton en secondes.
jsonPayload.response.data.display_name chaîne Il s'agit du nom à afficher défini par le rôle de la méthode d'authentification ou explicitement au moment de la création du secret.
jsonPayload.response.data.entity_id chaîne Il s'agit d'un identifiant d'entité de jeton.
jsonPayload.response.data.expire_time chaîne Horodatage au format RFC 3339 représentant la date d'expiration du jeton.
jsonPayload.response.data.explicit_max_ttl chaîne Valeur TTL maximale explicite du jeton en secondes ("0" si elle n'est pas définie).
jsonPayload.response.data.id chaîne Il s'agit de l'identifiant de réponse unique.
jsonPayload.response.data.issue_time chaîne Horodatage au format RFC 3339.
jsonPayload.response.data.num_uses nombre Si le nombre d'utilisations du jeton est limité, cette valeur est représentée ici.
jsonPayload.response.data.orphan booléen Valeur booléenne indiquant si le jeton est orphelin.
jsonPayload.response.data.path chaîne Chemin d'accès Vault demandé pour l'opération.
jsonPayload.response.data.policies objet Cet objet contiendra une liste de règles associées au client_token.
jsonPayload.response.data.renewable booléen Valeur booléenne indiquant si le jeton est orphelin.
jsonPayload.type chaîne Type de journal d'audit.
severity chaîne (LogSeverity) Niveau d'entrée de journal (traduit).

Configurer la collecte de métriques

Pour ingérer des métriques à partir de Vault, vous devez créer un récepteur pour les métriques produites par Vault, puis créer un pipeline pour le nouveau récepteur.

Ce récepteur ne permet pas d'utiliser plusieurs instances dans la configuration, par exemple pour surveiller plusieurs points de terminaison. Toutes ces instances écrivent dans la même série temporelle, et Cloud Monitoring n'a aucun moyen de les distinguer.

Pour configurer un récepteur pour vos métriques vault, spécifiez les champs suivants :

Champ Par défaut Description
ca_file Chemin d'accès au certificat CA. En tant que client, cela vérifie le certificat du serveur. Si ce champ est vide, le récepteur utilise l'autorité de certification racine du système.
cert_file Chemin d'accès au certificat TLS à utiliser pour les connexions mTLS requises.
collection_interval 60s Une valeur time duration, telle que 30s ou 5m.
endpoint localhost:8200 La combinaison "Nom d'hôte:Port" utilisée par Vault
insecure true Indique si une connexion TLS sécurisée doit être utilisée. Si ce paramètre est défini sur false, TLS est activé.
insecure_skip_verify false Indique si la validation du certificat doit être ignorée ou non. Si insecure est défini sur true, la valeur insecure_skip_verify n'est pas utilisée.
key_file Chemin d'accès à la clé TLS à utiliser pour les connexions mTLS requises.
metrics_path /v1/sys/metrics Chemin d'accès pour la collecte de métriques.
token localhost:8200 Jeton utilisé pour l'authentification.
type Cette valeur doit être vault.

Métriques surveillées

Le tableau suivant fournit la liste des métriques que l'agent Ops collecte à partir de l'instance Vault.

Type de métrique
Genre, type
Ressources surveillées		 Étiquettes
workload.googleapis.com/vault.audit.request.failed
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/vault.audit.response.failed
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/vault.core.leader.duration
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/vault.core.request.count
GAUGE, INT64
gce_instance 		cluster
workload.googleapis.com/vault.memory.usage
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/vault.storage.operation.delete.count
CUMULATIVE, INT64
gce_instance 		storage
workload.googleapis.com/vault.storage.operation.delete.time
CUMULATIVE, DOUBLE
gce_instance 		storage
workload.googleapis.com/vault.storage.operation.get.count
CUMULATIVE, INT64
gce_instance 		storage
workload.googleapis.com/vault.storage.operation.get.time
CUMULATIVE, DOUBLE
gce_instance 		storage
workload.googleapis.com/vault.storage.operation.list.count
CUMULATIVE, INT64
gce_instance 		storage
workload.googleapis.com/vault.storage.operation.list.time
CUMULATIVE, DOUBLE
gce_instance 		storage
workload.googleapis.com/vault.storage.operation.put.count
CUMULATIVE, INT64
gce_instance 		storage
workload.googleapis.com/vault.storage.operation.put.time
CUMULATIVE, DOUBLE
gce_instance 		storage
workload.googleapis.com/vault.token.count
GAUGE, INT64
gce_instance 		cluster
namespace
workload.googleapis.com/vault.token.lease.count
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/vault.token.renew.time
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/vault.token.revoke.time
GAUGE, INT64
gce_instance 		 

Vérifier la configuration

Cette section explique comment vérifier que vous avez bien configuré le récepteur Vault. La collecte de la télémétrie par l'agent Ops peut prendre une ou deux minutes.

Pour vérifier que les journaux Vault sont envoyés à Cloud Logging, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Explorateur de journaux.

    Accéder à l'explorateur de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Saisissez la requête suivante dans l'éditeur, puis cliquez sur Exécuter la requête :
    resource.type="gce_instance"
log_id("vault_audit")

Pour vérifier que les métriques Vault sont envoyées à Cloud Monitoring, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page  Explorateur de métriques :

    Accéder à l'explorateur de métriques

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.

  2. Dans la barre d'outils du volet de création de requêtes, sélectionnez le bouton nommé  MQL ou  PromQL.
  3. Vérifiez que MQL est sélectionné dans le bouton d'activation Langage. Le bouton de langage se trouve dans la barre d'outils qui vous permet de mettre en forme votre requête.
  4. Saisissez la requête suivante dans l'éditeur, puis cliquez sur Exécuter la requête :
    fetch gce_instance
| metric 'workload.googleapis.com/vault.memory.usage'
| every 1m

Afficher le tableau de bord

Pour afficher vos métriques Vault, vous devez configurer un graphique ou un tableau de bord. L'intégration de Vault inclut un ou plusieurs tableaux de bord. Tous les tableaux de bord sont automatiquement installés après la configuration de l'intégration et que l'agent Ops a commencé à collecter des données de métriques.

Vous pouvez également afficher des aperçus statiques de tableaux de bord sans installer l'intégration.

Pour afficher un tableau de bord installé, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page Tableaux de bord .

    Accéder à la page Tableaux de bord

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.

  2. Sélectionnez l'onglet Liste des tableaux de bord, puis choisissez la catégorie Intégrations.
  3. Cliquez sur le nom du tableau de bord que vous souhaitez afficher.

Si vous avez configuré une intégration, mais que le tableau de bord n'a pas été installé, vérifiez que l'agent Ops est en cours d'exécution. Lorsqu'un graphique ne contient aucune donnée de métrique, l'installation du tableau de bord échoue. Une fois que l'agent Ops a commencé à collecter des métriques, le tableau de bord est installé.

Pour afficher un aperçu statique du tableau de bord, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page Intégrations  :

    Accéder à la page Intégrations

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.

  2. Cliquez sur le filtre de plate-forme de déploiement Compute Engine.
  3. Recherchez l'entrée pour Vault, puis cliquez sur Afficher les détails.
  4. Cliquez sur l'onglet Tableaux de bord pour afficher un aperçu statique. Si le tableau de bord est installé, vous pouvez y accéder en cliquant sur Afficher le tableau de bord.

Pour en savoir plus sur les tableaux de bord dans Cloud Monitoring, consultez la page Tableaux de bord et graphiques.

Pour en savoir plus sur l'utilisation de la page Intégrations, consultez la page Gérer les intégrations.

Installer des règles d'alerte

Les règles d'alerte indiquent à Cloud Monitoring de vous avertir lorsque des conditions spécifiées se produisent. L'intégration Vault inclut une ou plusieurs règles d'alerte. Vous pouvez afficher et installer ces règles d'alerte à partir de la page Intégrations dans Monitoring.

Pour afficher la description des règles d'alerte disponibles et les installer, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page Intégrations  :

    Accéder à la page Intégrations

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.

  2. Recherchez l'entrée pour Vault, puis cliquez sur Afficher les détails.
  3. Sélectionnez l'onglet Alertes. Cet onglet fournit une description des règles d'alerte disponibles et fournit une interface pour les installer.
  4. Installez les règles d'alerte. Les règles d'alerte doivent savoir où envoyer des notifications indiquant que l'alerte a été déclenchée. Elles nécessitent donc des informations de votre part pour l'installation. Pour installer des règles d'alerte, procédez comme suit :
    1. Dans la liste des règles d'alerte disponibles, sélectionnez celles que vous souhaitez installer.

    2. Dans la section Configurer les notifications, sélectionnez un ou plusieurs canaux de notification. Vous avez la possibilité de désactiver l'utilisation des canaux de notification. Toutefois, si vous le faites, vos règles d'alerte se déclenchent en mode silencieux. Vous pouvez vérifier leur état dans Monitoring, mais vous ne recevez aucune notification.

      Pour plus d'informations sur les canaux de notification, consultez la section Gérer les canaux de notification.

    3. Cliquez sur Créer des règles.

Pour plus d'informations sur les règles d'alerte dans Cloud Monitoring, consultez la section Présentation des alertes.

Pour en savoir plus sur l'utilisation de la page Intégrations, consultez la page Gérer les intégrations.

Étape suivante

Pour accéder à un tutoriel pas à pas expliquant comment utiliser Ansible pour installer l'agent Ops, configurer une application tierce et installer un exemple de tableau de bord, consultez la vidéo Install the Ops Agent to troubleshoot third-party applications (Installer l'agent Ops pour résoudre les problèmes liés à des applications tierces).