Cache HTTP Varnish

L'intégration Varnish collecte les métriques de cache et de session. Elle surveille le nombre d'objets entrant et sortant du cache, ainsi que le nombre de sessions et de connexions backend. L'intégration collecte également les journaux Varnish et les analyse dans une charge utile JSON standardisée.

Pour en savoir plus sur Varnish, consultez la documentation sur le cache HTTP Varnish.

Prérequis

Pour collecter les données de télémétrie Varnish, vous devez installer l'agent Ops :

  • Pour les métriques, installez la version 2.15.0 ou ultérieure.
  • Pour les journaux, installez la version 2.16.0 ou ultérieure.

Cette intégration est compatible avec les versions 6.x et 7.0.x de Varnish.

Configurer une instance Varnish

Le processeur de journalisation Varnish traite les journaux à l'aide de varnishncsa. Varnish peut activer la journalisation varnishncsa en suivant ce guide, en fonction du système d'exploitation.

Par défaut, les journaux sont écrits dans /var/log/varnish/varnishncsa.log. Si vous choisissez une autre destination, vous devez mettre à jour la configuration du récepteur. Les journaux doivent être au format par défaut, et une rotation des journaux doit être configurée.

Configurer l'agent Ops pour Varnish

En suivant le guide de configuration de l'agent Ops, ajoutez les éléments requis pour collecter les données de télémétrie des instances Varnish, puis redémarrez l'agent.

Exemple de configuration

La commande suivante crée la configuration permettant de collecter et d'ingérer les données de télémétrie pour Varnish, et redémarre l'agent Ops sous Linux.

# Configures Ops Agent to collect telemetry from the app and restart Ops Agent.

set -e

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    varnish:
      type: varnish
  service:
    pipelines:
      varnish:
        receivers:
          - varnish
logging:
  receivers:
    varnish:
      type: varnish
  service:
    pipelines:
      varnish:
        receivers:
          - varnish

EOF

sudo service google-cloud-ops-agent restart
sleep 30

Configurer la collecte de journaux

Pour ingérer des journaux à partir de Varnish, vous devez créer des récepteurs pour les journaux produits par Varnish, puis créer un pipeline pour les nouveaux récepteurs.

Pour configurer un récepteur pour vos journaux varnish, spécifiez les champs suivants :

Champ Par défaut Description
exclude_paths Liste des formats de chemin d'accès au système de fichiers à exclure de l'ensemble correspondant à include_paths.
include_paths [/var/log/varnish/varnishncsa.log] Chemin d'accès au journal par défaut varnishncsa à lire en affichant chaque fichier.
record_log_file_path false Si cette valeur est définie sur true, le chemin d'accès au fichier spécifique à partir duquel l'enregistrement de journal a été obtenu apparaît dans l'entrée de journal de sortie en tant que valeur du libellé agent.googleapis.com/log_file_path. Lorsque vous utilisez un caractère générique, seul le chemin du fichier à partir duquel l'enregistrement a été obtenu est enregistré.
type Cette valeur doit être varnish.
wildcard_refresh_interval 60s Intervalle d'actualisation pour les chemins d'accès de fichiers utilisant des caractères génériques dans include_paths. Renseigné sous la forme d'une durée, par exemple, 30s ou 2m. Cette propriété peut s'avérer utile lorsque le débit de journalisation est élevé et que les fichiers journaux sont alternés plus rapidement que l'intervalle par défaut.

Contenu consigné

Le champ logName est dérivé des ID de récepteur spécifiés dans la configuration. Les champs détaillés dans l'entrée de journal (LogEntry) sont les suivants.

Les journaux varnish contiennent les champs suivants dans LogEntry :

Champ Type Description
httpRequest objet Consultez HttpRequest
jsonPayload.host chaîne Contenu de l'en-tête d'hôte
jsonPayload.user chaîne Nom d'utilisateur authentifié pour la requête
severity chaîne (LogSeverity) Niveau d'entrée de journal (traduit).

Configurer la collecte de métriques

Pour ingérer des métriques à partir de Varnish, vous devez créer un récepteur pour les métriques produites par Varnish, puis créer un pipeline pour le nouveau récepteur.

Ce récepteur ne permet pas d'utiliser plusieurs instances dans la configuration, par exemple pour surveiller plusieurs points de terminaison. Toutes ces instances écrivent dans la même série temporelle, et Cloud Monitoring n'a aucun moyen de les distinguer.

Pour configurer un récepteur pour vos métriques varnish, spécifiez les champs suivants :

Champ Par défaut Description
cache_dir Cet élément spécifie le nom de l'instance du répertoire de cache à utiliser lors de la collecte des métriques. Si ce champ n'est pas spécifié, la valeur par défaut est définie sur l'hôte.
collection_interval 60s Une valeur time.Duration, telle que 30s ou 5m.
exec_dir Répertoire où se trouvent les exécutables varnishadm et varnishstat. Si ce champ n'est pas spécifié, le paramètre PATH de l'utilisateur est utilisé.
type Cette valeur doit être varnish.

Métriques surveillées

Le tableau suivant fournit la liste des métriques que l'agent Ops collecte à partir de l'instance Varnish.

Type de métrique
Genre, type
Ressources surveillées
Étiquettes
workload.googleapis.com/varnish.backend.connection.count
CUMULATIVEINT64
gce_instance
kind
workload.googleapis.com/varnish.backend.request.count
CUMULATIVEINT64
gce_instance
 
workload.googleapis.com/varnish.cache.operation.count
CUMULATIVEINT64
gce_instance
operation
workload.googleapis.com/varnish.client.request.count
CUMULATIVEINT64
gce_instance
state
workload.googleapis.com/varnish.client.request.error.count
CUMULATIVEINT64
gce_instance
status_code
workload.googleapis.com/varnish.object.count
GAUGEINT64
gce_instance
 
workload.googleapis.com/varnish.object.expired
CUMULATIVEINT64
gce_instance
 
workload.googleapis.com/varnish.object.moved
CUMULATIVEINT64
gce_instance
 
workload.googleapis.com/varnish.object.nuked
CUMULATIVEINT64
gce_instance
 
workload.googleapis.com/varnish.session.count
CUMULATIVEINT64
gce_instance
kind
workload.googleapis.com/varnish.thread.operation.count
CUMULATIVEINT64
gce_instance
operation

Vérifier la configuration

Cette section explique comment vérifier que vous avez bien configuré le récepteur Varnish. La collecte de la télémétrie par l'agent Ops peut prendre une ou deux minutes.

Pour vérifier que les journaux Varnish sont envoyés à Cloud Logging, procédez comme suit :

  1. Dans le panneau de navigation de la console Google Cloud, sélectionnez Logging, puis Explorateur de journaux :

    Accéder à l'explorateur de journaux

  2. Saisissez la requête suivante dans l'éditeur, puis cliquez sur Exécuter la requête :
    resource.type="gce_instance"
    log_id("varnish")
    

Pour vérifier que les métriques Varnish sont envoyées à Cloud Monitoring, procédez comme suit :

  1. Dans le panneau de navigation de la console Google Cloud, sélectionnez Monitoring, puis  Explorateur de métriques :

    Accéder à l'Explorateur de métriques

  2. Dans la barre d'outils du volet du générateur de requêtes, sélectionnez le bouton dont le nom est  MQL ou  PromQL.
  3. Vérifiez que MQL est sélectionné dans le bouton Langage. Le bouton d'activation/de désactivation de la langue se trouve dans la barre d'outils qui vous permet de mettre en forme votre requête.
  4. Saisissez la requête suivante dans l'éditeur, puis cliquez sur Exécuter la requête :
    fetch gce_instance
    | metric 'workload.googleapis.com/varnish.backend.connection.count'
    | every 1m
    

Afficher le tableau de bord

Pour afficher vos métriques Varnish, vous devez configurer un graphique ou un tableau de bord. L'intégration de Varnish inclut un ou plusieurs tableaux de bord. Tous les tableaux de bord sont automatiquement installés après la configuration de l'intégration et que l'agent Ops a commencé à collecter des données de métriques.

Vous pouvez également afficher des aperçus statiques de tableaux de bord sans installer l'intégration.

Pour afficher un tableau de bord installé, procédez comme suit :

  1. Dans le panneau de navigation de la console Google Cloud, sélectionnez Monitoring, puis  Tableaux de bord :

    Accéder à la page Tableaux de bord

  2. Sélectionnez l'onglet Liste des tableaux de bord, puis choisissez la catégorie Intégrations.
  3. Cliquez sur le nom du tableau de bord que vous souhaitez afficher.

Si vous avez configuré une intégration, mais que le tableau de bord n'a pas été installé, vérifiez que l'agent Ops est en cours d'exécution. Lorsqu'un graphique ne contient aucune donnée de métrique, l'installation du tableau de bord échoue. Une fois que l'agent Ops a commencé à collecter des métriques, le tableau de bord est installé.

Pour afficher un aperçu statique du tableau de bord, procédez comme suit :

  1. Dans le panneau de navigation de la console Google Cloud, sélectionnez Monitoring, puis  Intégrations :

    Accéder à la page Intégrations

  2. Cliquez sur le filtre de plate-forme de déploiement Compute Engine.
  3. Recherchez l'entrée "Varnish", puis cliquez sur View Details (Afficher les détails).
  4. Cliquez sur l'onglet Tableaux de bord pour afficher un aperçu statique. Si le tableau de bord est installé, vous pouvez y accéder en cliquant sur Afficher le tableau de bord.

Pour en savoir plus sur les tableaux de bord dans Cloud Monitoring, consultez la page Tableaux de bord et graphiques.

Pour en savoir plus sur l'utilisation de la page Intégrations, consultez la page Gérer les intégrations.

Installer des règles d'alerte

Les règles d'alerte indiquent à Cloud Monitoring de vous avertir lorsque des conditions spécifiées se produisent. L'intégration de Varnish inclut une ou plusieurs règles d'alerte à utiliser. Vous pouvez afficher et installer ces règles d'alerte à partir de la page Intégrations dans Monitoring.

Pour afficher la description des règles d'alerte disponibles et les installer, procédez comme suit :

  1. Dans le panneau de navigation de la console Google Cloud, sélectionnez Monitoring, puis  Intégrations :

    Accéder à la page Intégrations

  2. Recherchez l'entrée "Varnish", puis cliquez sur View Details (Afficher les détails).
  3. Sélectionnez l'onglet Alertes. Cet onglet fournit une description des règles d'alerte disponibles et fournit une interface pour les installer.
  4. Installez les règles d'alerte. Les règles d'alerte doivent savoir où envoyer des notifications indiquant que l'alerte a été déclenchée. Elles nécessitent donc des informations de votre part pour l'installation. Pour installer des règles d'alerte, procédez comme suit :
    1. Dans la liste des règles d'alerte disponibles, sélectionnez celles que vous souhaitez installer.
    2. Dans la section Configurer les notifications, sélectionnez un ou plusieurs canaux de notification. Vous avez la possibilité de désactiver l'utilisation des canaux de notification. Toutefois, si vous le faites, vos règles d'alerte se déclenchent en mode silencieux. Vous pouvez vérifier leur état dans Monitoring, mais vous ne recevez aucune notification.

      Pour plus d'informations sur les canaux de notification, consultez la section Gérer les canaux de notification.

    3. Cliquez sur Créer des règles.

Pour plus d'informations sur les règles d'alerte dans Cloud Monitoring, consultez la section Présentation des alertes.

Pour en savoir plus sur l'utilisation de la page Intégrations, consultez la page Gérer les intégrations.

Étapes suivantes

Pour accéder à un tutoriel pas à pas expliquant comment utiliser Ansible pour installer l'agent Ops, configurer une application tierce et installer un exemple de tableau de bord, consultez la vidéo Install the Ops Agent to troubleshoot third-party applications (Installer l'agent Ops pour résoudre les problèmes liés à des applications tierces).