Varnish

Ce document explique comment configurer le déploiement de Google Kubernetes Engine afin de pouvoir collecter des métriques à partir de Varnish à l'aide de Google Cloud Managed Service pour Prometheus. Ce document vous explique comment :

  • configurer l'exportateur pour Varnish afin de générer des rapports sur les métriques ;
  • configurer une ressource PodMonitoring pour Managed Service pour Prometheus afin de collecter les métriques exportées ;
  • accéder à un tableau de bord dans Cloud Monitoring pour consulter les métriques ;
  • configurer des règles d'alerte pour surveiller les métriques.

Ces instructions ne s'appliquent que si vous utilisez une collecte gérée avec Managed Service pour Prometheus. Si vous utilisez une collecte auto-déployée, consultez le dépôt source de l'exportateur Varnish pour obtenir des informations sur l'installation.

Ces instructions sont fournies à titre d'exemple et devraient fonctionner dans la plupart des environnements Kubernetes. Si vous rencontrez des difficultés pour installer une application ou un exportateur en raison de règles de sécurité ou d'organisation restrictives, nous vous recommandons de consulter la documentation Open Source pour obtenir de l'aide.

Pour en savoir plus sur Varnish, consultez la page Varnish.

Prérequis

Pour collecter des métriques à partir de Varnish en utilisant Managed Service pour Prometheus et la collecte gérée, votre déploiement doit répondre aux exigences suivantes :

  • Votre cluster doit exécuter Google Kubernetes Engine version 1.21.4-gke.300 ou ultérieure.
  • Vous devez exécuter Managed Service pour Prometheus en ayant activé la collecte gérée. Pour en savoir plus, consultez la page Premiers pas avec la collecte gérée.

  • Pour utiliser les tableaux de bord disponibles dans Cloud Monitoring pour l'intégration de Varnish, vous devez utiliser prometheus_varnish_exporter version 1.6.1 ou ultérieure.

    Pour en savoir plus sur les tableaux de bord disponibles, consultez Afficher les tableaux de bord.

L'exportateur Varnish récupère la sortie de la commande varnishstat. Il nécessite le partage d'espace de noms de processus et l'accès au répertoire /var/lib/varnish du conteneur Varnish.

L'exportateur Varnish n'est pas publié en tant qu'image de conteneur. Vous devez créer votre propre image. L'exemple suivant montre comment créer une image de conteneur d'exportateur contenant l'exportateur et la commande varnishstat.

# Copyright 2024 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

FROM debian:stable-slim as stage
WORKDIR /exporter
ADD https://github.com/jonnenauha/prometheus_varnish_exporter/releases/download/1.6.1/prometheus_varnish_exporter-1.6.1.linux-amd64.tar.gz /exporter/exporter.tar.gz
RUN tar -xvf exporter.tar.gz
RUN chmod +x /exporter/prometheus_varnish_exporter-1.6.1.linux-amd64/prometheus_varnish_exporter
FROM varnish:7.2.0
COPY --from=stage /exporter/prometheus_varnish_exporter-1.6.1.linux-amd64/prometheus_varnish_exporter /prometheus_varnish_exporter
ENTRYPOINT [ "/prometheus_varnish_exporter" ]

Installer l'exportateur Varnish

Nous vous recommandons d'installer l'exportateur Varnish, prometheus_varnish_exporter, en tant que side-car pour votre charge de travail Varnish. Pour en savoir plus sur l'utilisation des side-cars, consultez Applications étendues sur Kubernetes avec des pods multiconteneurs.

Pour installer prometheus_varnish_exporter en tant que side-car pour Varnish, modifiez la configuration de Varnish comme indiqué dans l'exemple suivant :

# Copyright 2023 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: varnish
spec:
  selector:
    matchLabels:
+     app.kubernetes.io/name: varnish
  template:
    metadata:
      name: varnish
      labels:
+       app.kubernetes.io/name: varnish
    spec:
      containers:
      - name: varnish
        image: varnish:7.2.0
+       volumeMounts:
+         - name: shared-data
+           mountPath: /var/lib/varnish
+       env:
+       - name: VARNISH_HTTP_PORT
+         value: "8080"
+     - name: exporter
+       image: <custom-docker-image>
+       volumeMounts:
+         - name: shared-data
+           mountPath: /var/lib/varnish
+           readOnly: true
+       ports:
+       - containerPort: 9131
+         name: prometheus
+     volumes:
+       - name: shared-data
+         emptyDir: {}
+     shareProcessNamespace: true

Vous devez ajouter toutes les lignes précédées du symbole + à votre configuration.

Pour appliquer les modifications de configuration à partir d'un fichier local, exécutez la commande suivante : 

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Vous pouvez également utiliser Terraform pour gérer vos configurations.

Définir une ressource PodMonitoring

Pour la découverte des cibles, l'opérateur Managed Service pour Prometheus doit disposer d'une ressource PodMonitoring correspondant à l'exportateur Varnish dans le même espace de noms.

Vous pouvez utiliser la configuration PodMonitoring suivante :

# Copyright 2023 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: varnish
  labels:
    app.kubernetes.io/name: varnish
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  endpoints:
  - port: prometheus
    scheme: http
    interval: 30s
    path: /metrics
  selector:
    matchLabels:
      app.kubernetes.io/name: varnish

Assurez-vous que les sélecteurs de libellés et le port correspondent aux sélecteurs et au port utilisés dans la section Installer l'exportateur Varnish.

Pour appliquer les modifications de configuration à partir d'un fichier local, exécutez la commande suivante : 

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Vous pouvez également utiliser Terraform pour gérer vos configurations.

Définir des règles et des alertes

Vous pouvez utiliser la configuration Rules suivante pour définir des alertes sur vos métriques Varnish :

# Copyright 2023 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: Rules
metadata:
  name: varnish-rules
  labels:
    app.kubernetes.io/component: rules
    app.kubernetes.io/name: varnish-rules
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  groups:
  - name: varnish
    interval: 30s
    rules:
    - alert: VarnishBackendConnectionFailure
      annotations:
        description: |-
          Varnish backend connection failure
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Varnish backend connection failure (instance {{ $labels.instance }})
      expr: varnish_backend_fail > 0
      for: 5m
      labels:
        severity: critical
    - alert: VarnishHighCacheEvictions
      annotations:
        description: |-
          Varnish high cache evictions
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Varnish high cache evictions (instance {{ $labels.instance }})
      expr: rate(varnish_main_n_obj_purged[5m]) >= 10
      for: 5m
      labels:
        severity: warning
    - alert: VarnishHighServerLimit
      annotations:
        description: |-
          Varnish high server limit
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Varnish high server limit (instance {{ $labels.instance }})
      expr: varnish_main_threads_failed > 0
      for: 5m
      labels:
        severity: critical
    - alert: VarnishSessionsDropped
      annotations:
        description: |-
          Varnish sessions dropped
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Varnish sessions dropped (instance {{ $labels.instance }})
      expr: varnish_main_sessions{type="dropped"} > 0
      for: 5m
      labels:
        severity: critical

Pour appliquer les modifications de configuration à partir d'un fichier local, exécutez la commande suivante : 

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Vous pouvez également utiliser Terraform pour gérer vos configurations.

Pour en savoir plus sur l'application de règles à votre cluster, consultez Évaluation des règles et alertes gérées.

Vous pouvez ajuster les seuils d'alerte en fonction de votre application.

Vérifier la configuration

Vous pouvez utiliser l'Explorateur de métriques pour vérifier que vous avez correctement configuré l'exportateur Varnish. L'ingestion de vos métriques par Cloud Monitoring peut prendre une ou deux minutes.

Procédez comme suit pour vérifier que les métriques ont bien été ingérées :

  1. Dans la console Google Cloud, accédez à la page  Explorateur de métriques :

    Accéder à l'explorateur de métriques

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.

  2. Dans la barre d'outils du volet de création de requêtes, sélectionnez le bouton nommé  MQL ou  PromQL.
  3. Vérifiez que PromQL est sélectionné dans le bouton d'activation Langage. Le bouton de langage se trouve dans la barre d'outils qui vous permet de mettre en forme votre requête.
  4. Saisissez et exécutez la requête suivante :
    up{job="varnish", cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}

Afficher les tableaux de bord

L'intégration à Cloud Monitoring comprend le tableau de bord Présentation de Varnish-Prometheus. Les tableaux de bord sont installés automatiquement lorsque vous configurez l'intégration. Vous pouvez également afficher des aperçus statiques de tableaux de bord sans installer l'intégration.

Pour afficher un tableau de bord installé, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page Tableaux de bord .

    Accéder à la page Tableaux de bord

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.

  2. Sélectionnez l'onglet Liste des tableaux de bord.
  3. Choisissez la catégorie Intégrations.
  4. Cliquez sur le nom du tableau de bord, par exemple Présentation de Varnish-Prometheus.

Pour afficher un aperçu statique du tableau de bord, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page Intégrations  :

    Accéder à la page Intégrations

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.

  2. Cliquez sur le filtre de plate-forme de déploiement Kubernetes Engine.
  3. Localisez l'intégration Varnish, puis cliquez sur Afficher les détails.
  4. Sélectionnez l'onglet Tableaux de bord.

Dépannage

Pour en savoir plus sur la résolution des problèmes d'ingestion de métriques, consultez la section Problèmes liés à la collecte par les exportateurs dans la section Résoudre les problèmes côté ingestion.