Journaux de flux VPC

Les journaux de flux VPC enregistrent un échantillon des paquets envoyés et reçus par les instances de machines virtuelles (VM), y compris les instances utilisées comme nœuds Google Kubernetes Engine, ainsi que des paquets envoyés via des rattachements de VLAN pour les tunnels Cloud Interconnect et Cloud VPN (Preview).

Les journaux de flux sont regroupés par connexion IP (5-tuple). Ces journaux peuvent être utilisés pour la surveillance et l'investigation des réseaux, l'analyse de la sécurité et l'optimisation des dépenses.

Vous pouvez consulter les journaux de flux dans Cloud Logging et exporter les journaux vers n'importe quelle destination compatible avec l'exportation Cloud Logging.

Cas d'utilisation

Surveillance du réseau

Les journaux de flux VPC vous offrent une visibilité sur le débit et les performances du réseau. Vous pouvez :

  • surveiller le réseau VPC ;
  • réaliser un diagnostic du réseau ;
  • Filtrer les journaux de flux par VM, VLAN et tunnels Cloud VPN pour comprendre les évolutions du trafic
  • comprendre la croissance du trafic pour prévoir les besoins en capacité.

Comprendre l'utilisation du réseau et optimiser les frais liés au trafic réseau

Vous pouvez analyser l'utilisation du réseau à l'aide des journaux de flux VPC pour optimiser les dépenses liées au trafic réseau. Par exemple, vous pouvez analyser les flux du réseau pour les éléments suivants:

  • Trafic entre régions et zones
  • Trafic vers certains pays sur Internet
  • Trafic vers des réseaux sur site et d'autres réseaux cloud
  • Principaux émetteurs du réseau, y compris les VM, les rattachements de VLAN et les tunnels Cloud VPN

Investigation numérique du réseau

Vous pouvez utiliser les journaux de flux VPC pour analyser le réseau. Par exemple, en cas d'incident, vous pouvez examiner :

  • les adresses IP impliquées, et avec qui et quand elles ont communiqué ;
  • les éventuelles adresses IP compromises en analysant tous les flux réseau entrants et sortants.

Spécifications

  • Les journaux de flux VPC font partie d'Andromeda, le logiciel qui alimente les réseaux VPC. Ils ne causent pas de délai ni de perte de performances lorsqu'ils sont activés.
  • Les journaux de flux VPC fonctionnent avec les réseaux VPC, mais pas avec les anciens réseaux. Vous pouvez activer ou désactiver les journaux de flux VPC par sous-réseau, le rattachement VLAN pour Cloud Interconnect (Preview) ou le tunnel Cloud VPN (Preview). Si cette option est activée pour un sous-réseau, les journaux de flux VPC collectent les données issues de toutes les instances de VM, y compris les nœuds GKE, de ce sous-réseau.
  • Les journaux de flux VPC échantillonnent les flux TCP, UDP, ICMP, ESP et GRE. Les flux entrants et sortants sont échantillonnés. Ces flux peuvent se trouver dans Google Cloud ou entre Google Cloud et d'autres réseaux. Si un flux est capturé par échantillonnage, les journaux de flux VPC génèrent un journal pour le flux. Chaque enregistrement de flux inclut les informations décrites dans la section Format de l'enregistrement.
  • Les journaux de flux VPC interagissent avec les règles de pare-feu de la manière suivante :
    • Les paquets de sortie sont échantillonnés avant les règles de pare-feu de sortie. Même si une règle de pare-feu de sortie refuse les paquets sortants, ces paquets peuvent être échantillonnés par les journaux de flux VPC.
    • Les paquets d'entrée sont échantillonnés après les règles de pare-feu d'entrée. Si une règle de pare-feu d'entrée refuse les paquets entrants, ces paquets ne sont pas échantillonnés par les journaux de flux VPC.
  • Vous pouvez utiliser des filtres dans les journaux de flux VPC pour ne générer que certains journaux.
  • Les journaux de flux VPC sont compatibles avec les VM ayant plusieurs interfaces réseau. Vous devez activer les journaux de flux VPC pour chaque sous-réseau, dans chaque VPC contenant une interface réseau.
  • Pour enregistrer les flux entre les pods sur le même nœud Google Kubernetes Engine (GKE), vous devez activer la visibilité intranœud pour le cluster.
  • Les journaux de flux VPC ne sont pas consignés pour les ressources Cloud Run.

Collecte de journaux

Les paquets sont échantillonnés dans un intervalle d'agrégation. Tous les paquets collectés pour une connexion IP donnée pendant l'intervalle d'agrégation sont agrégés en une seule entrée de journal de flux. Ces données sont ensuite envoyées à Logging.

Par défaut, les journaux sont stockés dans Logging pendant 30 jours. Si vous souhaitez les conserver plus longtemps, vous pouvez définir une durée de conservation personnalisée ou les exporter vers une destination compatible.

Échantillonnage et traitement des journaux

Pour générer des journaux de flux, les journaux de flux VPC échantillonnent les paquets qui quittent une VM et y entrent, ou qui passent par une passerelle telle qu'un rattachement VLAN ou un tunnel Cloud VPN. Une fois les journaux de flux générés, les journaux de flux VPC les traitent en suivant la procédure décrite dans cette section.

Les journaux de flux VPC échantillonnent les paquets à l'aide d'un taux d'échantillonnage principal. Le taux d'échantillonnage principal est dynamique et varie en fonction de la charge de l'hôte physique exécutant la VM ou la passerelle au moment de l'échantillonnage. La probabilité d'échantillonner une connexion IP donnée augmente avec le volume de paquets. Vous ne pouvez pas contrôler le processus d'échantillonnage des journaux de flux principaux ni ajuster le taux d'échantillonnage principal.

Une fois les journaux de flux générés, les journaux de flux VPC les traitent selon la procédure suivante:

  1. Filtrage : vous pouvez faire en sorte que seuls les journaux correspondant aux critères spécifiés soient générés. Par exemple, vous pouvez filtrer de manière à ne générer que les journaux d'une VM spécifique ou uniquement ceux contenant une valeur de métadonnées particulière, et ignorer les autres. Pour en savoir plus, consultez la section Filtrage des journaux.
  2. Agrégation : les informations des paquets échantillonnés sont agrégées sur un intervalle d'agrégation configurable pour générer une entrée de journal de flux.
  3. Échantillonnage secondaire des journaux de flux: il s'agit d'un deuxième processus d'échantillonnage. Les entrées de journal de flux sont ré-échantillonnées en fonction d'un paramètre de taux d'échantillonnage secondaire configurable. L'échantillonnage secondaire est effectué sur les journaux de flux générés par le processus principal d'échantillonnage de journaux de flux. Par exemple, si le taux d'échantillonnage secondaire est défini sur 1, 0 ou 100%, les journaux de flux VPC échantillonnent 100% des journaux de flux générés par l'échantillonnage principal de journaux de flux.
  4. Métadonnées : si elles sont désactivées, toutes les annotations de métadonnées sont supprimées. Si vous souhaitez conserver les métadonnées, vous pouvez spécifier que tous les champs ou un ensemble de champs spécifié sont conservés. Pour en savoir plus, consultez la section Annotations de métadonnées.
  5. Écriture dans Logging : les entrées de journal finales sont écrites dans Cloud Logging.

Comme les journaux de flux VPC ne capturent pas tous les paquets, ils compensent les paquets manquants en effectuant une interpolation à partir des paquets capturés. Cette opération se produit pour les paquets manqués en raison de paramètres d'échantillonnage initiaux et configurables par l'utilisateur.

Bien que Google Cloud ne capture pas tous les paquets, les captures d'enregistrements de journal peuvent être relativement volumineuses. Vous pouvez équilibrer vos besoins en termes de visibilité du trafic et de coûts de stockage en ajustant les aspects suivants de la collecte de journaux :

  • Intervalle d'agrégation : les paquets échantillonnés pendant un intervalle de temps sont agrégés dans une seule entrée de journal. Cet intervalle de temps peut être de 5 secondes (par défaut), 30 secondes, 1 minute, 5 minutes, 10 minutes ou 15 minutes.
  • Taux d'échantillonnage secondaire :
    • Pour les VM, 50% des entrées de journal sont conservées par défaut. Cette valeur peut être comprise entre 1.0 (100%, toutes les entrées de journal sont conservées) et 0.0 (0%, aucun journal n'est conservé).
    • Pour les rattachements de VLAN et les tunnels Cloud VPN, 100% des entrées de journal sont conservées par défaut. Vous pouvez définir ce paramètre sur une valeur comprise entre 1.0 et supérieure à 0.0.
  • Annotations de métadonnées: par défaut, les entrées de journal de flux sont annotées avec des informations de métadonnées, telles que les noms de la source et de la destination dans Google Cloud, ou bien la région géographique des sources et des destinations externes. Les annotations de métadonnées peuvent être désactivées ou vous pouvez ne spécifier que certaines annotations pour économiser de l'espace de stockage.
  • Filtrage: par défaut, les journaux sont générés pour chaque flux échantillonné. Vous pouvez définir des filtres de sorte que seuls les journaux correspondant à certains critères soient générés.

Tarifs

Pour Logging, BigQuery et Pub/Sub, la tarification standard s'applique. Les tarifs des journaux de flux VPC sont décrits dans les tarifs de télémétrie réseau.

Étape suivante