Présentation de l'analyseur de flux

L'analyseur de flux (preview) vous permet de comprendre rapidement et efficacement vos flux de trafic VPC sans avoir à écrire de requêtes SQL complexes pour analyser les journaux de flux VPC. L'analyseur de flux vous permet d'effectuer une analyse catégorique du trafic réseau avec une précision à cinq tuples (adresse IP source, adresse IP de destination, port source, port de destination et protocole).

Développé à l'aide de l'Analyse de journaux et optimisé par BigQuery, Flow Analyzer permet une analyse approfondie du trafic entrant et sortant de vos instances de VM. Il vous permet de surveiller, de dépanner et d'optimiser votre déploiement réseau pour de meilleures performances et une sécurité renforcée, ce qui vous aide à assurer la conformité et à réduire les coûts.

L'analyseur de flux analyse les données des journaux de flux VPC stockées dans un bucket de journaux (format d'enregistrement). Pour utiliser Flow Analyzer, vous devez sélectionner un projet avec un bucket de journaux contenant des journaux de flux VPC. Pour en savoir plus, consultez la présentation des journaux de flux VPC. Les journaux de flux VPC peuvent être utilisés pour la surveillance et l'investigation des réseaux, l'analyse de la sécurité en temps réel et l'optimisation des dépenses.

L'analyseur de flux exécute des requêtes sur les champs inclus dans les journaux de flux VPC. Pour en savoir plus, consultez la page Propriétés clés des journaux de flux VPC.

À l'aide de l'analyseur de flux, vous pouvez effectuer les tâches suivantes:

Créer et exécuter une requête simple sur des journaux de flux VPC
Créer un filtre SQL (à l'aide d'une instruction WHERE) pour la requête sur les journaux de flux VPC
Organiser les résultats à l'aide des champs sélectionnés, et trier les résultats de la requête à l'aide du trafic total et des paquets agrégés
Afficher le trafic à des intervalles de temps choisis
Affichez les cinq meilleurs flux de trafic au fil du temps sous forme graphique, par rapport au reste du trafic
Afficher sous forme de tableau les ressources générant le trafic le plus élevé pour la durée sélectionnée
Afficher les détails du trafic entre une paire source/destination spécifique à partir des résultats de la requête
afficher le détail des résultats de la requête à l'aide des champs restants disponibles dans les journaux

Fonctionnement

Les journaux de flux VPC enregistrent un échantillon des flux réseau envoyés et reçus par les ressources VPC, telles que les instances de VM et les nœuds Google Kubernetes Engine.

Vous pouvez consulter les journaux de flux dans Cloud Logging et les exporter vers n'importe quelle destination compatible avec les exportations de Logging. Vous pouvez utiliser l'Analyse de journaux pour exécuter des requêtes qui analysent les données de journaux, puis afficher les résultats de la requête sous forme de graphiques et de tables.

L'analyseur de flux utilise l'Analyse de journaux pour vous permettre d'exécuter des requêtes sur les journaux de flux VPC et d'en savoir plus sur les flux de trafic en fournissant des informations telles que le graphique des flux de données les plus élevés et un tableau qui fournit des détails sur tous les flux de données.

Composants de requête

Pour analyser et comprendre vos flux de trafic, vous devez exécuter une requête sur les journaux de flux VPC. L'analyseur de flux vous aide à créer la requête, à personnaliser les options d'affichage et à afficher le détail pour afficher et surveiller vos flux de trafic.

Agrégation du trafic

Pour analyser les flux de trafic VPC, vous devez déterminer l'approche d'agrégation afin de filtrer les flux entre les ressources. L'analyseur de flux organise les journaux de flux pour l'agrégation comme suit:

Source et destination: cette option utilise les informations SRC et DEST incluses dans les journaux de flux VPC. Cette vue agrège le trafic de la source à la destination.
Client et serveur: cette option tente de trouver l'initiateur de la connexion. Une ressource dotée du plus petit numéro de port est considérée comme le serveur. Il considère également les ressources avec la définition gke_service comme serveurs, car les services ne lancent pas de requêtes. Cette vue regroupe le trafic dans les deux sens.

Sélecteur de période

La période par défaut est d'une heure, mais vous pouvez choisir parmi des options prédéfinies, spécifier des heures de début et de fin personnalisées, ou centrer la période sur un horodatage spécifique à l'aide du sélecteur de période. Par exemple, si vous souhaitez afficher les données de la semaine passée, sélectionnez La semaine dernière dans le sélecteur de période.

Vous pouvez également définir vos préférences de fuseau horaire à l'aide du sélecteur de période.

Filtres de base

Vous pouvez créer la requête en organisant les flux en fonction des ressources dans les deux sens.

Pour utiliser les filtres, sélectionnez les champs dans la liste et spécifiez les valeurs de ces champs.

Vous pouvez ajouter plusieurs expressions de filtre pour filtrer les flux correspondant aux paires clé/valeur sélectionnées. Si vous sélectionnez plusieurs filtres pour le même champ, un opérateur OR est utilisé. Si vous sélectionnez des filtres pour différents champs, un opérateur AND est utilisé.

Par exemple, si vous sélectionnez deux valeurs d'adresse IP (1.2.3.4 et 10.20.10.30) et deux valeurs de Country (US) et France, la logique de filtre suivante est appliquée à la requête :

(IP=1.2.3.4 OR IP=10.20.10.30) AND (Pays=US OR Pays=France)

Si vous essayez de modifier les filtres des points de terminaison ou les options de trafic, les résultats peuvent varier. Vous devez exécuter à nouveau la requête pour afficher les résultats mis à jour.

Pour créer et exécuter la requête à l'aide des filtres de base, consultez Créer et exécuter la requête.

Filtres SQL

Pour créer des requêtes complexes, vous pouvez utiliser des filtres SQL. À l'aide de requêtes complexes, vous pouvez effectuer des tâches telles que les suivantes:

Comparer les valeurs des champs entre elles
Créer une logique booléenne complexe à l'aide d'opérations AND/OR et d'opérations OR imbriquées
Exécuter des opérations complexes sur des adresses IP à l'aide de fonctions BigQuery

Les requêtes de filtre SQL utilisent la syntaxe SQL BigQuery. Pour en savoir plus, consultez la page Syntaxe SQL de BigQuery.

Pour afficher la syntaxe d'expression de filtre et des exemples, cliquez sur Filtrer la syntaxe d'expression et les exemples.

Pour créer et exécuter la requête à l'aide de filtres SQL, consultez la page Créer et exécuter une requête SQL.

Résultats de la requête

Les résultats de la requête incluent les composants suivants:

Graphique des flux de données les plus élevés: affiche les cinq flux de trafic les plus élevés au fil du temps, ainsi que le reste du trafic. Vous pouvez repérer des tendances telles que des pics de trafic à l'aide de ce graphique.
Tableau "Tous les flux de données": affiche les principaux flux de trafic (jusqu'à 10 000 lignes) pour la durée sélectionnée. Ce tableau affiche les champs sélectionnés pour organiser les flux lors de la définition des filtres de la requête.

Options d'affichage

Après avoir exécuté la requête, vous pouvez affiner davantage les résultats à l'aide des différentes options d'affichage. Le graphique et le tableau sont mis à jour pour refléter les nouvelles options sélectionnées. Pour sélectionner les options personnalisées et exécuter la requête, consultez Personnaliser les options d'affichage.

Types de métriques

Vous pouvez choisir d'afficher l'un des types de métriques suivants.

Bytes sent (Octets envoyés) : contient des informations sur les volumes de charge utile et n'inclut pas les en-têtes. Cette valeur de métrique peut être nulle, car certains paquets n'ont que des en-têtes et n'incluent aucune charge utile.

Remarque :Vous ne pouvez pas utiliser cette métrique pour estimer les coûts, car les données sont échantillonnées et n'incluent pas d'en-têtes.
Packets sent (Paquets envoyés) : indique le nombre de paquets envoyés depuis la source vers la destination.

Pour les deux types de métriques, vous pouvez choisir des agrégations de métriques supplémentaires.

Agrégation de métriques

Vous pouvez afficher l'agrégation des métriques de différentes manières.

Si vous sélectionnez Bytes sent (Octets envoyés) comme métrique et Source et destination pour l'agrégation du trafic, les options suivantes sont disponibles:

Trafic total: cette option est toujours activée par défaut et affiche le trafic total pour la période choisie.
Taux de trafic moyen: indique le taux de trafic moyen (en octets par seconde) pour la période choisie, calculé uniquement pour les périodes d'alignement au cours desquelles le trafic a été observé. Pour en savoir plus, consultez la section Durée de l'alignement.
Taux de trafic médian: affiche le taux de trafic médian (en octets par seconde) pour la période choisie, calculé uniquement pour les périodes d'alignement au cours desquelles le trafic a été observé. Pour en savoir plus, consultez la section Durée de l'alignement.
Taux de trafic au 95e centile: indique le taux de trafic au 95e centile en octets par seconde pour la période choisie, calculé uniquement pour les périodes d'alignement au cours desquelles le trafic a été observé. Pour en savoir plus, consultez la section Durée de l'alignement.
Taux de trafic maximal: indique le taux de trafic maximal en octets par seconde pour la période choisie.

Si vous sélectionnez Packets sent (Paquets envoyés) comme métrique et Source et destination pour l'agrégation du trafic, les options suivantes sont disponibles:

Paquets agrégés: affiche le nombre de paquets envoyés pour la période choisie. Cette option est activée par défaut.
Taux moyen de paquets: affiche le débit moyen de paquets pour la période choisie, calculé uniquement pour les périodes d'alignement pendant lesquelles le trafic a été observé. Pour en savoir plus, consultez la section Durée de l'alignement.
Taux de paquets médian: affiche le taux médian de paquets pour la période choisie, calculé uniquement pour les périodes d'alignement pendant lesquelles le trafic a été observé. Pour en savoir plus, consultez la section Durée de l'alignement.
Taux de paquets au 95e centile: indique le taux de paquets au 95e centile pour la période choisie, calculé uniquement pour les périodes d'alignement pendant lesquelles le trafic a été observé. Pour en savoir plus, consultez la section Durée de l'alignement.
Débit maximal de paquets: indique le débit maximal de paquets pour la période choisie.

Période d'alignement

La période des détails du graphique peut être comprise entre 5 secondes et 1 jour. Le mode automatique sélectionne la période d'alignement optimale en fonction de la durée de la période sélectionnée.

Chaque point de la chronologie représente des données globales pour une période spécifique. La durée de cette période est appelée durée de l'alignement.

Les performances diminuent avec la diminution de la valeur de la période d'alignement. Pour des valeurs plus élevées pour la période d'alignement, le graphique devient moins précis. Vous ne pourrez peut-être pas afficher de pics courts avec des valeurs plus élevées.

Pour les longues durées, une période d'alignement plus courte n'est pas utile. Par exemple, si vous sélectionnez un alignement d'une minute pour une période de 30 jours, l'analyseur de flux génère plus de 43 000 points de données. Comme cela représente 10 fois plus que les pixels d'affichage 4K, vous ne pourrez pas afficher tous les détails et certaines options sont désactivées pour une longue durée.

Pour en savoir plus sur le processus d'échantillonnage et sur la période d'alignement déterminée pour afficher les résultats de la requête, consultez Métriques et période d'alignement.

Point d'échantillonnage

Pour la communication réseau entre VM, les journaux de flux sont disponibles (avec échantillonnage appliqué) au niveau des VM qui envoient et reçoivent du trafic. Si les deux VM du point de terminaison se trouvent dans des sous-réseaux sur lesquels les journaux de flux VPC sont activés, le même flux est signalé deux fois. Vous pouvez choisir l'une des quatre approches suivantes pour déterminer quels journaux de flux VPC contribuent aux métriques calculées et comment elles sont évaluées:

Point de terminaison source: nombre d'octets envoyés ou de paquets envoyés au point de terminaison source d'un flux.
Point de terminaison de destination: nombre d'octets envoyés ou de paquets envoyés signalés au point de terminaison de destination d'un flux.
Somme des points de terminaison source et de destination: somme des octets envoyés ou des paquets envoyés, signalés par les deux points de terminaison d'un flux.
Moyenne des points de terminaison source et de destination: moyenne des octets envoyés ou des paquets envoyés par les deux points de terminaison d'un flux si les informations de la source et de la destination sont disponibles dans les journaux de flux VPC

Déduplication du trafic

Pour éviter que le trafic signalé sur les VM source et de destination soit compté deux fois, vous pouvez choisir l'option d'échantillonnage Moyenne des points de terminaison source et de destination. L'analyseur de flux identifie les flux équivalents au sein de chaque période d'alignement et calcule les moyennes des valeurs des métriques rapportées (nombre d'octets et de paquets).

Pour les périodes d'alignement où des flux équivalents sont signalés à la fois au niveau SRC et DEST, l'ensemble du trafic attribué à une période d'alignement donnée est divisé par deux.

Afficher les détails du flux

Dans le tableau Tous les flux de données, cliquez sur Afficher les détails pour le flux de votre choix. Le panneau Flow Details (Détails du flux) s'affiche. Ce panneau fournit des informations telles que la source, la destination, le trafic et les options d'affichage détaillé possibles.

Vous pouvez afficher le détail en répartissant un flux de trafic sélectionné à l'aide d'un champ supplémentaire. Par exemple, si un flux inclut des détails génériques d'environ 1 000 Gio de trafic de la zone Google Cloud X à la zone Y,vous pouvez afficher le détail à l'aide d'un autre champ, tel que l'adresse IP source. Les résultats incluent plusieurs adresses IP qui constituent le flux d'origine.

Les champs qui apparaissent dans le composant d'analyse détaillée sont sélectionnés comme suit:

Lorsque vous accédez aux détails du flux, l'analyseur de flux exécute plusieurs requêtes. Chaque requête tente d'explorer le flux sélectionné à l'aide des champs disponibles dans les journaux de flux VPC qui ne sont pas encore utilisés dans la requête d'origine. Par exemple, si la requête exécutée inclut déjà les détails de l'adresse IP, vous n'avez pas besoin de la réexécuter avec ce champ. Vous ne pouvez donc pas utiliser ce champ pour afficher les détails.
Si l'une des requêtes supplémentaires renvoie une seule valeur de champ, elle est ajoutée à la section des détails de la source et de la destination, même si elle n'a pas été récupérée précédemment.
Si l'un des résultats de la requête comprend plusieurs valeurs de champ, le champ correspondant apparaît dans la liste d'analyse détaillée.

Lorsque vous sélectionnez un champ dans la liste d'analyse détaillée, le tableau d'analyse détaillée et le graphique sont mis à jour pour afficher les trois principaux flux de trafic.

Vous pouvez également utiliser le bouton Comparer à une période antérieure. Sélectionnez cette fonctionnalité pour afficher six lignes: trois lignes continues pour les trois principaux locuteurs à partir de la vue détaillée et trois lignes en pointillés de couleurs correspondantes représentant le trafic passé.

Pour afficher le détail des flux de trafic à l'aide de champs supplémentaires, consultez la section Afficher le détail des flux de trafic.

Explorer dans l'analyse de journaux

Vous pouvez afficher la requête SQL brute dans l'Analyse de journaux.

Pour une analyse avancée, vous pouvez modifier directement le code SQL permettant de visualiser le trafic. La fonctionnalité Explorer dans l'Analyse de journaux vous redirige vers la page Analyse de journaux avec une requête préremplie.