Surveiller l'état du système, de l'instance et du pipeline Cloud Data Fusion

Ce guide explique comment surveiller les instances et les pipelines Cloud Data Fusion. Vous pouvez afficher les métriques clés dans le tableau de bord de surveillance Cloud Data Fusion. Pour obtenir des agrégations ou des filtres supplémentaires, vous pouvez afficher les métriques dans Cloud Monitoring.

Avant de commencer

Avant de commencer à surveiller les instances et les pipelines Cloud Data Fusion, consultez les tarifs et accordez les rôles requis.

Tarifs

L'utilisation de Cloud Monitoring entraîne des frais. Pour en savoir plus, consultez les tarifs de Google Cloud Observability.

Rôles requis

Pour obtenir les autorisations nécessaires pour afficher les métriques, demandez à votre administrateur de vous accorder le rôle IAM Lecteur Monitoring (roles/monitoring.viewer) sur votre projet. Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Surveiller dans Cloud Data Fusion

Affichez et filtrez les métriques de vos instances et pipelines directement dans Cloud Data Fusion à l'aide du tableau de bord de surveillance :

  1. Dans la console Google Cloud , accédez à la page Cloud Data Fusion.

  2. Cliquez sur Instances, puis sur le nom de l'instance pour accéder à la page Détails de l'instance.

    Accéder à la page "Instances"

  3. Cliquez sur l'onglet Surveillance. Un tableau de bord s'affiche avec des graphiques pour votre instance et ses pipelines.

    Le tableau de bord affiche les vues suivantes :

    • Présentation : surveille les métriques système Cloud Data Fusion.
    • Instance : surveille toutes les instances Cloud Data Fusion du projet.
    • Pipeline : fournit des informations sur les exécutions et les performances des pipelines.

    Pour obtenir des informations détaillées sur les métriques dans une vue, pointez sur le widget, puis cliquez sur Plus > Afficher dans l'explorateur de métriques.

Widgets du tableau de bord de surveillance

Les sections suivantes décrivent les widgets disponibles dans les vues Présentation, Instance et Pipeline.

Widgets de la vue d'ensemble

Ce tableau décrit les widgets de la vue Vue d'ensemble :

Widget Description
État du service AppFabric Disponibilité du service pour Appfabric
État des services de métriques Disponibilité du service pour les métriques
État du service Wrangler Disponibilité du service Wrangler
État de Dataset Executor Disponibilité du service pour l'ensemble de données
État de Pipeline Studio Disponibilité du service Pipeline Studio
État du service d'exécution Disponibilité du service pour l'exécution
État du service Log Saver Disponibilité du service Log Saver
État du service de métadonnées Disponibilité du service pour les métadonnées

Widgets de la vue "Pipeline"

Ce tableau décrit les widgets de la vue Pipeline :

Widget Description
Exécutions de pipeline réussies Nombre cumulé d'exécutions de pipeline réussies.
Exécutions de pipeline ayant échoué Nombre cumulé d'exécutions de pipeline ayant échoué.
Exécutions de pipeline interrompues Nombre cumulé d'exécutions de pipeline interrompues.
Exécutions de pipeline refusées Nombre cumulé d'exécutions de pipeline refusées.
Durée d'exécution de pipeline réussie Temps nécessaire à l'exécution des pipelines réussie.
Latence de démarrage du pipeline Temps nécessaire pour qu'une exécution de pipeline atteigne l'état "En cours d'exécution".
Latence de provisionnement Dataproc Temps nécessaire pour provisionner le cluster Dataproc.
Nombre de requêtes API Dataproc Nombre cumulé de requêtes API envoyées à Dataproc.
Durée de l'exécution de l'aperçu réussie Temps nécessaire pour que les exécutions d'aperçu réussissent.
Exécutions d'aperçu Nombre d'exécutions d'aperçu.
Octets lus par le pipeline Nombre cumulé d'octets lus par un pipeline.
Octets écrits par le pipeline Nombre cumulé d'octets écrits par un pipeline.
Octets brassés par le pipeline Nombre cumulé d'octets mélangés dans un pipeline.
Enregistrements de plug-ins traités en entrée Nombre cumulé d'enregistrements entrant dans un plug-in.
Enregistrements de plug-in traités en sortie Nombre cumulé d'enregistrements quittant un plug-in.

Widgets de vue d'instance

Ce tableau décrit les widgets de la vue Instance :

Widget Description
Exécutions de pipelines simultanées Nombre de pipelines exécutés simultanément.
Pipelines simultanés lancés Nombre de pipelines à l'état "Provisionnement" ou "Démarrage".
Requêtes API reçues Nombre cumulé de requêtes API reçues.
Nombre de réponses de l'API Nombre cumulé de réponses d'API envoyées.
Nombre de vérifications d'autorisation Nombre cumulé de vérifications d'autorisation.
Heure de vérification de l'autorisation Latence des vérifications d'autorisation.
Nombre de pipelines déployés Nombre de pipelines déployés.
Nombre de pipelines à l'état de brouillon Nombre de pipelines brouillons.
Nombre d'espaces de noms Nombre d'espaces de noms.

Afficher les métriques pour une analyse avancée dans Cloud Monitoring

Pour accéder à d'autres options de filtrage et d'agrégation, affichez vos métriques dans Cloud Monitoring :

  1. Dans la console Google Cloud , accédez à la page Explorateur de métriques de Cloud Monitoring.

    Accéder à l'explorateur de métriques

  2. Sélectionnez la ressource surveillée Cloud Data Fusion.

  3. Sélectionnez une métrique.

  4. Sélectionnez des filtres et une agrégation.

Étapes suivantes