Créer un tableau de bord de surveillance des pipelines à l'aide de Cloud Monitoring

Créer un tableau de bord de surveillance des pipelines à l'aide de Cloud Monitoring

Découvrez comment utiliser Cloud Monitoring pour créer un tableau de bord permettant de surveiller les pipelines.

---

Pour obtenir des instructions détaillées sur cette tâche directement dans la console Google Cloud, cliquez sur Visite guidée :

Visite guidée

---

Avant de commencer

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.

   Enable the APIs

7. Pour créer des tableaux de bord personnalisés, vous devez disposer du rôle Éditeur Monitoring (roles/monitoring.editor) sur le compte de service.

   Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Créer une instance Cloud Data Fusion avec Cloud Logging activé

Pour utiliser Cloud Logging avec votre pipeline Cloud Data Fusion, créez une instance Cloud Data Fusion avec Cloud Logging activé :

1. Accédez à la page Instances de Cloud Data Fusion, puis cliquez sur Créer une instance.

   Créer une instance

2. Dans le champ Nom de l'instance, saisissez le nom de la nouvelle instance.

3. Dans la liste déroulante Région, sélectionnez la région Google Cloud dans laquelle vous souhaitez créer l'instance.

4. Dans la liste déroulante Version, sélectionnez une version de Cloud Data Fusion.

5. Sélectionnez une édition.

6. Développez les options avancées.

7. Dans la section Journalisation et surveillance, sélectionnez Activer le service Stackdriver Logging.

8. Cliquez sur Créer.

Une fois une instance créée, vous ne pouvez pas activer Cloud Logging dans la console Google Cloud.

Créer une métrique basée sur les journaux définie par l'utilisateur

1. Accédez à la page Métriques basées sur les journaux de Cloud Logging :

   Accéder aux métriques basées sur les journaux

2. Cliquez sur Créer une métrique.

3. Sur la page Créer un bucket, procédez comme suit :

   1. Dans le champ Type de métrique, sélectionnez Compteur.
   2. Dans le champ Nom de la métrique basée sur les journaux, saisissez pipeline_logs.
   3. Dans le champ Unités, saisissez 1.

   4. Dans le champ Créer un filtre, saisissez les valeurs suivantes :

      resource.type="cloud_dataproc_cluster"
      log_name=~"projects/.*/logs/datafusion-pipeline-logs"
      

   5. Dans la section Étiquettes, cliquez sur Ajouter une étiquette et créez les étiquettes suivantes. Après avoir saisi chaque libellé, cliquez sur OK, puis à nouveau sur Ajouter une étiquette pour créer le libellé suivant.

      Nom du libellé	Type de libellé	Nom du champ
      Project	STRING	resource.labels.project_id
      Message	STRING	jsonPayload.message
      LoggerName	STRING	labels.loggerName
      ClusterName	STRING	resource.labels.cluster_name
      SparkPhase	STRING	labels.".workflowSparkId"
      Region	STRING	resource.labels.region
      Pipeline	STRING	labels.".applicationId"
      RunId	STRING	labels.".runId"
      Namespace	STRING	labels.".namespaceId"
      LogLevel	STRING	labels.levelName

   6. Cliquez sur Créer une métrique.

      La métrique que vous venez de créer apparaît dans le tableau des métriques définies par l'utilisateur. Si la métrique n'est pas immédiatement visible, actualisez la page.

      Le tableau de bord contient les graphiques suivants :

      • Tous les pipelines
      • Pipelines terminés
      • Pipelines en échec
      • Toutes les exécutions de pipeline
      • Exécutions de pipeline terminées
      • Exécutions de pipeline ayant échoué
      • Clusters Dataproc pour les exécutions

      Une fois la métrique créée, l'affichage des données de séries temporelles peut prendre jusqu'à 24 heures.

Installer le tableau de bord

1. Téléchargez le fichier de clé JSON sur votre ordinateur local.

2. Accédez à la page Tableaux de bord de Cloud Monitoring :

   Accéder aux tableaux de bord Monitoring

3. Cliquez sur Créer un tableau de bord.

4. Cliquez sur Paramètres du tableau de bord > JSON > Éditeur JSON.

5. Dans un éditeur de texte, ouvrez le fichier JSON que vous avez téléchargé.

6. Copiez le contenu du fichier JSON téléchargé et collez-le dans l'éditeur JSON, en remplaçant le contenu que l'éditeur JSON contient par défaut.

7. Cliquez sur Appliquer les modifications.

   Le tableau de bord est alors actualisé. Les pipelines Cloud Data Fusion exécutés après la création de la métrique apparaissent dans le tableau de bord. Si aucun pipeline n'a été exécuté après la création de la métrique, le tableau de bord sera vide.

8. L'enregistrement automatique est activé par défaut. Si l'enregistrement automatique est désactivé, cliquez sur Enregistrer pour enregistrer le tableau de bord.

9. Cliquez sur Fermer l'éditeur.

   Votre nouveau tableau de bord apparaît dans la liste des tableaux de bord sur la page Présentation de la surveillance.

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud, procédez comme suit :

Supprimer l'instance Cloud Data Fusion

Suivez ces instructions pour supprimer votre instance Cloud Data Fusion.

Supprimer le projet

Le moyen le plus simple d'empêcher la facturation est de supprimer le projet que vous avez créé pour ce tutoriel.

Pour supprimer le projet :

Attention : La suppression d'un projet entraîne les effets décrits ci-dessous :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Étape suivante

• Obtenez davantage d'informations sur Cloud Monitoring.