Créer un pipeline de données

Créer un pipeline de données

Ce guide de démarrage rapide vous explique comment :

1. Créer une instance Cloud Data Fusion.
2. Déployer un exemple de pipeline fourni avec votre instance Cloud Data Fusion. Le pipeline effectue les opérations suivantes :
   1. Lit un fichier JSON dans Cloud Storage contenant les données du best-seller du NYT
   2. Exécute les transformations sur le fichier pour analyser et nettoyer les données
   3. Importe les livres les mieux classés ajoutés la semaine dernière et coûtant moins de 25 $ dans BigQuery

Avant de commencer

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Enable the Cloud Data Fusion API.

   Enable the API

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Enable the Cloud Data Fusion API.

   Enable the API

Créer une instance Cloud Data Fusion

1. Cliquez sur Create an instance (Créer une instance).

   Accéder à la page "Instances"

2. Saisissez un Nom d'instance.
3. Saisissez une Description pour votre instance.
4. Saisissez la région dans laquelle créer l'instance.
5. Choisissez la version de Cloud Data Fusion à utiliser.
6. Choisissez l'édition Cloud Data Fusion.
7. Pour Cloud Data Fusion 6.2.3 et versions ultérieures, Autorisation, sélectionnez le compte de service Dataproc à utiliser pour exécuter votre pipeline Cloud Data Fusion Dataproc. Le compte Compute Engine, qui est la valeur par défaut, est présélectionné.
8. Cliquez sur Create (Créer). Le processus de création de l'instance peut prendre jusqu'à 30 minutes. Pendant que Cloud Data Fusion crée votre instance, une icône de progression en forme de roue s'affiche à côté du nom de l'instance sur la page Instances. Une fois l'opération terminée, une coche verte indiquant que vous pouvez commencer à utiliser l'instance s'affiche à la place de la roue.

Parcourir l'interface Web de Cloud Data Fusion

Lorsque vous utilisez Cloud Data Fusion, vous utilisez à la fois la console Google Cloud et l'interface Web distincte de Cloud Data Fusion.

• Dans la console Google Cloud, vous pouvez effectuer les opérations suivantes:

  • Créer un projet dans la console Google Cloud
  • Créer et supprimer des instances Cloud Data Fusion
  • Afficher les détails de l'instance Cloud Data Fusion

• Dans l'interface Web de Cloud Data Fusion, vous pouvez utiliser différentes pages, comme Studio ou Wrangler, pour utiliser les fonctionnalités de Cloud Data Fusion.

Pour naviguer dans l'interface Cloud Data Fusion, procédez comme suit :

1. Dans la console Google Cloud, ouvrez la page Instances.

   Accéder à la page "Instances"

2. Dans la colonne Actions de l'instance, cliquez sur le lien Afficher l'instance.
3. Dans l'interface Web de Cloud Data Fusion, utilisez le panneau de navigation de gauche pour : accédez à la page souhaitée.

Déployer un exemple de pipeline

Des exemples de pipelines sont disponibles via Cloud Data Fusion Hub, qui vous permet de partager des pipelines, des plug-ins et des solutions Cloud Data Fusion réutilisables.

1. Dans l'interface Web de Cloud Data Fusion, cliquez sur Hub.
2. Dans le panneau de gauche, cliquez sur Pipelines.
3. Cliquez sur le pipeline Guide de démarrage rapide de Cloud Data Fusion.
4. Cliquez sur Créer.
5. Dans le panneau de configuration de démarrage rapide de Cloud Data Fusion, cliquez sur Terminer.

6. Cliquez sur Personnaliser le pipeline.

   Une représentation visuelle de votre pipeline s'affiche sur la page Studio. Il s'agit d'une interface graphique permettant de développer des pipelines d'intégration de données. Les plug-ins de pipeline disponibles sont répertoriés sur la gauche, et votre pipeline est affiché dans la zone principale du canevas. Vous pouvez explorer votre pipeline Pointez sur chaque nœud du pipeline, puis cliquez sur Properties (Propriétés). Le menu des propriétés de chaque nœud vous permet d'afficher les objets et les opérations associés au nœud.

7. Dans le menu en haut à droite, cliquez sur Déployer. Cette étape soumet le pipeline Cloud Data Fusion. Vous allez exécuter le pipeline dans la section suivante de ce guide de démarrage rapide.

Consulter votre pipeline

Le pipeline déployé apparaît dans l'affichage des détails du pipeline, où vous pouvez effectuer les opérations suivantes :

• afficher la structure et la configuration du pipeline ;
• exécuter le pipeline manuellement, ou configurer un calendrier ou un déclencheur ;
• Afficher un résumé de l'historique des exécutions du pipeline, y compris les exécutions les heures, les journaux et les métriques.

Exécuter votre pipeline

Dans l'affichage des détails du pipeline, cliquez sur Exécuter pour exécuter le pipeline.

Lors de l'exécution d'un pipeline, Cloud Data Fusion effectue les opérations suivantes:

1. Provisionne un cluster Dataproc éphémère
2. Exécute le pipeline sur le cluster à l'aide d'Apache Spark
3. Suppression du cluster

Remarque :Lorsque le pipeline passe à l'état Running, vous pouvez surveiller la création et la suppression du cluster Dataproc. Ce cluster n'existe que pendant la durée du pipeline.

Afficher les résultats

Au bout de quelques minutes, le pipeline se termine. Le pipeline passe à l'état Réussi et le nombre d'enregistrements traités par chaque nœud s'affiche.

1. Accédez à l'interface Web de BigQuery.

2. Pour afficher un exemple des résultats, accédez à l'ensemble de données DataFusionQuickstart dans votre projet, cliquez sur l'icône top_rated_inexpensive, puis exécutez une requête simple. Exemple :

   SELECT * FROM PROJECT_ID.GCPQuickStart.top_rated_inexpensive LIMIT 10
   

   Remplacez PROJECT_ID par l'ID du projet.

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud, procédez comme suit :

1. Supprimez l'ensemble de données BigQuery que votre pipeline a écrit dans ce guide de démarrage.

2. Supprimez l'instance Cloud Data Fusion.

   Remarque : La suppression de votre instance ne supprime aucune de vos données dans le projet.

3. (Facultatif) Supprimez le projet.

Attention : La suppression d'un projet entraîne les effets décrits ci-dessous :
• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.
1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Étape suivante

• Suivez un tutoriel Cloud Data Fusion
• Familiarisez-vous avec les concepts de Cloud Data Fusion