Traiter des données avec Cloud Data Fusion

Cloud Data Fusion fournit un plug-in source Dataplex pour lire les données des entités Dataplex (tables) hébergées sur des éléments Cloud Storage ou BigQuery. Source Dataplex vous permet de traiter les données des éléments Cloud Storage comme des tables et de filtrer les données à l'aide de requêtes SQL simples.

Avant de commencer

  • Créer une instance Cloud Data Fusion si vous n'en avez pas. Ce plug-in est disponible dans les instances exécutées dans la version 6.6 ou ultérieure de Cloud Data Fusion.

  • Les données sources doivent déjà faire partie d'une zone Dataplex et d'un élément (un bucket Cloud Storage ou un ensemble de données BigQuery).

  • Pour utiliser des tables à partir de Cloud Storage, vous devez configurer un métastore pour votre lac.

  • Pour que les données soient lues à partir d'entités Cloud Storage, Dataproc Metastore doit être associé au lac.

  • Les données CSV dans les entités Cloud Storage ne sont pas acceptées.

  • Dans le projet Dataplex, activez l'accès privé à Google sur le sous-réseau, qui est généralement défini sur default, ou définissez internal_ip_only sur false.

Rôles requis

Pour obtenir les autorisations nécessaires pour gérer les rôles, demandez à votre administrateur de vous accorder les rôles IAM suivants sur l'agent de service Dataproc et l'agent de service Cloud Data Fusion (service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com) :

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Limites

  • Pour les éléments Cloud Storage: ce plug-in n'est pas compatible avec la lecture CSV. Il est compatible avec la lecture des formats JSON, Avro, Parquet et ORC.

  • Pour les composants Cloud Storage, les champs Date de début de la partition et Date de fin de la partition ne sont pas applicables.

Ajouter le plug-in à votre pipeline

  1. Dans la console Google Cloud, accédez à la page Instances de Cloud Data Fusion.

    Accéder à la page "Instances"

    Cette page vous permet de gérer vos instances.

  2. Cliquez sur Afficher l'instance pour ouvrir votre instance dans Cloud Data Fusion. UI.

  3. Accédez à la page Studio, développez le menu Source, puis cliquez sur Dataplex.

Configurer le plug-in

Après avoir ajouté ce plug-in à votre pipeline sur la page Studio, cliquez sur la source Dataplex pour configurer ses propriétés.

Pour en savoir plus sur les configurations, consultez la documentation de référence sur la source Dataplex.

Facultatif: Premiers pas avec un exemple de pipeline

Des exemples de pipelines sont disponibles, y compris un pipeline de source SAP vers un récepteur Dataplex et un pipeline de source Dataplex vers un récepteur BigQuery.

Pour utiliser un exemple de pipeline, ouvrez votre instance dans l'UI Cloud Data Fusion. cliquez sur Hub > Pipelines, puis sélectionnez l'une des Pipelines Dataplex Une boîte de dialogue s'ouvre pour vous aider à créer le pipeline.

Étape suivante