Présentation du chargement, de la transformation et de l'exportation de données

Ce document présente les fonctionnalités d'intégration de données suivantes dans BigQuery:

  • Charger et transformer des données dans BigQuery, en utilisant l'approche ELT (extraction, chargement et transformation) ou l'approche ETL (extraction, transformation et chargement).
  • Exporter des données depuis BigQuery pour appliquer des insights dans d'autres systèmes, également appelé ETL inverse.

Charger des données à partir de sources, les transformer, puis exporter les résultats

Charger et transformer des données

Il est courant de transformer vos données avant ou après les avoir chargées dans BigQuery. Les deux approches courantes de l'intégration des données, l'ETL et l'ELT, sont décrites dans les sections suivantes.

Approche d'intégration de données ELT

Avec l'approche d'extraction, de chargement et de transformation, vous effectuez l'intégration des données en deux étapes distinctes:

  • Extraire et charger des données
  • Transformer les données

Par exemple, vous pouvez extraire et charger des données à partir d'une source de fichier JSON dans une table BigQuery. Vous pouvez ensuite utiliser des pipelines pour extraire et transformer des champs en tables cibles.

L'approche ELT peut simplifier votre workflow d'intégration de données de différentes manières:

  • Vous n'avez plus besoin d'autres outils de traitement des données.
  • divise le processus d'intégration des données, souvent complexe, en deux parties gérables ;
  • Exploite pleinement les fonctionnalités de BigQuery pour préparer, transformer et optimiser vos données à grande échelle

Extraire et charger des données

Dans l'approche d'intégration des données ELT, vous extrayez des données d'une source de données et les chargez dans BigQuery à l'aide de l'une des méthodes de chargement ou d'accès aux données externes compatibles.

Transformer les données

Après avoir chargé les données dans BigQuery, vous pouvez les préparer et les transformer à l'aide des outils suivants:

  • Pour créer, tester, documenter et planifier de manière collaborative des pipelines de transformation de données SQL avancés, utilisez Dataform.
  • Pour les petits workflows de transformation de données qui exécutent du code SQL ou des notebooks Python de manière planifiée, utilisez les workflows (en version Preview).
  • Pour nettoyer vos données à des fins d'analyse, utilisez la préparation des données optimisée par l'IA (en version Preview).

Pour en savoir plus, consultez la section Présentation des transformations.

Approche d'intégration des données ETL

Avec l'approche d'extraction, de transformation et de chargement, vous extrayez et transformez les données avant qu'elles n'atteignent BigQuery. Cette approche est utile si vous disposez d'un processus existant pour la transformation des données ou si vous souhaitez réduire l'utilisation des ressources dans BigQuery.

Cloud Data Fusion peut vous aider à faciliter votre processus ETL. BigQuery fonctionne également avec des partenaires tiers qui transforment et chargent des données dans BigQuery.

Exportation de données

Une fois que vous avez traité et analysé les données dans BigQuery, vous pouvez exporter les résultats pour les appliquer dans d'autres systèmes. BigQuery accepte les exportations suivantes:

  • Exporter les résultats de requêtes vers un fichier local, Google Drive ou Google Sheets
  • Exporter des tables ou des résultats de requête vers Cloud Storage, Bigtable, Spanner et Pub/Sub

Ce processus est appelé ETL inverse.

Pour en savoir plus, consultez la section Présentation de l'exportation de données.

Étape suivante