Introducción a la carga, transformación y exportación de datos

En este documento, se proporciona una descripción general de las siguientes capacidades de integración de datos en BigQuery:

  • Cargar y transformar datos en BigQuery con el enfoque de extraer, cargar y transformar (ELT) o el de extraer, transformar y cargar (ETL)
  • Exportar datos de BigQuery para aplicar estadísticas en otros sistemas, también conocido como ETL inverso

Cargar datos de fuentes, transformarlos y, luego, exportar los resultados

Carga y transformación de datos

Es común transformar los datos antes o después de cargarlos en BigQuery. En las siguientes secciones, se describen los dos enfoques comunes para la integración de datos, ETL y ELT.

Enfoque de integración de datos de ELT

Con el enfoque de extracción, carga y transformación, realizas la integración de datos en dos pasos discretos:

  • Extrae y carga datos
  • Transforma los datos

Por ejemplo, puedes extraer y cargar datos de una fuente de archivo JSON en una tabla de BigQuery. Luego, puedes usar canalización para extraer y transformar campos en tablas de destino.

El enfoque de ELT puede simplificar tu flujo de trabajo de integración de datos de las siguientes maneras:

  • Elimina la necesidad de otras herramientas de procesamiento de datos
  • Divide el proceso de integración de datos, a menudo complejo, en dos partes fáciles de administrar.
  • Aprovecha al máximo las funciones de BigQuery para preparar, transformar y optimizar tus datos a gran escala.

Extracción y carga de datos

En el enfoque de integración de datos de ELT, extraes datos de una fuente de datos y los cargas en BigQuery con cualquiera de los métodos compatibles para cargar o acceder a datos externos.

Transforma datos

Después de cargar los datos en BigQuery, puedes prepararlos y transformarlos con las siguientes herramientas:

  • Para compilar, probar, documentar y programar de forma colaborativa canalizaciones avanzadas de transformación de datos de SQL, usa Dataform.
  • Para flujos de trabajo de transformación de datos más pequeños que ejecutan código SQL o notebooks de Python según un programa, usa flujos de trabajo (en versión preliminar).
  • Para limpiar tus datos para el análisis, usa la preparación de datos potenciada por IA (en versión preliminar).

Para obtener más información, consulta Introducción a las transformaciones.

Enfoque de integración de datos de ETL

En el enfoque de extracción, transformación y carga, extraes y transformas los datos antes de que lleguen a BigQuery. Este enfoque es útil si tienes un proceso existente para la transformación de datos o si deseas reducir el uso de recursos en BigQuery.

Cloud Data Fusion puede facilitar tu proceso de ETL. BigQuery también funciona con socios externos que transforman y cargan datos en BigQuery.

Exporta datos

Después de procesar y analizar los datos en BigQuery, puedes exportar los resultados para aplicarlos en otros sistemas. BigQuery admite las siguientes exportaciones:

  • Exporta los resultados de las consultas a un archivo local, Google Drive o Hojas de cálculo de Google
  • Exporta tablas o resultados de consultas a Cloud Storage, Bigtable, Spanner y Pub/Sub

Este proceso se conoce como ETL inverso.

Para obtener más información, consulta Introducción a la exportación de datos.

¿Qué sigue?