Introdução ao carregamento, à transformação e à exportação de dados

Este documento fornece uma visão geral dos seguintes recursos de integração de dados no BigQuery:

  • Carregar e transformar dados no BigQuery usando a abordagem de extração, carregamento e transformação (ELT) ou de extração, transformação e carregamento (ETL).
  • Exportação de dados do BigQuery para aplicar insights em outros sistemas, também chamada de ETL reverso.

Como carregar dados de fontes, transformá-los e exportar os resultados

Como carregar e transformar dados

É comum transformar os dados antes ou depois de carregá-los no BigQuery. As duas abordagens comuns de integração de dados, ETL e ELT, são descritas nas seções a seguir.

Abordagem de integração de dados ELT

Com a abordagem de extração, carga e transformação, você realiza a integração de dados em duas etapas distintas:

  • Extrair e carregar dados
  • Transformar dados

Por exemplo, é possível extrair e carregar dados de uma origem de arquivo JSON em uma tabela do BigQuery. Em seguida, use pipelines para extrair e transformar campos em tabelas de destino.

A abordagem ELT pode simplificar seu fluxo de trabalho de integração de dados das seguintes maneiras:

  • Elimina a necessidade de outras ferramentas de processamento de dados
  • Divide o processo de integração de dados, que costuma ser complexo, em duas partes gerenciáveis
  • Aproveita totalmente os recursos do BigQuery para preparar, transformar e otimizar seus dados em grande escala

Extrair e carregar dados

Na abordagem de integração de dados ELT, você extrai dados de uma fonte e os carrega no BigQuery usando qualquer um dos métodos de carregamento ou acesso a dados externos compatíveis.

Transformação de dados

Depois de carregar os dados no BigQuery, você pode prepará-los e transformá-los com as seguintes ferramentas:

  • Para criar, testar, documentar e programar pipelines avançados de transformação de dados SQL de forma colaborativa, use o Dataform.
  • Para fluxos de trabalho de transformação de dados menores que executam códigos SQL ou notebooks Python em uma programação, use fluxos de trabalho (na versão prévia).
  • Para limpar seus dados para análise, use o preparação de dados (em versão Beta) com IA.

Para mais informações, consulte Introdução às transformações.

Abordagem de integração de dados ETL

Na abordagem de extração, transformação e carregamento, você extrai e transforma os dados antes que eles cheguem ao BigQuery. Essa abordagem é vantajosa se você já tem um processo de transformação de dados ou se quiser reduzir o uso de recursos no BigQuery.

O Cloud Data Fusion pode ajudar a facilitar seu processo de ETL. O BigQuery também funciona com parceiros externos que transformam e carregam dados no BigQuery.

Exportação de dados

Depois de processar e analisar dados no BigQuery, você pode exportar os resultados para aplicá-los em outros sistemas. O BigQuery é compatível com as seguintes exportações:

  • Exportar os resultados da consulta para um arquivo local, o Google Drive ou as Planilhas Google
  • Exportar tabelas ou resultados de consulta para o Cloud Storage, Bigtable, Spanner e Pub/Sub

Esse processo é conhecido como ETL reverso.

Para mais informações, consulte Introdução à exportação de dados.

A seguir