Introdução a fontes de dados externas

Nesta página, você tem uma visão geral da consulta de dados armazenados fora do BigQuery.

Visão geral

Uma fonte de dados externa é uma fonte de dados que se pode consultar diretamente no BigQuery, mesmo que os dados não estejam armazenados no BigQuery.

O BigQuery é compatível com as seguintes fontes de dados externas:

Os casos de uso de fontes de dados externas incluem:

  • Para cargas de trabalho de ETL, carregar e limpar os dados em uma única passagem e gravar o resultado limpo no armazenamento do BigQuery.
  • Como mesclar tabelas do BigQuery com dados alterados com frequência de uma fonte de dados externa. Ao consultar a fonte de dados externa diretamente, não é necessário recarregar os dados no armazenamento do BigQuery sempre que eles forem alterados.

O BigQuery tem dois mecanismos diferentes para consultar dados externos:

  • Tabelas externas

    Uma tabela externa é uma tabela que funciona como uma tabela padrão do BigQuery. Os metadados da tabela, incluindo o esquema, são armazenados no BigQuery, mas os dados em si residem na fonte externa

    As tabelas externas podem ser temporárias ou permanentes. Uma tabela externa permanente está contida em um conjunto de dados, e você a gerencia da mesma forma que gerencia uma tabela padrão do BigQuery. Por exemplo, é possível visualizar as propriedades da tabela, definir controles de acesso e assim por diante. É possível consultar a tabela e associá-la a outras tabelas.

    É possível usar tabelas externas com as seguintes fontes de dados:

  • Consultas federadas

    Uma consulta federada é uma maneira de enviar uma instrução de consulta para um banco de dados externo e receber o resultado de volta como uma tabela temporária. As consultas federadas usam a API BigQuery Connection para estabelecer uma conexão com o banco de dados externo. Na consulta SQL padrão, use a função EXTERNAL_QUERY para enviar uma instrução de consulta ao banco de dados externo usando o dialeto SQL desse banco de dados. Os resultados são convertidos em tipos de dados SQL padrão do BigQuery.

    É possível usar consultas federadas com os seguintes bancos de dados externos:

Próximas etapas