Criar uma tabela externa

O BigQuery Omni não gerencia dados armazenados no Azure Storage. Para acessar os dados do Azure Storage, defina uma tabela externa.

Para criar uma tabela externa, siga estas etapas:

Console do Google Cloud

  1. No Console do Google Cloud, abra a página do BigQuery.

    Ir para o BigQuery

  2. Na seção Recursos do painel de navegação, amplie o projeto e selecione um conjunto de dados.

  3. No painel de detalhes, clique em Criar tabela.

    Criar tabela.

  4. Na página Criar tabela, na seção Origem, faça o seguinte:

    • Em Criar tabela em, selecione Armazenamento de Blobs do Azure.
    • Em Selecionar caminho do Armazenamento de Blobs do Azure, insira um caminho do Armazenamento de Blobs do Azure usando o formato abs. Por exemplo: abs://AZURE_STORAGE_ACCOUNT_NAME/CONTAINER_NAME/FILE_PATH Substitua AZURE_STORAGE_ACCOUNT_NAME pelo nome da conta de armazenamento do Azure. A região da conta precisa ser a mesma do conjunto de dados. Substitua CONTAINER_NAME pelo nome do contêiner do Azure. Substitua FILE_PATH pelo caminho de dados que aponta para os dados do Azure Storage. Por exemplo, para um único arquivo CSV, FILE_PATH pode ser abs://account/container/myfile.csv.
    • Em Formato do arquivo, selecione o formato de dados no Azure. Os formatos compatíveis são AVRO, PARQUET, ORC, CSV, NEWLINE_DELIMITED_JSON e Planilhas.
  5. Na seção Destino da página Criar tabela, faça o seguinte:

    • Em Nome do conjunto de dados, escolha o conjunto apropriado.

      Escolher conjunto de dados

    • No campo Nome da tabela, insira o nome da tabela que você está criando.

    • Verifique se o Tipo de tabela está definido como Tabela externa.

    • Em ID da conexão, escolha o ID apropriado na lista suspensa.

  6. Clique em Criar tabela.

bq

bq mk \
--external_table_definition=DATA_FORMAT=abs://
AZURE_STORAGE_ACCOUNT_NAME/CONTAINER_NAME/FILE_PATH@AZURE_LOCATION.CONNECTION_NAME \
DATASET_NAME.TABLE_NAME

Substitua:

  • DATA_FORMAT: qualquer um dos formatos federados do BigQuery compatíveis, como AVRO, CSV ou PARQUET. Verifique se o formato está escrito em maiúsculas.
  • AZURE_STORAGE_ACCOUNT_NAME: o nome da conta do Azure Storage.
  • CONTAINER_NAME: o nome do contêiner do Azure.
  • FILE_PATH: o caminho de dados que aponta para os dados do Azure Storage.
  • AZURE_LOCATION: um local do Azure no Google Cloud (por exemplo, azure-eastus2).
  • CONNECTION_NAME: o nome da conexão que você criou.
  • DATASET_NAME: o nome do conjunto de dados que você criou.
  • TABLE_NAME: o nome que você quer dar a essa tabela.

Por exemplo, o comando a seguir cria uma nova tabela externa, absdataset.abstable, que pode consultar os dados do Azure Storage armazenados no caminho abs://account/container/path e tem uma conexão de leitura no local azure-eastus2:

bq mk \
--external_table_definition=AVRO=abs://account/container/path@azure-eastus2.abs-read-conn absdataset.abstable

A seguir