Exportar resultados de consulta para o Blob Storage
Este documento descreve como exportar o resultado de uma consulta executada em uma tabela do BigLake para o Armazenamento de Blobs do Azure.
Para informações sobre como os dados fluem entre o BigQuery e o Armazenamento de Blobs do Azure, consulte Fluxo de dados ao exportar dados.
Limitações
Para acessar uma lista completa de limitações que se aplicam a tabelas do BigLake baseadas no Amazon S3 e no Armazenamento de Blobs, consulte Limitações.
Antes de começar
Confira se você tem os seguintes recursos:
- Uma conexão para acessar o armazenamento de blobs.
Na conexão, crie uma política para o caminho do contêiner
do Armazenamento de blobs em que você quer exportar. Dentro dessa política,
crie um papel que tenha a
permissão
Microsoft.Storage/storageAccounts/blobServices/containers/write
. - Uma tabela do BigLake de armazenamento de blobs.
- Se você estiver no modelo de preços baseado em capacidade, verifique se ativou a API BigQuery Reservation no projeto. Para informações sobre preços, consulte Preços do BigQuery Omni.
Exportar resultados da consulta
O BigQuery Omni grava no local do Armazenamento de Blobs especificado, independentemente do conteúdo existente. A consulta de exportação pode substituir os dados ou combinar o resultado da consulta com os dados existentes. Recomendamos que você exporte o resultado da consulta para um contêiner vazio do Armazenamento de blobs.
No Console do Google Cloud, acesse a página BigQuery.
No campo Editor de consultas, insira uma consulta de exportação do GoogleSQL:
EXPORT DATA WITH CONNECTION \`CONNECTION_REGION.CONNECTION_NAME\` OPTIONS( uri="azure://AZURE_STORAGE_ACCOUNT_NAME.blob.core.windows.net/CONTAINER_NAME/FILE_PATH/*", format="FORMAT" ) AS QUERY
Substitua:
CONNECTION_REGION
: a região em que a conexão foi criada.CONNECTION_NAME
: o nome da conexão que você criou com a permissão necessária para gravar no contêiner.AZURE_STORAGE_ACCOUNT_NAME
: o nome da conta do Armazenamento de blobs em que você quer gravar o resultado da consulta.CONTAINER_NAME
: o nome do contêiner em que você quer gravar o resultado da consulta.FILE_PATH
: o caminho em que você quer gravar o arquivo exportado. Ele precisa conter exatamente um caractere curinga*
em qualquer lugar no diretório da string do caminho, por exemplo,../aa/*
,../aa/b*c
,../aa/*bc
e../aa/bc*
. O BigQuery substitui*
por0000..N
dependendo do número de arquivos exportados. O BigQuery determina a contagem e os tamanhos de arquivos. Se o BigQuery decidir exportar dois arquivos, o*
no primeiro nome do arquivo será substituído por000000000000
, e o*
no segundo nome do arquivo, substituído por000000000001
:FORMAT
: os formatos compatíveis sãoJSON
,AVRO
eCSV
ePARQUET
QUERY
: a consulta para analisar os dados armazenados em uma tabela do BigLake.
Solução de problemas
Se você receber um erro relacionado a quota failure
, verifique se tem reserva de
capacidade para as consultas. Para mais informações sobre reservas de slot, consulte
Antes de começar neste documento.
A seguir
- Saiba mais sobre o BigQuery Omni.
- Saiba como exportar dados da tabela.
- Saiba como consultar dados armazenados no Blob Storage.
- Saiba como configurar o VPC Service Controls para o BigQuery Omni.