Exportar resultados de consulta para o Blob Storage
Este documento descreve como exportar o resultado de uma consulta executada em uma tabela do BigLake para o Armazenamento de Blobs do Azure.
Para informações sobre como os dados fluem entre o BigQuery e o Armazenamento de Blobs do Azure, consulte Fluxo de dados ao exportar dados.
Antes de começar
Confira se você tem os seguintes recursos:
- Uma conexão para acessar o armazenamento de blobs.
Na conexão, crie uma política para o caminho do contêiner
do Armazenamento de blobs em que você quer exportar. Dentro dessa política,
crie um papel que tenha a
permissão
Microsoft.Storage/storageAccounts/blobServices/containers/write
. - Uma tabela do BigLake de armazenamento de blobs.
- Se você estiver no modelo de preços baseado em capacidade, verifique se ativou a API BigQuery Reservation no projeto. Para informações sobre preços, consulte Preços do BigQuery Omni.
Exportar resultados da consulta
O BigQuery Omni grava no local do Armazenamento de Blobs especificado, independentemente do conteúdo existente. A consulta de exportação pode substituir os dados ou combinar o resultado da consulta com os dados existentes. Recomendamos que você exporte o resultado da consulta para um contêiner vazio do Armazenamento de blobs.
No Console do Google Cloud, acesse a página BigQuery.
No campo Editor de consultas, insira uma consulta de exportação do GoogleSQL:
EXPORT DATA WITH CONNECTION \`CONNECTION_REGION.CONNECTION_NAME\` OPTIONS( uri="azure://AZURE_STORAGE_ACCOUNT_NAME.blob.core.windows.net/CONTAINER_NAME/FILE_PATH/*", format="FORMAT" ) AS QUERY
Substitua:
CONNECTION_REGION
: a região em que a conexão foi criada.CONNECTION_NAME
: o nome da conexão que você criou com a permissão necessária para gravar no contêiner.AZURE_STORAGE_ACCOUNT_NAME
: o nome da conta do Armazenamento de blobs em que você quer gravar o resultado da consulta.CONTAINER_NAME
: o nome do contêiner em que você quer gravar o resultado da consulta.FILE_PATH
: o caminho em que você quer gravar o arquivo exportado. Ele precisa conter exatamente um caractere curinga*
em qualquer lugar no diretório da string do caminho, por exemplo,../aa/*
,../aa/b*c
,../aa/*bc
e../aa/bc*
. O BigQuery substitui*
por0000..N
dependendo do número de arquivos exportados. O BigQuery determina a contagem e os tamanhos de arquivos. Se o BigQuery decidir exportar dois arquivos, o*
no primeiro nome do arquivo será substituído por000000000000
, e o*
no segundo nome do arquivo, substituído por000000000001
:FORMAT
: os formatos compatíveis sãoJSON
,AVRO
eCSV
ePARQUET
QUERY
: a consulta para analisar os dados armazenados em uma tabela do BigLake.
Solução de problemas
Se você receber um erro relacionado a quota failure
, verifique se tem reserva de
capacidade para as consultas. Para mais informações sobre reservas de slot, consulte
Antes de começar neste documento.
Limitações
Para acessar uma lista completa de limitações que se aplicam a tabelas do BigLake baseadas no Amazon S3 e no Armazenamento de Blobs, consulte Limitações.
A seguir
- Saiba mais sobre o BigQuery Omni.
- Saiba como exportar dados da tabela.
- Saiba como consultar dados armazenados no Blob Storage.
- Saiba como configurar o VPC Service Controls para o BigQuery Omni.