Como exportar resultados de consulta para o Azure Storage

Com o BigQuery Omni, é possível exportar diretamente o resultado de uma consulta de volta para o Azure Storage.

Antes de começar

Verifique se você tem uma conexão do Azure Storage. Na conexão, crie uma política para o caminho do contêiner do Azure Storage para o qual você quer exportar. Dentro dessa política, crie um papel com a permissão Microsoft.Storage/storageAccounts/blobServices/containers/write.

Como executar uma consulta

Para executar uma consulta, use o Console do Google Cloud ou a ferramenta de linha de comando bq:

Console do Google Cloud

  1. No Console do Cloud, abra a página do BigQuery.

    Ir para o BigQuery

  2. No campo Editor de consultas, insira uma consulta SQL padrão. O SQL padrão é a sintaxe padrão do Console do Cloud.

    EXPORT DATA WITH CONNECTION `CONNECTION_REGION.CONNECTION_NAME` \
    OPTIONS(uri="abs://AZURE_STORAGE_ACCOUNT_NAME/CONTAINER_NAME/FILE_PATH/*", format="FORMAT", ...) \
    AS QUERY
    

    O BigQuery Omni é gravado em um local específico do Amazon S3, independentemente de qualquer conteúdo existente. Isso pode substituir dados ou combinar o resultado da consulta com os dados atuais. Portanto, recomendamos que você exporte para um caminho vazio do Amazon S3.

    Substitua:

    • CONNECTION_REGION: a região em que a conexão foi criada.
    • CONNECTION_NAME: o nome da conexão que você criou com a permissão necessária para gravar no bucket do S3.
    • AZURE_STORAGE_ACCOUNT_NAME: o nome da conta de armazenamento do Azure Storage na qual você quer gravar.
    • CONTAINER_NAME: o nome do contêiner em que você quer gravar.
    • FILE_PATH: o caminho para onde você quer gravar o arquivo exportado. Ele precisa conter exatamente um caractere curinga * em qualquer lugar no diretório da string do caminho, por exemplo, ../aa/*, ../aa/b*c, ../aa/*bc e ../aa/bc*. O BigQuery substitui * por 0000..N dependendo do número de arquivos exportados. O BigQuery determina a contagem e os tamanhos de arquivos. Se o BigQuery decidir exportar dois arquivos, o * no primeiro nome do arquivo será substituído por 000000000000, e o * no segundo nome do arquivo, substituído por 000000000001:
    • FORMAT: os formatos compatíveis são JSON, AVRO e CSV.
    • QUERY: a consulta que você quer executar para analisar os dados.

    Por exemplo, a consulta a seguir exporta resultados de consultas do BigQuery para abs://account/container/* no Azure Storage:

    EXPORT DATA WITH CONNECTION `azure-eastus2.abs-write-conn` OPTIONS(uri="abs://account/container/*", format="CSV") AS SELECT * FROM absdataset.abstable
    
  3. Clique em Executar.

bq

Use o comando query e especifique a sintaxe SQL padrão usando a sinalização --nouse_legacy_sql ou --use_legacy_sql=false.

Para executar a consulta de exportação, insira o seguinte:

  EXPORT DATA WITH CONNECTION `CONNECTION_REGION.CONNECTION_NAME` \
  OPTIONS(uri="abs://AZURE_STORAGE_ACCOUNT_NAME/CONTAINER_NAME/FILE_PATH/*", format="FORMAT", ...) \
 AS QUERY

O BigQuery Omni é gravado em um local específico do Amazon S3, independentemente de qualquer conteúdo existente. Isso pode substituir dados existentes ou combiná-los com o resultado da consulta. Portanto, recomendamos que você exporte para um caminho vazio do Amazon S3.

Substitua:

  • CONNECTION_REGION: a região em que a conexão foi criada.
  • CONNECTION_NAME: o nome da conexão que você criou com a permissão necessária para gravar no bucket do S3.
  • AZURE_STORAGE_ACCOUNT_NAME: o nome da conta de armazenamento do Azure Storage na qual você quer gravar.
  • CONTAINER_NAME: o nome do contêiner em que você quer gravar.
  • FILE_PATH: o caminho para onde você quer gravar o arquivo exportado. Ele precisa conter exatamente um caractere curinga * em qualquer lugar no diretório da string do caminho, por exemplo, ../aa/*, ../aa/b*c, ../aa/*bc e ../aa/bc*. O BigQuery substitui * por 0000..N dependendo do número de arquivos exportados. O BigQuery determina a contagem e os tamanhos de arquivos. Se o BigQuery decidir exportar dois arquivos, o * no primeiro nome do arquivo será substituído por 000000000000, e o * no segundo nome do arquivo, substituído por 000000000001:
  • FORMAT: os formatos compatíveis são JSON, AVRO e CSV.
  • QUERY: a consulta que você quer executar para analisar os dados.

A seguir

  • Para mais informações sobre como exportar dados da tabela, consulte esta página.