Como exportar dados de tabela

Nesta página, você aprende a exportar e extrair dados de tabelas do BigQuery.

Depois de carregar os dados no BigQuery, eles podem ser exportados em diferentes formatos. O BigQuery pode exportar até 1 GB de dados para um único arquivo. Se você estiver exportando mais de 1 GB de dados, exporte seus dados para vários arquivos. Ao fazer isso, o tamanho dos arquivos será variado.

É possível usar um serviço, como o Cloud Dataflow, para ler os dados do BigQuery em vez de exportá-los manualmente. Para mais informações sobre como usar o Cloud Dataflow para ler e gravar no BigQuery, consulte E/S do BigQuery (em inglês) na documentação do Apache Beam.

Permissões exigidas

Para exportar dados para o Cloud Storage, você precisa de permissões para acessar a tabela do BigQuery que contém os dados, para executar um job de exportação e para gravar os dados no intervalo do Cloud Storage.

Permissões do BigQuery

  • Para exportar dados, é necessário ter, no mínimo, as permissões bigquery.tables.export. Os papéis predefinidos do Cloud IAM a seguir incluem permissões bigquery.tables.export:

    • bigquery.dataViewer
    • bigquery.dataOwner
    • bigquery.dataEditor
    • bigquery.admin
  • Para executar um job de exportação, é necessário ter, no mínimo, as permissões bigquery.jobs.create. Os papéis predefinidos do Cloud IAM a seguir incluem permissões bigquery.jobs.create:

    • bigquery.user
    • bigquery.jobUser
    • bigquery.admin

Permissões do Cloud Storage

  • Para gravar os dados em um intervalo do Cloud Storage atual, você precisa receber as permissões storage.objects.create. Os papéis predefinidos do Cloud IAM a seguir incluem permissões storage.objects.create:

    • storage.objectCreator
    • storage.objectAdmin
    • storage.admin

Limitações de exportação

Ao exportar dados do BigQuery, leve em consideração os itens a seguir:

  • Não é possível exportar dados de tabela para um arquivo local, o Planilhas Google ou o Google Drive. O único local de exportação aceito é o Cloud Storage. Para mais informações sobre como salvar resultados de consulta, acesse Como fazer o download de resultados de consulta e salvá-los.
  • É possível exportar até 1 GB de dados da tabela para um único arquivo. Se você estiver exportando mais de 1 GB de dados, use um caractere curinga para exportar os dados para vários arquivos. Ao exportar dados para vários arquivos, o tamanho dos arquivos varia.
  • Não é possível exportar dados aninhados e repetidos no formato CSV. Dados aninhados e repetidos são compatíveis com as exportações Avro e JSON.
  • Quando você exporta dados no formato JSON, os tipos de dados INT64 (números inteiros) são codificados como strings JSON para preservar a precisão de 64 bits quando os dados são lidos por outros sistemas.
  • Não é possível exportar dados de várias tabelas em um único job de exportação.
  • Quando você exporta dados de tabelas particionadas, não é possível exportar particionamentos individuais.
  • Ao exportar dados usando o Console do GCP ou a interface da Web clássica do BigQuery, o único tipo de compactação aceito é o GZIP.

Considerações sobre local

Ao escolher um local para os dados, leve em consideração os seguintes itens:

  • Colocar os intervalos do Cloud Storage para exportação de dados.
    • Ao exportar dados, o intervalo regional ou multirregional do Cloud Storage precisa estar no mesmo local que o conjunto de dados do BigQuery. Por exemplo, se o conjunto de dados do BigQuery estiver no local multirregional da UE, o intervalo do Cloud Storage que contém os dados que você está exportando precisará estar em um local regional ou multirregional na UE.
    • Se o conjunto de dados estiver em um local regional, seu intervalo do Cloud Storage precisará ser um intervalo regional no mesmo local. Por exemplo, se o conjunto de dados estiver na região de Tóquio, seu intervalo do Cloud Storage precisará ser um intervalo regional em Tóquio.
    • Exceção: se o seu conjunto de dados estiver no local multirregional dos EUA, será possível exportar dados para um intervalo do Cloud Storage em qualquer local regional ou multirregional.
  • Desenvolver um plano de gerenciamento de dados.
    • Se você escolher um recurso de armazenamento regional, como um conjunto de dados do BigQuery ou um intervalo do Cloud Storage, será necessário desenvolver um plano para gerenciar geograficamente seus dados.

Para mais informações sobre locais do Cloud Storage, consulte Locais de intervalos na documentação do Cloud Storage.

Como migrar dados do BigQuery entre locais

Não é possível alterar o local de um conjunto de dados depois que ele foi criado. Além disso, não é possível mover um conjunto de dados de um local para outro. Se precisar migrar um conjunto de dados de um local para outro, siga este processo:

  1. Exporte os dados das tabelas do BigQuery para um intervalo regional ou multirregional do Cloud Storage no mesmo local do conjunto de dados. Por exemplo, se o conjunto de dados estiver no local multirregional da UE, exporte os dados para um intervalo regional ou multirregional na UE.

    Não há cobranças pela exportação de dados do BigQuery, mas são cobradas taxas pelo armazenamento dos dados exportados no Cloud Storage. As exportações do BigQuery estão sujeitas aos limites de jobs de exportação.

  2. Copie ou mova os dados do intervalo do Cloud Storage para um intervalo regional ou multirregional no novo local. Por exemplo, se você estiver movendo os dados do local multirregional dos EUA para o local regional de Tóquio, será necessário transferi-los para um intervalo regional em Tóquio. Para informações de como transferir objetos do Cloud Storage, consulte Como renomear, copiar e mover objetos na documentação do Cloud Storage.

    A transferência de dados entre regiões gera cobranças de saída de rede no Cloud Storage.

  3. Depois de transferir os dados para um intervalo do Cloud Storage no novo local, crie um novo conjunto de dados do BigQuery (no novo local). Em seguida, carregue os dados do intervalo do Cloud Storage no BigQuery.

    Você não será cobrado pelo carregamento dos dados no BigQuery, mas haverá cobranças pelo armazenamento dos dados no Cloud Storage até que os dados ou o intervalo sejam excluídos. Também haverá cobrança pelo armazenamento de dados no BigQuery depois que eles forem carregados. O carregamento de dados no BigQuery está sujeito às limitações de jobs de carregamento.

Para mais informações sobre como usar o Cloud Storage para armazenar e mover grandes conjuntos de dados, consulte Como usar o Google Cloud Storage com o Big Data.

Formatos de exportação e tipos de compactação

O BigQuery é compatível com os seguintes formatos de dados e tipos de compactação para dados exportados.

Formato de dados Tipos de compactação compatíveis Detalhes
CSV GZIP

É possível controlar o delimitador CSV nos dados exportados usando a sinalização --field_delimiter da CLI ou a propriedade do job de extração configuration.extract.fieldDelimiter .

Dados aninhados e repetidos não são compatíveis.

JSON GZIP Dados aninhados e repetidos são compatíveis.
Avro DEFLATE, SNAPPY

GZIP não é aceito para exportações do Avro.

Dados aninhados e repetidos são compatíveis.

Como exportar dados armazenados no BigQuery

Para exportar dados de tabela:

  • use o Console do GCP ou a IU da Web clássica do BigQuery;
  • use o comando bq extract da CLI;
  • envie um job extract por meio da API ou de bibliotecas de cliente.

Como exportar dados de tabela

Para exportar dados de uma tabela do BigQuery, siga estas etapas:

Console

  1. Abra a IU da Web do BigQuery no Console do GCP.
    Acessar o Console do GCP

  2. No painel de navegação, na seção Recursos, expanda seu projeto e selecione um conjunto de dados. Encontre e clique na tabela que contém os dados que você está exportando.

  3. No lado direito da janela, clique em Exportar e selecione Exportar para o Cloud Storage.

    Exportar dados

  4. Na caixa de diálogo Exportar para o Cloud Storage, siga estas etapas:

    • Em Selecionar local do Cloud Storage, procure o intervalo, a pasta ou o arquivo a que você quer exportar os dados.
    • Em Formato de exportação, escolha o formato dos dados exportados: CSV, JSON (delimitado por nova linha) ou Avro.
    • Em Compactação, aceite o valor padrão None ou escolha GZIP. Não é possível usar o formato Avro com a compactação GZIP. Para compactar dados Avro, use a ferramenta de linha de comando bq ou a API e especifique um dos tipos de compactação compatíveis com os dados Avro: DEFLATE ou SNAPPY.
    • Clique em Exportar para exportar a tabela.

Para verificar o andamento do job, procure um job de exportação no Histórico de jobs, na parte superior da navegação.

IU clássica

  1. Acesse a IU da Web do BigQuery.
    Acessar a IU da Web do BigQuery

  2. Na navegação, clique no conjunto de dados para expandi-lo.

  3. Localize e clique no ícone de seta para baixo imagem do ícone de seta para baixo ao lado da tabela que contém os dados que você está exportando.

  4. Selecione Exportar tabela para exibir a caixa de diálogo Exportar para o Cloud Storage.

  5. Na caixa de diálogo Exportar para o Cloud Storage, siga estas etapas:

    • Em Formato de exportação, escolha o formato dos dados exportados: CSV, JSON (delimitado por nova linha) ou Avro.
    • Em Compactação, aceite o valor padrão None ou escolha GZIP. Não é possível usar o formato Avro com a compactação GZIP. Para compactar dados Avro, use a ferramenta de linha de comando bq ou a API e especifique um dos tipos de compactação compatíveis com os dados Avro: DEFLATE ou SNAPPY.
    • Na caixa de texto URI do Cloud Storage, insira um URI válido no formato gs://bucket_name/filename.ext, em que bucket_name é o nome do intervalo do Cloud Storage e filename.ext é o nome e extensão do arquivo de destino. O conjunto de dados do BigQuery e o intervalo do Cloud Storage precisam estar no mesmo local.
    • Para exportar a tabela, clique em OK.

Durante a execução do job, (extraindo) aparece ao lado do nome da tabela na navegação. Na parte superior da navegação, procure um job de Extração em Histórico do job e verifique o andamento dele.

CLI

Use o comando bq extract com a sinalização --destination_format.

Opcional: forneça a sinalização --location e defina o valor como seu local.

Estas são outras sinalizações opcionais:

  • --compression: o tipo de compactação a ser usado para arquivos exportados.
  • --field_delimiter: o caractere que indica o limite entre as colunas no arquivo de saída para exportações de CSV. \t e tab são permitidos como delimitadores de tabulação.
  • --print_header: quando especificada, essa sinalização imprime linhas de cabeçalho para formatos que tenham cabeçalhos como CSV.
bq --location=location extract \
--destination_format format \
--compression compression_type \
--field_delimiter delimiter \
--print_header=boolean \
project_id:dataset.table \
gs://bucket/filename.ext

Em que:

  • location é o nome do local. A sinalização --location é opcional. Por exemplo, se você estiver usando o BigQuery na região de Tóquio, poderá definir o valor da sinalização como asia-northeast1. É possível definir um valor padrão para o local usando o arquivo .bigqueryrc;
  • format é o formato dos dados exportados: CSV, NEWLINE_DELIMITED_JSON ou AVRO;
  • compression_type é um tipo de compactação compatível com o formato dos dados. CSV e NEWLINE_DELIMITED_JSON são compatíveis com GZIP. AVRO é compatível com DEFLATE e SNAPPY;
  • delimiter é o caractere que indica o separador entre as colunas nas exportações de CSV. \t e tab são nomes aceitos para a tabulação;
  • boolean é true ou false. Quando a configuração é true, as linhas de cabeçalho são impressas nos dados exportados se o formato de dados aceitar cabeçalhos. O valor padrão é true;
  • project_id é o ID do projeto;
  • dataset é o nome do conjunto de dados de origem;
  • table é a tabela que você está exportando;
  • bucket é o nome do intervalo do Cloud Storage a que você está exportando os dados. O conjunto de dados do BigQuery e o intervalo do Cloud Storage precisam estar no mesmo local;
  • filename.ext é o nome e extensão do arquivo de dados exportado. É possível exportar para vários arquivos usando um caractere curinga.

Exemplos:

Por exemplo, o comando a seguir exporta mydataset.mytable para um arquivo compactado gzip chamado myfile.csv. O arquivo myfile.csv é armazenado em um intervalo do Cloud Storage denominado example-bucket.

bq extract \
--compression GZIP \
'mydataset.mytable' \
gs://example-bucket/myfile.csv

O formato de destino padrão é CSV. Para exportar para JSON ou Avro, use a sinalização destination_format e a defina como NEWLINE_DELIMITED_JSON ou AVRO:

bq extract \
--destination_format NEWLINE_DELIMITED_JSON \
'mydataset.mytable' \
gs://example-bucket/myfile.json

O comando a seguir exporta mydataset.mytable para um arquivo do Avro que é compactado com o Snappy. O arquivo é chamado myfile.avro. myfile.avro é exportado para um intervalo do Cloud Storage chamado example-bucket.

bq extract \
--destination_format AVRO \
--compression SNAPPY \
'mydataset.mytable' \
gs://example-bucket/myfile.avro

API

Para exportar dados, crie um job extract e preencha a configuração dele.

Opcional: especifique o local na propriedade location na seção jobReference do recurso de job.

  1. Crie um job de extração que aponte para os dados de origem do BigQuery e para o destino do Cloud Storage.

  2. Especifique a tabela de origem usando o objeto de configuração sourceTable que contém os IDs do projeto, do conjunto de dados e da tabela.

  3. A propriedade destination URI(s) precisa ser totalmente qualificada, no formato gs://bucket/filename.ext. Cada URI contém um caractere curinga "*" após o nome do intervalo.

  4. Para especificar o formato de dados, defina a propriedade configuration.extract.destinationFormat. Por exemplo, para exportar um arquivo JSON, defina essa propriedade como o valor de NEWLINE_DELIMITED_JSON.

  5. Para verificar o status do job, chame jobs.get(job_id) com o ID do job retornado pela solicitação inicial.

    • O resultado status.state = DONE mostra que o job foi concluído com sucesso.
    • A propriedade status.errorResult mostra que houve falha na solicitação, e o objeto incluirá informações que descrevem o erro.
    • A ausência de status.errorResult indica que o job foi concluído com alguns erros não fatais. Esses erros são listados na propriedade status.errors do objeto do job retornado.

Observações sobre a API:

  • Como prática recomendada, gere um ID exclusivo e o transmita como jobReference.jobId ao chamar jobs.insert para criar um job. Essa abordagem é mais resistente a falhas de rede porque o cliente pode pesquisar ou tentar novamente com o ID do job conhecido.

  • Chamar jobs.insert em um determinado ID de job é idempotente, ou seja, é possível repetir o processo quantas vezes quiser com o mesmo ID e, no máximo, uma das operações será bem-sucedida.

C#

Antes de testar esta amostra, siga as instruções de configuração do C# no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API do BigQuery para C#.


using Google.Cloud.BigQuery.V2;
using System;

public class BigQueryExtractTable
{
    public void ExtractTable(
        string projectId = "your-project-id",
        string bucketName = "your-bucket-name")
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        // Define a destination URI. Use a single wildcard URI if you think
        // your exported data will be larger than the 1 GB maximum value.
        string destinationUri = $"gs://{bucketName}/shakespeare-*.csv";
        BigQueryJob job = client.CreateExtractJob(
            projectId: "bigquery-public-data",
            datasetId: "samples",
            tableId: "shakespeare",
            destinationUri: destinationUri
        );
        job.PollUntilCompleted();  // Waits for the job to complete.
        Console.Write($"Exported table to {destinationUri}.");
    }
}

Go

Antes de testar esta amostra, siga as instruções de configuração do Go no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery Go.

srcProject := "bigquery-public-data"
srcDataset := "samples"
srcTable := "shakespeare"

// For example, gcsUri = "gs://mybucket/shakespeare.csv"
gcsRef := bigquery.NewGCSReference(gcsURI)
gcsRef.FieldDelimiter = ","

extractor := client.DatasetInProject(srcProject, srcDataset).Table(srcTable).ExtractorTo(gcsRef)
extractor.DisableHeader = true
// You can choose to run the job in a specific location for more complex data locality scenarios.
// Ex: In this example, source dataset and GCS bucket are in the US.
extractor.Location = "US"

job, err := extractor.Run(ctx)
if err != nil {
	return err
}
status, err := job.Wait(ctx)
if err != nil {
	return err
}
if err := status.Err(); err != nil {
	return err
}

Java

Antes de testar esta amostra, siga as instruções de configuração do Java no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery Java.

Job job = table.extract(format, gcsUrl);
// Wait for the job to complete
try {
  Job completedJob =
      job.waitFor(
          RetryOption.initialRetryDelay(Duration.ofSeconds(1)),
          RetryOption.totalTimeout(Duration.ofMinutes(3)));
  if (completedJob != null && completedJob.getStatus().getError() == null) {
    // Job completed successfully
  } else {
    // Handle error case
  }
} catch (InterruptedException e) {
  // Handle interrupted wait
}

Node.js

Antes de testar esta amostra, siga as instruções de configuração do Node.js no guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery Node.js.

// Import the Google Cloud client libraries
const {BigQuery} = require('@google-cloud/bigquery');
const {Storage} = require('@google-cloud/storage');

const bigquery = new BigQuery();
const storage = new Storage();

async function extractTableToGCS() {
  // Exports my_dataset:my_table to gcs://my-bucket/my-file as raw CSV.

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = "my_dataset";
  // const tableId = "my_table";
  // const bucketName = "my-bucket";
  // const filename = "file.csv";

  // Location must match that of the source table.
  const options = {
    location: 'US',
  };

  // Export data from the table into a Google Cloud Storage file
  const [job] = await bigquery
    .dataset(datasetId)
    .table(tableId)
    .extract(storage.bucket(bucketName).file(filename), options);
  // load() waits for the job to finish
  console.log(`Job ${job.id} completed.`);

  // Check the job's status for errors
  const errors = job.status.errors;
  if (errors && errors.length > 0) {
    throw errors;
  }
}

PHP

Antes de testar esta amostra, siga as instruções de configuração do PHP no guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery PHP.

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId  = 'The Google project ID';
// $datasetId  = 'The BigQuery dataset ID';
// $tableId    = 'The BigQuery table ID';
// $bucketName = 'The Cloud Storage bucket Name';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$dataset = $bigQuery->dataset($datasetId);
$table = $dataset->table($tableId);
$destinationUri = "gs://{$bucketName}/{$tableId}.json";
// Define the format to use. If the format is not specified, 'CSV' will be used.
$format = 'NEWLINE_DELIMITED_JSON';
// Create the extract job
$extractConfig = $table->extract($destinationUri)->destinationFormat($format);
// Run the job
$job = $table->runJob($extractConfig);  // Waits for the job to complete
printf('Exported %s to %s' . PHP_EOL, $table->id(), $destinationUri);

Python

Antes de testar esta amostra, siga as instruções de configuração do Python em Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery Python.

# from google.cloud import bigquery
# client = bigquery.Client()
# bucket_name = 'my-bucket'
project = "bigquery-public-data"
dataset_id = "samples"
table_id = "shakespeare"

destination_uri = "gs://{}/{}".format(bucket_name, "shakespeare.csv")
dataset_ref = client.dataset(dataset_id, project=project)
table_ref = dataset_ref.table(table_id)

extract_job = client.extract_table(
    table_ref,
    destination_uri,
    # Location must match that of the source table.
    location="US",
)  # API request
extract_job.result()  # Waits for job to complete.

print(
    "Exported {}:{}.{} to {}".format(project, dataset_id, table_id, destination_uri)
)

Ruby

Antes de testar esta amostra, siga as instruções de configuração do Ruby em Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API BigQuery Ruby (em inglês).

require "google/cloud/bigquery"

def extract_table(
    bucket_name = "my-bucket",
    dataset_id  = "my_dataset_id",
    table_id    = "my_table_id"
  )
  bigquery = Google::Cloud::Bigquery.new
  dataset  = bigquery.dataset dataset_id
  table    = dataset.table    table_id

  # Define a destination URI. Use a single wildcard URI if you think
  # your exported data will be larger than the 1 GB maximum value.
  destination_uri = "gs://#{bucket_name}/output-*.csv"

  extract_job = table.extract_job(destination_uri) do |config|
    # Location must match that of the source table.
    config.location = "US"
  end
  extract_job.wait_until_done!  # Waits for the job to complete

  puts "Exported #{table.id} to #{destination_uri}"
end

Detalhes da exportação do Avro

No BigQuery, os dados formatados em Avro são expressos das seguintes maneiras:

  • Os arquivos de exportação resultantes são de contêiner Avro.
  • Cada linha do BigQuery é representada como um registro Avro. Os dados aninhados são representados por objetos de registro aninhados.
  • Os campos REQUIRED são representados como tipos Avro correspondentes. Por exemplo, um tipo INTEGER do BigQuery é mapeado para um tipo Avro LONG.
  • Os campos NULLABLE são representados como uma união Avro do tipo correspondente e "nulo".
  • Os campos REPEATED são representados como matrizes Avro.
  • Os tipos de dados TIMESTAMP são representados como tipos Avro LONG.

O formato Avro não pode ser usado com a compactação GZIP. Para compactar dados do Avro, use a ferramenta de linha de comando bq ou a API e especifique um dos tipos de compactação compatíveis com os dados do Avro: DEFLATE ou SNAPPY.

Como exportar dados para um ou mais arquivos

A propriedade destinationUris indica os locais e os nomes dos arquivos exportados no BigQuery.

O BigQuery aceita um único operador de caractere curinga (*) para cada URI. Esse caractere pode ser usado em qualquer posição do URI, exceto como parte do nome do intervalo. Com esse operador, vários arquivos fragmentados são criados no BigQuery com base no padrão fornecido. Ele é substituído por um número de 12 dígitos preenchido à esquerda, começando por 0. Por exemplo, um URI com um caractere curinga no fim do nome do arquivo gera arquivos com 000000000000 anexado ao primeiro arquivo, 000000000001 anexado ao segundo e assim por diante.

Veja as diversas possibilidades para a propriedade destinationUris descritas na tabela abaixo:

opções para `destinationUris`
URI único

Use um único URI se você estiver exportando dados de tabela com 1 GB ou menos. Essa opção é o caso de uso mais comum, porque os dados exportados geralmente são menores que o valor máximo de 1 GB.

Definição da propriedade:

['gs://my-bucket/file-name.json']

gera:


gs://my-bucket/file-name.json
URI com um único caractere curinga

Use um URI com um único caractere coringa para exportar dados maiores do que o valor máximo de 1 GB. Os dados são fragmentados pelo BigQuery entre vários arquivos com base no padrão fornecido. O tamanho dos arquivos exportados varia.

Se você usar um curinga em um componente do URI diferente do nome do arquivo, verifique se o componente do caminho não existe antes de exportar os dados.

Definição da propriedade:

['gs://my-bucket/file-name-*.json']

gera:


gs://my-bucket/file-name-000000000000.json
gs://my-bucket/file-name-000000000001.json
gs://my-bucket/file-name-000000000002.json
...
URIs com diversos caracteres curinga

Para particionar a saída da exportação, use diversos URIs com caracteres curinga. Use essa opção se estiver executando uma tarefa de processamento em paralelo com um serviço como o Cloud Dataproc. Determine o número de trabalhadores disponíveis para processar o job e crie um URI para cada um. Cada local do URI no BigQuery é tratado como partição, e um processamento paralelo é usado para fragmentar os dados entre vários arquivos para cada local. Use o padrão que quiser no nome do arquivo, considerando que em cada URI há um único operador curinga, que cada URI é exclusivo, e que a quantidade deles não excede a política de cotas.

Quando você transmite mais de um URI com caractere curinga, o BigQuery cria um arquivo especial no final de cada partição que indica o arquivo final no conjunto. O nome desse arquivo indica o número de fragmentos criados no BigQuery.

Por exemplo, se o URI com caractere curinga for gs://my-bucket/file- name-<worker number>-*.json, e o BigQuery criar 80 arquivos fragmentados, o nome do arquivo de registro zero será gs://my-bucket/file-name-<worker number>-000000000080.json. Com esse nome de arquivo, você determina que foram criados 80 arquivos fragmentados no BigQuery (com nome 000000000000-000000000079).

Um arquivo de registro zero pode conter mais de 0 byte dependendo do formato de dados. Isso ocorre, por exemplo, quando dados no formato CSV são exportados com um cabeçalho de coluna.

Padrão de string:

gs://my-bucket/file-name-<worker number>-*.json

Definição da propriedade:


['gs://my-bucket/file-name-1-*.json',
'gs://my-bucket/file-name-2-*.json',
'gs://my-bucket/file-name-3-*.json']

Gera:

Neste exemplo, presume-se que foram criados 80 arquivos fragmentados no BigQuery para cada partição.


gs://my-bucket/file-name-1-000000000000.json
gs://my-bucket/file-name-1-000000000001.json
...
gs://my-bucket/file-name-1-000000000080.json
gs://my-bucket/file-name-2-000000000000.json
gs://my-bucket/file-name-2-000000000001.json
...
gs://my-bucket/file-name-2-000000000080.json
gs://my-bucket/file-name-3-000000000000.json
gs://my-bucket/file-name-3-000000000001.json
...
gs://my-bucket/file-name-3-000000000080.json

Política de cotas

Para mais informações sobre cotas de jobs de exportação, consulte Exportar jobs na página "Cotas e limites".

Preços

No momento, não há cobrança pela exportação de dados do BigQuery, mas as exportações estão sujeitas às Cotas e limites do BigQuery. Para saber mais informações sobre preços do BigQuery, consulte a página de Preços.

Depois que os dados forem exportados, você será cobrado pelo armazenamento deles no Cloud Storage. Para mais informações sobre preços do Cloud Storage, consulte a página de Preços do Cloud Storage.

A seguir

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Precisa de ajuda? Acesse nossa página de suporte.