Visão geral das transferências do Amazon S3

O serviço de transferência de dados do BigQuery para Amazon S3 permite programar e gerenciar automaticamente jobs de carga recorrentes do Amazon S3 para o BigQuery.

Formatos de arquivo compatíveis

Atualmente, o serviço de transferência de dados do BigQuery oferece suporte ao carregamento de dados do Amazon S3 em um dos seguintes formatos:

  • Valores separados por vírgula (CSV, na sigla em inglês)
  • JSON (delimitado por nova linha)
  • Avro
  • Parquet
  • ORC

Tipos de compactação aceitos

O serviço de transferência de dados do BigQuery para Amazon S3 é compatível com o carregamento de dados compactados. Os tipos de compactação aceitos por esse serviço são os mesmos compatíveis com os jobs de carregamento do BigQuery. Para mais informações, consulte Como carregar dados compactados e descompactados.

Pré-requisitos do Amazon S3

Para carregar dados de uma fonte de dados do Amazon S3, é preciso:

  • fornecer o URI do Amazon S3 para seus dados de origem;
  • ter o código da sua chave de acesso;
  • ter sua chave de acesso secreta;
  • definir pelo menos a política AmazonS3ReadOnlyAccess gerenciada pela AWS nos dados de origem do Amazon S3.

URIs do Amazon S3

Quando você fornece o URI do Amazon S3, o caminho precisa estar neste formato: s3://bucket/folder1/folder2/.... Apenas o nome de bucket de nível superior é necessário. Os nomes das pastas são opcionais. Se você especificar um URI que inclua apenas o nome do bucket, todos os arquivos no bucket serão transferidos ao BigQuery e carregados nele.

Parametrização do ambiente de execução da transferência do Amazon S3

O URI do Amazon S3 e a tabela de destino podem ser parametrizados. Assim, você carrega dados de buckets do Amazon S3 organizados por data. Não é possível parametrizar a parte do bucket do URI. Os parâmetros usados pelas transferências do Amazon S3 são os mesmos utilizados pelas transferências do Cloud Storage.

Para mais detalhes, consulte Como usar parâmetros do ambiente de execução em transferências.

Suporte a caracteres curinga em URIs do Amazon S3

Quando os dados de origem são separados em vários arquivos que têm o mesmo nome base, é possível usar um caractere curinga no URI ao carregar os dados. O caractere curinga é um asterisco (*) e pode ser usado em qualquer parte do URI do Amazon S3, exceto no nome do bucket.

É possível utilizar mais de um caractere curinga no URI do Amazon S3. No entanto, você garante o melhor desempenho quando esse URI especifica apenas um caractere curinga:

  • Há um limite maior no número máximo de arquivos por execução de transferência.

  • O caractere curinga abrange os limites do diretório. Por exemplo, o URI do Amazon S3 s3://my-bucket/*.csv corresponderá ao arquivo s3://my-bucket/my-folder/my-subfolder/my-file.csv.

Exemplos de URI do Amazon S3

Exemplo 1

Para carregar um único arquivo do Amazon S3 no BigQuery, especifique o URI do Amazon S3 referente a esse arquivo.

s3://my-bucket/my-folder/my-file.csv

Exemplo 2

Para carregar todos os arquivos de um bucket do Amazon S3 no BigQuery, especifique apenas o nome do bucket com ou sem caracteres curinga.

s3://my-bucket/

ou

s3://my-bucket/*

s3://my-bucket* não é um URI do Amazon S3 válido, já que não é possível usar um caractere curinga no nome do bucket.

Exemplo 3

Para carregar todos os arquivos do Amazon S3 que tenham o mesmo prefixo, especifique esse prefixo seguido por um caractere curinga.

s3://my-bucket/my-folder/*

Ao contrário do carregamento de todos os arquivos de um bucket do Amazon S3 de nível superior, o caractere curinga precisa ser especificado no final do URI do Amazon S3 para que todos os arquivos sejam carregados.

Exemplo 4

Para carregar todos os arquivos do Amazon S3 com um caminho semelhante, especifique o prefixo comum seguido por um caractere curinga.

s3://my-bucket/my-folder/*.csv

Exemplo 5

Como os caracteres curinga abrangem diretórios, todos os arquivos csv em my-folder e nas subpastas de my-folder são carregados no BigQuery.

Se estes arquivos de origem estiverem em uma pasta logs:

s3://my-bucket/logs/logs.csv
s3://my-bucket/logs/system/logs.csv
s3://my-bucket/logs/some-application/system_logs.log
s3://my-bucket/logs/logs_2019_12_12.csv

eles serão identificados pelo seguinte:

s3://my-bucket/logs/*

Exemplo 6

Se você tem estes arquivos de origem, mas quer transferir apenas aqueles com o nome de arquivo logs.csv:

s3://my-bucket/logs.csv
s3://my-bucket/metadata.csv
s3://my-bucket/system/logs.csv
s3://my-bucket/system/users.csv
s3://my-bucket/some-application/logs.csv
s3://my-bucket/some-application/output.csv

os arquivos com logs.csv no nome serão identificados pelo seguinte:

s3://my-bucket/*logs.csv

Exemplo 7

Ao usar vários caracteres curinga, você tem mais controle sobre quais arquivos são transferidos. Para isso, são necessários limites menores. Isso significa que cada caractere curinga corresponderá apenas até o final de um caminho em um subdiretório. Por exemplo, veja os arquivos de origem a seguir no Amazon S3:

s3://my-bucket/my-folder1/my-file1.csv
s3://my-bucket/my-other-folder2/my-file2.csv
s3://my-bucket/my-folder1/my-subfolder/my-file3.csv
s3://my-bucket/my-other-folder2/my-subfolder/my-file4.csv

Se você quiser apenas transferir my-file1.csv e my-file2.csv, use o seguinte como valor do URI do Amazon S3:

s3://my-bucket/*/*.csv

Como nenhum caractere curinga abrange os diretórios, esse URI limita a transferência apenas aos arquivos csv que estão em my-folder1 e my-other-folder2. As subpastas não são incluídas na transferência.

Chaves de acesso da AWS

O ID da chave de acesso e a chave de acesso secreta são usadas para acessar os dados do Amazon S3 em seu nome. Como prática recomendada, crie um ID de chave de acesso e uma chave de acesso secreta exclusivos especificamente para as transferências do Amazon S3 para fornecer acesso mínimo ao serviço de transferência de dados do BigQuery. Para ver informações sobre como gerenciar suas chaves de acesso, consulte a documentação geral de referência da AWS.

Considerações de consistência

Ao transferir dados do Amazon S3, é possível que alguns deles não sejam movidos para o BigQuery, especialmente se os arquivos foram adicionados ao bucket muito recentemente. Leva aproximadamente 10 minutos para que um arquivo fique disponível para o serviço de transferência de dados do BigQuery depois que ele é adicionado ao bucket.

Em alguns casos, no entanto, isso pode levar mais de 10 minutos. Para reduzir a possibilidade de dados ausentes, programe suas transferências do Amazon S3 para que ocorram pelo menos 10 minutos depois que seus arquivos forem adicionados ao bucket. Para mais informações sobre o modelo de consistência do Amazon S3, consulte esta seção na documentação do Amazon S3.

Prática recomendada sobre custos de saída

As transferências do Amazon S3 podem falhar se a tabela de destino não tiver sido configurada corretamente. Os motivos de uma configuração incorreta incluem:

  • a tabela de destino não existe;
  • o esquema da tabela não foi definido;
  • o esquema da tabela não é compatível com os dados que estão sendo transferidos.

Para evitar custos de saída do Amazon S3, primeiro você precisa testar uma transferência com um subconjunto pequeno e comum de arquivos. Quando falamos em "pequeno", estamos nos referindo ao tamanho dos dados e à contagem de arquivos.

Preços

Para mais informações sobre os preços do serviço de transferência de dados do BigQuery, consulte a página "Preços".

Podem ser gerados custos fora do Google com o uso desse serviço. Consulte a página de preços do Amazon S3 para ver detalhes.

Cotas e limites

O serviço de transferência de dados do BigQuery usa jobs para carregar dados do Amazon S3 no BigQuery. Todas as Cotas e limites do BigQuery nos jobs de carregamento são aplicadas às transferências recorrentes do Amazon S3. Há estas considerações:

Valor Limite
Tamanho máximo por execução de transferência do job de carregamento 15 TB
Número máximo de arquivos por execução de transferência quando o URI do Amazon S3 inclui até um caractere curinga 10.000.000 arquivos
Número máximo de arquivos por execução de transferência quando o URI do Amazon S3 inclui mais de um caractere curinga 10.000 arquivos

A seguir