Visão geral das transferências do Amazon S3

O serviço de transferência de dados do BigQuery para Amazon S3 permite agendar e gerenciar automaticamente jobs de carregamento recorrentes do Amazon S3 para o BigQuery.

Formatos de arquivo compatíveis

Atualmente, o serviço de transferência de dados do BigQuery oferece suporte ao carregamento de dados do Amazon S3 em um dos seguintes formatos:

  • Valores separados por vírgula (CSV, na sigla em inglês)
  • JSON (delimitado por nova linha)
  • Avro
  • Parquet
  • ORC

Pré-requisitos do Amazon S3

Para carregar dados de uma fonte de dados do Amazon S3, é preciso:

  • fornecer o URI do Amazon S3 para seus dados de origem;
  • ter o código da sua chave de acesso;
  • ter sua chave de acesso secreta;
  • definir, no mínimo, a política gerenciada pela AWS AmazonS3ReadOnlyAccess nos seus dados de origem do Amazon S3.

URIs do Amazon S3

Quando você fornece o URI do Amazon S3, o caminho precisa estar no seguinte formato: s3://bucket/folder1/folder2/... Apenas o nome do intervalo de nível superior é obrigatório. Os nomes das pastas são opcionais. Se você especificar um URI que inclua apenas o nome do intervalo, todos os arquivos no bloco serão transferidos e carregados no BigQuery.

O URI do Amazon S3 e a tabela de destino podem ser parametrizados, permitindo que você carregue dados de intervalos do Amazon S3 organizados por data. Atualmente, a parte do intervalo do URI não pode ser parametrizada. Os parâmetros usados pelas transferências do Amazon S3 são os mesmos usados pelas transferências do Cloud Storage.

Suporte a caractere curinga para URIs do Amazon S3

Quando os dados de origem são separados em vários arquivos que compartilham um nome base comum, é possível usar um caractere curinga no URI ao carregar os dados.

Para adicionar um caractere curinga ao URI, adicione um asterisco (*) ao nome base. Por exemplo, se tiver dois arquivos chamados fed-sample000001.csv e fed-sample000002.csv, o URI do intervalo será s3://mybucket/fed-sample*.

Você só pode usar um caractere curinga para objetos (nomes de arquivos) no intervalo. O caractere curinga pode ser exibido dentro ou no final do nome do objeto. Não é possível incluir um caractere curinga ao nome do intervalo.

Chaves de acesso da AWS

O ID da chave de acesso e a chave de acesso secreta são usadas para acessar os dados do Amazon S3 em seu nome. Como prática recomendada, crie um ID de chave de acesso e uma chave de acesso secreta exclusivos especificamente para as transferências do Amazon S3 para fornecer acesso mínimo ao serviço de transferência de dados do BigQuery. Para ver informações sobre como gerenciar suas chaves de acesso, consulte a documentação geral de referência da AWS.

Considerações de consistência

Ao transferir dados do Amazon S3, é possível que alguns dos seus dados não sejam transferidos para o BigQuery, especialmente se os arquivos foram adicionados ao intervalo muito recentemente. Leva aproximadamente 10 minutos para que um arquivo fique disponível para o serviço de transferência de dados do BigQuery depois que ele é adicionado ao intervalo.

Em alguns casos, no entanto, isso pode levar mais de 10 minutos. Para reduzir a possibilidade de dados ausentes, programe suas transferências do Amazon S3 para que ocorram pelo menos 10 minutos depois que seus arquivos forem adicionados ao intervalo. Para ver mais informações sobre o modelo de consistência do Amazon S3, consulte o modelo de consistência de dados do Amazon S3 na documentação do Amazon S3.

Preço

Para ver informações sobre os preços do serviço de transferência de dados do BigQuery, consulte a página Preços.

Os custos podem ser gerados fora do Google usando esse serviço. Consulte a página de preços do Amazon S3 para ver detalhes.

Cotas e limites

O serviço de transferência de dados do BigQuery usa jobs de carregamento para carregar dados do Amazon S3 no BigQuery. Todas as cotas e limites do BigQuery em jobs de carregamento se aplicam a transferências recorrentes do Amazon S3.

A seguir

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Precisa de ajuda? Acesse nossa página de suporte.