Como configurar o acesso a origens de dados e coletores

Nesta página, você verá como configurar o acesso à origem e ao coletor de dados para uma transferência usando o Storage Transfer Service.

O Serviço de transferência do Cloud Storage usa uma conta de serviço gerenciada pelo Google para mover seus dados. Se você criar uma transferência no Console do Google Cloud e tiver permissões para atualizar as políticas do IAM para recursos do Cloud Storage, então as transferências criadas no Console do Google Cloud concederão automaticamente à conta de serviço gerenciada pelo Google e usada pelo Serviço de transferência do Cloud Storage as permissões necessárias para a transferência.

O acesso a origens de dados e transferências que não são do Google Cloud e que foram criadas usando a API Storage Transfer Service requerem configuração adicional.

Pré-requisitos

As permissões da conta de serviço são concedidas no nível do bucket. Você precisa ter a capacidade de conceder essas permissões, como ter o papel de administrador do Storage. Para mais informações, consulte Identity and Access Management.

Se você planeja usar o Pub/Sub nas transferências, certifique-se de conceder à conta de serviço o papel roles/pubsub.publisher do IAM para o tópico do Pub/Sub desejado. Pode levar alguns segundos entre a atribuição do papel e a aplicação dele à sua conta de serviço. Se você conceder essa permissão de maneira programática, aguarde 30 segundos antes de configurar o Serviço de transferência do Cloud Storage.

Se o Cloud Key Management Service estiver ativado nos seus buckets de origem ou destino do Cloud Storage, verifique se as cotas listadas para o Cloud KMS na página "Cotas" do seu projeto são compatíveis com as cotas de leitura e de gravação do Serviço de transferência do Cloud Storage. Caso contrário, solicite um aumento na página "Cotas" do seu projeto.

Para ver mais informações, consulte os seguintes tópicos:

Como configurar o acesso à origem de dados

Cloud Storage

O Serviço de transferência do Cloud Storage usa uma conta de serviço gerenciada pelo Google para mover seus dados. A conta de serviço gerenciada pelo Google é listada no campo accountEmail.

Para configurar o Serviço de transferência do Cloud Storage para usar o Cloud Storage como fonte de dados, atribua os seguintes papéis ou permissões equivalentes para a conta de serviço gerenciada pelo Google no campo accountEmail do bucket de origem:

Role O que ele faz Observações
roles/storage.objectViewer Permite que a conta de serviço leia o conteúdo do bucket e os dados e metadados de objeto.
roles/storage.legacyBucketReader Permite que a conta de serviço leia o conteúdo e os metadados de um bucket e os metadados de objeto. Se você não pretende excluir objetos de origem do Cloud Storage, atribua roles/storage.legacyBucketReader à conta de serviço.
roles/storage.legacyBucketWriter Permite que a conta de serviço crie, substitua e exclua objetos, liste objetos em um bucket, leia metadados de objeto durante a listagem e leia metadados do bucket, excluindo as políticas do IAM. Se você pretende excluir objetos de origem do Cloud Storage, atribua roles/storage.legacyBucketWriter à conta de serviço.

Para transferências de dados avançadas, consulte Permissões do IAM para o Serviço de transferência do Cloud Storage.

Amazon S3

Siga estas etapas para configurar o acesso a um bucket do Amazon S3:

  1. Crie um usuário do gerenciamento de identidade e acesso da AWS (IAM) com um nome que você possa reconhecer facilmente, como transfer-user. Verifique se o nome segue as diretrizes de nome de usuário do IAM da AWS. Para mais informações, consulte Limitações de entidades e objetos do IAM.
  2. Dê ao usuário do IAM da AWS a capacidade de:
    • listar o bucket do Amazon S3;
    • ver a localização do bucket;
    • ler os objetos no bucket.
    • Se você planeja excluir objetos da origem após a transferência deles, conceda ao usuário permissões de exclusão de objetos.
  3. Crie pelo menos um par de chaves de acesso/secretas para o job de transferência que você planeja configurar. Também é possível criar um par separado de chaves de acesso/secretas para cada job de transferência.

  4. Restaure todos os objetos arquivados no Amazon Glacier. Os objetos no Amazon S3 que são arquivados no Amazon Glacier não ficam acessíveis até que sejam restaurados. Para mais informações, consulte Como migrar para o Cloud Storage a partir do Amazon Glacier (em inglês).

Armazenamento de blobs do Microsoft Azure

Siga estas etapas para configurar o acesso a um contêiner do Microsoft Azure Storage:

  1. Crie ou use um usuário do Microsoft Azure Storage para acessar a conta de armazenamento do seu contêiner de blobs do Microsoft Azure Storage.
  2. Crie um token SAS no nível do contêiner. Consulte Conceder acesso limitado aos recursos do Azure Storage usando assinaturas de acesso compartilhado.

    O prazo de validade padrão para os tokens SAS é oito horas. Quando você criar o token SAS, defina um prazo de validade razoável para garantir que você possa concluir a transferência.

Lista de URLs

Se a origem de dados for uma lista de URLs, verifique se os objetos listados estão acessíveis publicamente.

Como configurar o acesso ao coletor de dados

O Serviço de transferência do Cloud Storage usa uma conta de serviço gerenciada pelo Google para mover seus dados. A conta de serviço gerenciada pelo Google está listada no campo accountEmail. O coletor de dados da sua transferência é sempre um bucket do Cloud Storage.

Para configurar o Serviço de transferência do Cloud Storage para usar o Cloud Storage como um coletor de dados, atribua os papéis a seguir ou permissões equivalentes à conta de serviço gerenciada pelo Google no campo accountEmail do bucket de destino:

Role Efeitos
roles/storage.legacyBucketWriter Ativa a conta de serviço para criar, substituir e excluir objetos. Também lista objetos no bucket de destino e lê metadados de bucket.
roles/storage.objectViewer Permite que a conta de serviço liste e receba objetos do bucket de destino.

Para ver mais informações sobre as permissões necessárias, consulte Permissões do IAM para o Serviço de transferência do Cloud Storage.

A seguir