Como criar e gerenciar transferências de dados com o Console

Nesta página, mostramos como usar o Console do Google Cloud para configurar e gerenciar jobs de transferência. Para trabalhar com o serviço de transferência do Cloud Storage de maneira programática, consulte Como criar um cliente do serviço de transferência do Cloud Storage e Como criar e gerenciar transferências de maneira programática.

Antes de começar

Antes de configurar os jobs de transferência no serviço de transferência do Cloud Storage, verifique se você tem o acesso necessário:

  • Acesso ao serviço de transferência do Cloud Storage: uma dos papéis a seguir deve ser atribuída a você:

    • roles/owner
    • roles/editor
    • roles/storagetransfer.admin
    • roles/storagetransfer.user
    • Um papel personalizado que inclui, no mínimo, permissões roles/storagetransfer.user.

      Para mais informações sobre como adicionar e visualizar permissões no nível do projeto, consulte Como usar permissões do IAM com projetos.

    Para mais informações sobre papéis e permissões do IAM no serviço de transferência do Cloud Storage, consulte Controle de acesso usando papéis e permissões do IAM.

  • Acesso à origem e ao coletor: o Storage Transfer Service usa uma conta de serviço para executar transferências. Para acessar a origem e o coletor de dados, essa conta de serviço precisa ter permissões de origem e permissões de coletor.

Como configurar um job de transferência

  1. Abra a página "Transferir" no Console do Google Cloud.

    Abrir a página Transferência

  2. Clique em Criar job de transferência.

    Selecione uma guia abaixo para ver as instruções de configuração. As etapas dependem de a origem ser um bucket do Cloud Storage, um bucket do Amazon S3, um blob do Microsoft Azure Storage ou uma lista de URLs.

Cloud Storage

  1. Em Selecionar origem, selecione o bucket do Google Cloud Storage.

  2. Na caixa de texto bucket do Cloud Storage, insira o nome do bucket de origem (sem o prefixo gs://) ou navegue até o bucket e selecione-o.

    Para especificar um bucket do Cloud Storage de outro projeto, digite o nome exatamente na caixa de texto bucket do Cloud Storage.

  3. Para especificar um subconjunto de arquivos na sua origem, clique em Especificar filtros de arquivo abaixo do campo do bucket. Você pode incluir ou excluir arquivos com base no prefixo do nome do arquivo e na idade do arquivo. Para ver mais informações, consulte Como selecionar objetos de origem para transferência.

  4. Em Selecionar destino, escolha um bucket ou crie um novo.

    Para escolher um bucket atual, insira o nome do bucket (sem o prefixo gs://) ou clique em Procurar e navegue até ele.

    Para transferir arquivos a um novo bucket, clique em Procurar e, em seguida, no ícone Novo bucket.

  5. Ative as opções de substituição/exclusão, se necessário.

    Por padrão, o Storage Transfer Service substitui apenas um objeto quando a versão da origem é diferente da versão do coletor. Nenhum outro objeto é substituído ou excluído. Ative outras opções de substituição/exclusão em Opções de transferência. Para ver mais informações sobre suas opções, consulte TransferOptions na referência da API.

  6. Em Configurar transferência, agende seu job de transferência para Executar agora (uma vez) ou Executar diariamente em um determinado horário no seu fuso horário local.

  7. [Opcional] Edite o nome do job de transferência em Descrição. Use um nome descritivo exclusivo para, posteriormente, ajudar a identificar seu job de transferência.

  8. Clique em Criar

Amazon S3

  1. Em Selecionar origem, selecione o bucket do Amazon S3.

  2. Na caixa de texto bucket do Amazon S3, especifique o nome do bucket de origem do Amazon S3.

    O nome do bucket é o nome exibido no AWS Management Console.

  3. Nas respectivas caixas de texto, insira o código da chave de acesso e a chave secreta associados ao bucket do Amazon S3.

  4. Para especificar um subconjunto de arquivos na sua origem, clique em Especificar filtros de arquivo abaixo do campo do bucket. Você pode incluir ou excluir arquivos com base no prefixo do nome do arquivo e na idade do arquivo. Para ver mais informações, consulte Como selecionar objetos de origem para transferência.

  5. Em Selecionar destino, escolha um bucket ou crie um novo.

    Para escolher um bucket atual, insira o nome do bucket (sem o prefixo gs://) ou clique em Procurar e navegue até ele.

    Para transferir arquivos a um novo bucket, clique em Procurar e, em seguida, no ícone Novo bucket.

  6. Ative as opções de substituição/exclusão, se necessário.

    Por padrão, o job de transferência substitui apenas um objeto quando a versão de origem é diferente da versão do coletor. Nenhum outro objeto é substituído ou excluído. Ative outras opções de substituição/exclusão em Opções de transferência. Para ver mais informações sobre suas opções, consulte TransferOptions na referência da API.

  7. Em Configurar transferência, agende seu job de transferência para Executar agora (uma vez) ou Executar diariamente no seu fuso horário que você especificar.

  8. [Opcional] Edite o nome do job de transferência em Descrição. Use um nome descritivo exclusivo para, posteriormente, ajudar a identificar seu job de transferência.

  9. Clique em Criar

Armazenamento de Blobs do Microsoft Azure

  1. Em Selecionar origem, selecione o contêiner do Microsoft Azure Storage.

  2. Especifique o seguinte:

    1. Nome da conta de armazenamento: o nome da conta de origem do Microsoft Azure Storage.

      O nome da conta de armazenamento é exibido no portal do Microsoft Azure Storage em All services > Storage > Storage accounts.

    2. Nome do contêiner: o nome do contêiner do Microsoft Azure Storage.

      O nome do contêiner é exibido no portal do Microsoft Azure Storage em Storage Explorer > Blob Containers.

    3. Assinatura de acesso compartilhado (SAS, na sigla em inglês): o token do Microsoft Azure Storage criado a partir de uma política de acesso armazenada. Para mais informações, consulte Conceder acesso limitado aos recursos do Azure Storage usando assinaturas de acesso compartilhado (SAS, shared access signatures, em inglês).

      O prazo de validade padrão para os tokens SAS é 8 horas. Quando você criar o token SAS, defina um prazo de validade razoável para concluir a transferência.
  3. Opcional: especifique filtros de arquivo para sua transferência clicando em Especificar filtros de arquivo.

Lista de URLs

  1. Em Selecionar origem, selecione Lista de URLs do objeto.

  2. Em URL do arquivo TSV, insira o URL em um arquivo de valores separados por tabulação (TSV) e clique em Continuar. Consulte Como criar uma lista de URLs para ver detalhes de como criar o arquivo TSV.

  3. Em Selecionar destino, escolha um bucket ou crie um novo.

    Para escolher um bucket atual, insira o nome do bucket (sem o prefixo gs://) ou clique em Procurar e navegue até ele.

    Para transferir arquivos a um novo bucket, clique em Procurar e, em seguida, no ícone Novo bucket.

  4. Ative as opções de substituição/exclusão, se necessário.

    Por padrão, o job de transferência substitui apenas um objeto quando a versão de origem é diferente da versão do coletor. Nenhum outro objeto é substituído ou excluído. Ative outras opções de substituição/exclusão em Opções de transferência. Para ver mais informações sobre suas opções, consulte TransferOptions na referência da API.

  5. Em Configurar transferência, agende seu job de transferência para Executar agora (uma vez) ou Executar diariamente no seu fuso horário que você especificar.

  6. [Opcional] Edite o nome do job de transferência em Descrição. Use um nome descritivo exclusivo para, posteriormente, ajudar a identificar seu job de transferência.

  7. Clique em Criar

Dados locais

O Storage Transfer Service permite que você transfira dados on-line ao Cloud Storage. Para sincronizar buckets do Cloud Storage com dados locais, use gsutil rsync.

Como editar um job de transferência

Você só pode editar a configuração de um job de transferência se ele for:

  • um job de transferência recorrente que não esteja parado;
  • um job de transferência única que ainda não começou a ser executado.

Se uma dessas condições for verdadeira, edite a configuração da seguinte maneira:

  1. Abra a página "Transferir" no Console do Google Cloud.

    Abrir a página Transferência

  2. Clique no nome de um job de transferência para ver os detalhes.

  3. Selecione Editar configuração e siga as instruções descritas em Como configurar uma transferência.

    As alterações feitas em um job de transferência recorrente que está em execução no momento entram em vigor na próxima vez que ele estiver programado para ser executado.

Como visualizar o histórico de um job de transferência

  1. Abra a página "Transferir" no Console do Google Cloud.

    Abrir a página Transferência

  2. Clique no nome de um job de transferência para ver os detalhes.

  3. Selecione a guia Operações.

  4. Na lista de entradas, clique na data de início de uma operação de transferência para visualizar detalhes, incluindo erros que possam ter ocorrido.

    Os jobs de transferência únicos são executados apenas uma vez, portanto, haverá apenas uma entrada no histórico da operação de transferência.

Como pausar ou cancelar uma operação de transferência ativa

Para pausar ou cancelar uma operação de transferência em andamento, siga estas etapas:

  1. Abra a página "Transferir" no Console do Google Cloud.

    Abrir a página Transferência

  2. Clique no nome de um job de transferência para ver os detalhes.

  3. Selecione a guia Operações.

    Na lista de entradas, as operações de transferência ativas têm os botões de pausa (||) e cancelamento (X) à direita da coluna de status.

  4. Clique no botão de pausa para interromper temporariamente ou no botão de cancelamento para encerrar permanentemente a operação de transferência.

  5. Se você estiver pausando, clique no botão Continuar (►) para prosseguir com a operação de transferência.

    Se você estiver cancelando a operação de transferência, uma janela de confirmação será exibida. Clique em Cancelar transferência para confirmar a solicitação de cancelamento.

Como excluir um job de transferência agendado ou recorrente

  1. Abra a página "Transferir" no Console do Google Cloud.

    Abrir a página Transferência

  2. Marque a caixa de seleção do job de transferência que você quer remover.

  3. Clique em Excluir, localizado acima da lista de jobs de transferência.

  4. Clique em Ok na janela de confirmação que aparece.

Como selecionar objetos de origem para transferir

O Storage Transfer Service tem prefixos que podem ser usados para selecionar quais arquivos incluir ou excluir da origem de dados. Em geral, pense nos prefixos como uma restrição aos objetos transferidos. Você pode usar apenas prefixos de inclusão, apenas prefixos de exclusão ou ambos. A seguinte orientação se aplica a ambas as origens de dados, buckets do Amazon Simple Storage Service (Amazon S3) e Cloud Storage.

  • Não inclua a barra inicial em um prefixo. Por exemplo, para incluir o objeto requests.gz em uma transferência do caminho de bucket s3://my-aws-bucket/logs/y=2015/requests.gz, especifique o prefixo de inclusão como logs/y=2015/requests.gz.

  • Se você usar prefixos de inclusão e de exclusão juntos, os prefixos de exclusão precisam começar com o valor de um dos prefixos de inclusão. Por exemplo, se você especificar a como prefixo de inclusão, os prefixos de exclusão válidos serão a/b, aaa e abc.

  • Se você usar apenas prefixos de exclusão, não haverá restrições nos prefixos que podem ser usados.

  • Se você não especificar prefixos, todos os objetos no bloco serão transferidos.

  • Não informe um nome de caminho para os nomes da origem de dados ou do bucket do coletor. Por exemplo, s3://my-aws-bucket e gs://example-bucket são válidos, mas s3://my-aws-bucket/subfolder ou gs://example-bucket/files não são. Para incluir caminhos, use prefixos de inclusão e exclusão.

  • O serviço de transferência do Cloud Storage não é compatível com remapeamento, ou seja, não é possível copiar o caminho files/2015 na fonte de dados para files/2016 no coletor de dados.

Para mais detalhes sobre como trabalhar com prefixos de inclusão e exclusão, consulte as descrições dos campos includePrefixes e excludePrefixes na API.

Para mais informações gerais sobre prefixos, consulte Lista hierárquica de chaves usando um prefixo e um delimitador na documentação do Amazon S3 ou o Método de lista de objetos para o Cloud Storage.

Como criar um usuário do Amazon S3 IAM

As etapas a seguir apresentam uma visão geral do processo de criação de credenciais do Amazon S3 que podem ser usados nas transferências de dados de um bucket do Amazon S3 para um bucket do Cloud Storage. Para informações detalhadas, consulte Criação de um usuário do IAM na sua conta da AWS e Exemplos de políticas de bucket.

  1. Crie um novo usuário no console do AWS Identity and Access Management.

  2. Anote as credenciais de acesso ou faça o download delas.

    As credenciais transferidas contêm o nome do usuário, o código da chave de acesso e a chave secreta. Quando você configura o job de transferência no Cloud Storage, só precisa do código da chave de acesso e da chave de acesso secreta.

  3. Anexe uma política gerenciada ao usuário do IAM que contenha as permissões necessárias para concluir uma transferência.

    Anexe AmazonS3FullAccess caso seu job de transferência esteja configurado para excluir objetos de origem. Caso contrário, anexe a política AmazonS3ReadyOnlyAccess. Por exemplo, a política gerenciada AmazonS3FullAccess anexada a um usuário por meio do console do IAM é:

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "s3:*",
          "Resource": "*"
        }
      ]
    }
    
  4. Opcional: crie uma política mais restritiva do que as políticas gerenciadas.

    Por exemplo, crie uma política que limita o acesso apenas ao bucket do Amazon S3. Para mais informações, consulte Exemplos de políticas de bucket.

A seguir

Saiba como trabalhar com o Cloud Storage.