Como criar e gerenciar transferências de dados com o Console

Esta página mostra como usar o Console do Google Cloud Platform para configurar e gerenciar jobs de transferência. Para trabalhar com o Storage Transfer Service de maneira programática, consulte Como criar um cliente do Storage Transfer Service e Como criar e gerenciar transferências de maneira programática (em inglês).

Antes de começar

Antes de configurar os jobs de transferência no Console do GCP, verifique se você tem o acesso necessário:

  • Acesso ao Cloud Storage: você precisa ser proprietário ou editor do projeto que gerencia a transferência de dados. Este projeto não precisa estar associado à origem ou ao coletor.

    Para ver guias passo a passo para adicionar e visualizar permissões no nível do projeto, consulte Como usar permissões do IAM com projetos.

  • Acesso à origem e ao coletor: o Storage Transfer Service usa uma conta de serviço para executar transferências. Para acessar a origem e o coletor de dados, essa conta de serviço precisa ter permissões de origem e permissões de coletor.

Como configurar um job de transferência

  1. Abra a página Transferir no Console do Google Cloud Platform.

    Abra a página Transferir

  2. Clique em Criar job de transferência.

    Selecione uma guia abaixo para ver as instruções de configuração. Suas etapas dependem de sua origem ser um intervalo do Cloud Storage, um intervalo do Amazon S3 ou uma lista de URLs.

Google Cloud Storage

  1. Em Selecionar origem, selecione o intervalo do Google Cloud Storage.

  2. Na caixa de texto Intervalo do Cloud Storage, insira o nome do intervalo de origem (sem o prefixo gs://) ou navegue até o intervalo e selecione-o.

  3. Para especificar um subconjunto de arquivos na sua origem, clique em Especificar filtros de arquivo abaixo do campo do intervalo. Você pode incluir ou excluir arquivos com base no prefixo do nome do arquivo e na idade do arquivo. Para ver mais informações, consulte Como selecionar objetos de origem para transferência (em inglês).

  4. Em Selecionar destino, escolha um intervalo ou crie um novo.

    Para escolher um intervalo atual, insira o nome do intervalo (sem o prefixo gs://) ou clique em Procurar e navegue até ele.

    Para transferir arquivos a um novo intervalo, clique em Procurar e, em seguida, no ícone Novo intervalo.

  5. Ative as opções de substituição/exclusão, se necessário.

    Por padrão, o Storage Transfer Service substitui apenas um objeto quando a versão da origem é diferente da versão do coletor. Nenhum outro objeto é substituído ou excluído. Ative outras opções de substituição/exclusão em Opções de transferência. Para ver mais informações sobre suas opções, consulte TransferOptions na referência da API.

  6. Em Configurar transferência, agende seu job de transferência para Executar agora (uma vez) ou Executar diariamente em um determinado horário no seu fuso horário local.

  7. [Opcional] Edite o nome do job de transferência em Descrição. Use um nome descritivo exclusivo para ajudar a identificar seu job de transferência posteriormente.

  8. Clique em Criar.

Amazon S3

  1. Em Selecionar origem, selecione o intervalo do Amazon S3.

  2. Na caixa de texto Intervalo do Amazon S3, especifique o nome do intervalo de origem do Amazon S3.

    O nome do intervalo é o nome exibido no AWS Management Console.

  3. Nas respectivas caixas de texto, insira o código da chave de acesso e a chave secreta associados ao intervalo do Amazon S3.

  4. Para especificar um subconjunto de arquivos na origem, clique em Especificar filtros de arquivo abaixo do campo do intervalo. Você pode incluir ou excluir arquivos com base no prefixo do nome do arquivo e na idade do arquivo. Para ver mais informações, consulte Como selecionar objetos de origem para transferência (em inglês).

  5. Em Selecionar destino, escolha um intervalo ou crie um novo.

    Para escolher um intervalo atual, insira o nome do intervalo (sem o prefixo gs://) ou clique em Procurar e navegue até ele.

    Para transferir arquivos a um novo intervalo, clique em Procurar e, em seguida, no ícone Novo intervalo.

  6. Ative as opções de substituição/exclusão, se necessário.

    Por padrão, o job de transferência substitui apenas um objeto quando a versão de origem é diferente da versão do coletor. Nenhum outro objeto é substituído ou excluído. Ative outras opções de substituição/exclusão em Opções de transferência. Para ver mais informações sobre suas opções, consulte TransferOptions na referência da API.

  7. Em Configurar transferência, agende seu job de transferência para Executar agora (uma vez) ou Executar diariamente no seu fuso horário que você especificar.

  8. [Opcional] Edite o nome do job de transferência em Descrição. Use um nome descritivo exclusivo para ajudar a identificar seu job de transferência posteriormente.

  9. Clique em Criar.

Lista de URLs

  1. Em Selecionar origem, selecione Lista de URLs do objeto.

  2. Em URL do arquivo TSV, insira o URL em um arquivo de valores separados por tabulação (TSV) e clique em Continuar. Consulte Como criar uma lista de URLs para ver detalhes de como criar o arquivo TSV.

  3. Em Selecionar destino, escolha um intervalo ou crie um novo.

    Para escolher um intervalo atual, insira o nome do intervalo (sem o prefixo gs://) ou clique em Procurar e navegue até ele.

    Para transferir arquivos a um novo intervalo, clique em Procurar e, em seguida, no ícone Novo intervalo.

  4. Ative as opções de substituição/exclusão, se necessário.

    Por padrão, o job de transferência substitui apenas um objeto quando a versão de origem é diferente da versão do coletor. Nenhum outro objeto é substituído ou excluído. Ative outras opções de substituição/exclusão em Opções de transferência. Para ver mais informações sobre suas opções, consulte TransferOptions na referência da API.

  5. Em Configurar transferência, agende seu job de transferência para Executar agora (uma vez) ou Executar diariamente no seu fuso horário que você especificar.

  6. [Opcional] Edite o nome do job de transferência em Descrição. Use um nome descritivo exclusivo para ajudar a identificar seu job de transferência posteriormente.

  7. Clique em Criar.

Dados locais

O Storage Transfer Service permite que você transfira dados on-line ao Cloud Storage. Para sincronizar os intervalos do Cloud Storage com dados locais, use o gsutil rsync.

Como editar um job de transferência

Você só pode editar a configuração de um job de transferência se ele for:

  • um job de transferência recorrente que não esteja parado;
  • um job de transferência única que ainda não começou a ser executado.

Se uma dessas condições for verdadeira, edite a configuração da seguinte maneira:

  1. Abra a página Transferir no Console do Google Cloud Platform.

    Abra a página Transferir

  2. Clique no nome de um job de transferência para ver os detalhes.

  3. Selecione Editar configuração e siga as instruções descritas em Como configurar uma transferência.

    As alterações feitas em um job de transferência recorrente que está em execução no momento entram em vigor na próxima vez que ele estiver programado para ser executado.

Como visualizar o histórico de um job de transferência

  1. Abra a página Transferir no Console do Google Cloud Platform.

    Abra a página Transferir

  2. Clique no nome de um job de transferência para ver os detalhes.

  3. Selecione a guia Operações.

  4. Na lista de entradas, clique na data de início de uma operação de transferência para visualizar detalhes, incluindo erros que possam ter ocorrido.

    Os jobs de transferência únicos são executados apenas uma vez, portanto, haverá apenas uma entrada no histórico da operação de transferência.

Como pausar ou cancelar uma operação de transferência ativa

Para pausar ou cancelar uma operação de transferência em andamento, siga estas etapas:

  1. Abra a página Transferir no Console do Google Cloud Platform.

    Abra a página Transferir

  2. Clique no nome de um job de transferência para ver os detalhes.

  3. Selecione a guia Operações.

    Na lista de entradas, as operações de transferência ativas contam com botões de pausa (||) e cancelamento (X) à direita da coluna de status.

  4. Clique no botão de pausa para interromper temporariamente ou no botão de cancelamento para encerrar permanentemente a operação de transferência.

  5. Se você estiver pausando, clique no botão Continuar (►) para prosseguir com a operação de transferência.

    Se você estiver cancelando a operação de transferência, uma janela de confirmação será exibida. Clique em Cancelar transferência para confirmar a solicitação de cancelamento.

Como excluir um job de transferência agendado ou recorrente

  1. Abra a página Transferir no Console do Google Cloud Platform.

    Abra a página Transferir

  2. Marque a caixa de seleção do job de transferência que você quer remover.

  3. Clique em Excluir, localizado acima da lista de jobs de transferência.

  4. Clique em Ok na janela de confirmação que aparece.

Como selecionar objetos de origem para transferir

O Storage Transfer Service tem prefixos que podem ser usados para selecionar quais arquivos incluir ou excluir da origem de dados. Em geral, pense nos prefixos como uma restrição aos objetos transferidos. Você pode usar apenas prefixos de inclusão, apenas prefixos de exclusão ou ambos. A seguinte orientação se aplica a ambas as origens de dados, intervalos do Amazon Simple Storage Service (Amazon S3) e Cloud Storage.

  • Não inclua a barra inicial em um prefixo. Por exemplo, para incluir o objeto requests.gz em uma transferência do caminho do intervalo s3://my-aws-bucket/logs/y=2015/requests.gz, especifique o prefixo de inclusão como logs/y=2015/requests.gz.

  • Se você usar prefixos de inclusão e de exclusão juntos, os prefixos de exclusão precisam começar com o valor de um dos prefixos de inclusão. Por exemplo, se você especificar o prefixo de inclusão a, os prefixos de exclusão válidos serão a/b, aaa e abc.

  • Se você usar apenas prefixos de exclusão, não haverá restrições nos prefixos que podem ser usados.

  • Se você não especificar prefixos, todos os objetos no bloco serão transferidos.

  • Não informe um nome de caminho para os nomes da origem de dados ou do intervalo do coletor. Por exemplo, s3://my-aws-bucket e gs://example-bucket são válidos, mas s3://my-aws-bucket/subfolder ou gs://example-bucket/files não são. Para incluir caminhos, use prefixos de inclusão e exclusão.

  • O Storage Transfer Service não aceita remapeamento, ou seja, não é possível copiar o caminho files/2015 na origem de dados para files/2016 no coletor de dados.

Para mais detalhes sobre como trabalhar com inclusão e exclusão de prefixos, consulte as descrições de campo includePrefixes e excludePrefixes na API.

Para mais informações gerais sobre prefixos, consulte Lista hierárquica de chaves usando um prefixo e um delimitador na documentação do Amazon S3 ou o Método de lista de objetos para o Cloud Storage.

Como criar um usuário do Amazon S3 IAM

As etapas a seguir apresentam uma visão geral do processo de criação de credenciais do Amazon S3 que podem ser usados nas transferências de dados de um intervalo do Amazon S3 para um intervalo do Cloud Storage. Para informações detalhadas, consulte Criação de um usuário do IAM na sua conta da AWS e Exemplos de políticas de bucket.

  1. Crie um novo usuário no console do AWS Identity and Access Management.

  2. Anote as credenciais de acesso ou faça o download delas.

    As credenciais transferidas contêm o nome do usuário, o código da chave de acesso e a chave secreta. Quando você configura o job de transferência no Cloud Storage, só precisa do código da chave de acesso e da chave de acesso secreta.

  3. Anexe uma política gerenciada ao usuário do IAM que contenha as permissões necessárias para concluir uma transferência.

    Anexe a política AmazonS3FullAccess se seu job de transferência estiver configurado para excluir objetos de origem. Caso contrário, anexe a política AmazonS3ReadyOnlyAccess. Por exemplo, a política gerenciada AmazonS3FullAccess anexada a um usuário por meio do console do IAM é:

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "s3:*",
          "Resource": "*"
        }
      ]
    }
    
  4. Você também pode criar uma política que seja mais restritiva que as gerenciadas.

    Por exemplo, crie uma política que limita o acesso apenas ao intervalo do Amazon S3. Para mais informações, consulte Exemplos de políticas de bucket.

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Documentação do Cloud Storage Transfer Service