Criar e gerenciar transferências de dados com o Console

Nesta página, mostramos como usar o Console do Google Cloud para configurar e gerenciar jobs de transferência. Para trabalhar com o Serviço de transferência do Cloud Storage de maneira programática, consulte Como criar um cliente do Serviço de transferência do Cloud Storage e Como criar e gerenciar transferências de maneira programática (em inglês).

Antes de começar

Faça o seguinte antes de criar um job de transferência:

  1. Confira se você tem acesso ao Serviço de transferência do Cloud Storage verificando se recebeu um dos seguintes papéis:

    • roles/owner
    • roles/editor
    • roles/storagetransfer.admin
    • roles/storagetransfer.user
    • Um papel personalizado que inclui, no mínimo, permissões roles/storagetransfer.user.

      Para mais informações sobre como adicionar e visualizar permissões no nível do projeto, consulte Como usar permissões do IAM com projetos.

    Para mais informações, consulte Como solucionar problemas de acesso.

    Para mais informações sobre papéis e permissões do IAM no serviço de transferência do Cloud Storage, consulte Controle de acesso usando papéis e permissões do IAM.

  2. Como configurar o acesso a origens de dados e coletores.

Configurar um job de transferência

  1. No Console do Cloud, acesse a página Serviço de transferência de dados da nuvem.

    Acessar o Serviço de transferência de dados na nuvem

  2. Clique em Criar job de transferência.

  3. Escolha uma origem:

    Cloud Storage

    Sua conta de usuário precisa ter a permissão storage.buckets.get para selecionar intervalos de origem e de destino. Como alternativa, você pode digitar o nome do bucket diretamente. Para mais informações, consulte Como solucionar problemas de acesso.

    1. Em Tipo de origem, selecione bucket do Google Cloud Storage.

    2. Selecione um bucket seguindo um destes procedimentos:

      • Insira um nome de intervalo do Cloud Storage no campo Nome do intervalo sem o prefixo gs://. Para especificar um bucket do Cloud Storage de outro projeto, digite o nome exatamente no campo Nome do bucket.

      • Para selecionar uma lista de buckets atuais nos projetos, clique em Procurar e selecione um bucket.

        Ao clicar em Procurar, é possível selecionar intervalos em outros projetos. Para isso, clique no Código do projeto e selecione o novo código e intervalo.

      • Para criar um novo intervalo, clique em Criar novo intervalo.

    3. Opcional: para incluir arquivos em um caminho específico, digite o caminho no campo Caminho da pasta.

    4. Opcional: para incluir um subconjunto de arquivos na sua origem, clique em Adicionar prefixo. Você pode incluir arquivos com base no prefixo do nome do arquivo. Para ver mais informações, consulte Como selecionar objetos de origem para transferência.
    5. Opcional: para aplicar mais filtros à transferência, clique em Filtros avançados. Os seguintes itens são exibidos:
      • Excluir arquivos que começam com: exclui arquivos da transferência com base em um prefixo de nome especificado por você. Para especificar um prefixo, clique em Adicionar prefixo.
      • Incluir apenas arquivos modificados pela última vez: inclui arquivos na transferência, dependendo de quando eles foram modificados pela última vez antes da transferência.

        Você pode especificar um Intervalo de tempo absoluto e um Intervalo de tempo relativo. Um intervalo de tempo relativo é relativo ao horário de início da transferência.

    6. Clique em Próxima etapa.

    Amazon S3

    1. Em Selecionar origem, selecione o bucket do Amazon S3.

    2. No campo Nome do bucket, insira o nome do bucket de origem.

      O nome do bucket é o nome exibido no AWS Management Console.

    3. Digite suas credenciais de segurança da Amazon Web Services (AWS) nos campos ID da chave de acesso e Chave de acesso secreta.

      Para mais informações sobre os usuários do IAM do Amazon S3, consulte Como criar um usuário do IAM do Amazon S3.

    4. Clique em Próxima etapa.

    5. Opcional: para incluir um subconjunto de arquivos na sua origem, clique em Adicionar prefixo. Você pode incluir arquivos com base no prefixo do nome do arquivo. Para ver mais informações, consulte Como selecionar objetos de origem para transferência.
    6. Opcional: para aplicar mais filtros à transferência, clique em Filtros avançados. Os seguintes itens são exibidos:
      • Excluir arquivos que começam com: exclui arquivos da transferência com base em um prefixo de nome especificado por você. Para especificar um prefixo, clique em Adicionar prefixo.
      • Incluir apenas arquivos modificados pela última vez: inclui arquivos na transferência, dependendo de quando eles foram modificados pela última vez antes da transferência.

        Você pode especificar um Intervalo de tempo absoluto e um Intervalo de tempo relativo. Um intervalo de tempo relativo é relativo ao horário de início da transferência.

    Armazenamento de blobs do Microsoft Azure

    1. Em Selecionar origem, selecione o contêiner do Azure Storage.

    2. Especifique o seguinte:

      1. Nome da conta de armazenamento: o nome da conta de origem do Microsoft Azure Storage.

        O nome da conta de armazenamento é exibido no portal do Microsoft Azure Storage em All services > Storage > Storage accounts.

      2. Nome do contêiner: o nome do contêiner do Microsoft Azure Storage.

        O nome do contêiner é exibido no portal do Microsoft Azure Storage em Storage Explorer > Blob Containers.

      3. Assinatura de acesso compartilhado (SAS, na sigla em inglês): o token SAS do Microsoft Azure Storage criado a partir de uma política de acesso armazenada. Para mais informações, consulte Conceder acesso limitado aos recursos do Azure Storage usando assinaturas de acesso compartilhado (SAS, shared access signatures, em inglês).

        O prazo de validade padrão para os tokens SAS é oito horas. Quando você criar o token SAS, defina um prazo de validade razoável para garantir que você possa concluir a transferência.
    3. Opcional: para incluir um subconjunto de arquivos na sua origem, clique em Adicionar prefixo. Você pode incluir arquivos com base no prefixo do nome do arquivo. Para ver mais informações, consulte Como selecionar objetos de origem para transferência.
    4. Opcional: para aplicar mais filtros à transferência, clique em Filtros avançados. Os seguintes itens são exibidos:
      • Excluir arquivos que começam com: exclui arquivos da transferência com base em um prefixo de nome especificado por você. Para especificar um prefixo, clique em Adicionar prefixo.
      • Incluir apenas arquivos modificados pela última vez: inclui arquivos na transferência, dependendo de quando eles foram modificados pela última vez antes da transferência.

        Você pode especificar um Intervalo de tempo absoluto e um Intervalo de tempo relativo. Um intervalo de tempo relativo é relativo ao horário de início da transferência.

    5. Clique em Próxima etapa.

    Lista de URLs

    1. Em Selecionar origem, selecione Lista de URLs.

    2. Em URL do arquivo TSV, insira o URL em um arquivo de valores separados por tabulação (TSV). Consulte Como criar uma lista de URLs para ver detalhes de como criar o arquivo TSV.

    3. Opcional: para incluir um subconjunto de arquivos na sua origem, clique em Adicionar prefixo. Você pode incluir arquivos com base no prefixo do nome do arquivo. Para ver mais informações, consulte Como selecionar objetos de origem para transferência.
    4. Opcional: para aplicar mais filtros à transferência, clique em Filtros avançados. Os seguintes itens são exibidos:
      • Excluir arquivos que começam com: exclui arquivos da transferência com base em um prefixo de nome especificado por você. Para especificar um prefixo, clique em Adicionar prefixo.
      • Incluir apenas arquivos modificados pela última vez: inclui arquivos na transferência, dependendo de quando eles foram modificados pela última vez antes da transferência.

        Você pode especificar um Intervalo de tempo absoluto e um Intervalo de tempo relativo. Um intervalo de tempo relativo é relativo ao horário de início da transferência.

    5. Clique em Próxima etapa.

    Dados locais

    O Serviço de transferência do Cloud Storage permite que você transfira dados on-line ao Cloud Storage. Para sincronizar buckets do Cloud Storage com dados locais, use gsutil rsync.

  4. Para escolher um destino, faça o seguinte:

    1. No campo Nome do bucket, insira o nome do bucket de destino ou clique em Procurar para selecionar um bucket de uma lista de buckets existentes no projeto atual. Para criar um novo intervalo, clique em Criar novo intervalo.

    2. Opcional: para transferir arquivos a um caminho específico, digite o caminho no campo Caminho da pasta.

  5. Para escolher as configurações do job de transferência, faça o seguinte:

    1. No campo Descrever o job de transferência, insira uma descrição da transferência. Como prática recomendada, insira uma descrição significativa e exclusiva para que você possa distinguir os jobs.

    2. Em Quando substituir, selecione uma destas opções:

      • Se diferente: substitui os arquivos de destino se o arquivo de origem com o mesmo nome tiver valores de ETags ou de soma de verificação diferentes.

      • Sempre: sempre grava arquivos de destino quando o arquivo de origem tem o mesmo nome, mesmo que sejam idênticos.

    3. Em Quando excluir, selecione uma destas opções:

      • Nunca: nunca exclua arquivos da origem ou do destino.

      • Excluir o arquivo da origem após a transferência: exclua os arquivos da origem após a transferência para o destino.

      • Excluir arquivos do destino se eles não estiverem na origem: se os arquivos no bucket do Cloud Storage de destino também não estiverem na origem, exclua os arquivos do Cloud Storage. bucket.

        Essa opção garante que o bucket de destino do Cloud Storage corresponda exatamente à sua origem.

    4. Clique em Próxima etapa.

  6. Escolha as opções de programação:

    1. Na lista suspensa Executar uma vez, selecione uma das seguintes opções:

      • Executar uma vez: executa uma única transferência, começando em um horário selecionado por você.

      • Executar todos os dias: executa uma transferência diária, a partir do horário selecionado.

        É possível inserir uma Data de término opcional ou deixar Data de término em branco para executar a transferência continuamente.

      • Executar toda semana: executa uma transferência semanal, a partir de um horário selecionado.

      • Executar com frequência personalizada: executa uma transferência na frequência selecionada. É possível repetir a transferência em um intervalo regular de Horas, Dias ou Semanas.

        É possível inserir uma Data de término opcional ou deixar Data de término em branco para executar a transferência continuamente.

    2. Na lista suspensa Iniciando agora, selecione uma das seguintes opções:

      • Iniciando agora: inicia a transferência depois que você clica em Criar.

      • A partir de: inicia a transferência na data e hora selecionadas. Clique em Agenda para exibir uma agenda e selecionar a data de início.

    3. Para criar o job de transferência, clique em Criar.

Ver detalhes do job de transferência

É possível visualizar os seguintes detalhes do job no Console do Cloud:

  • A descrição e o nome do job
  • O tipo e o local da origem
  • O local de destino
  • Frequência do job
  • Estatísticas do job

Para visualizar os detalhes do job de transferência, faça o seguinte:

  1. No Console do Cloud, acesse a página Serviço de transferência de dados da nuvem.

    Acessar o Serviço de transferência de dados na nuvem

  2. Clique na descrição do job de transferência.

    Será exibida a página Detalhes do job.

Executar um job de transferência a partir de uma configuração existente

É possível executar um job de transferência a partir de uma configuração de transferência existente, o que permite executar novamente um job de transferência com as configurações usadas anteriormente.

Para executar uma transferência a partir de uma configuração existente, faça o seguinte:

  1. No Console do Cloud, acesse a página Serviço de transferência de dados da nuvem.

    Acessar o Serviço de transferência de dados na nuvem

  2. Clique na descrição do job de transferência.

    Será exibida a página Detalhes do job.

  3. Para iniciar um job de transferência, clique em Iniciar uma execução.

Como alternativa, é possível editar uma configuração de transferência existente para usar novas configurações. Para mais informações, consulte Como editar uma configuração de transferência existente.

Editar uma configuração de transferência existente

É possível editar uma configuração de transferência existente para ajustar uma transferência de acordo com suas necessidades. É possível editar os seguintes itens de uma configuração de transferência existente:

  • A descrição do job de transferência.
  • Armazenamento de Blobs do Microsoft Azure ou credenciais de origem do Amazon S3.
  • Todos os filtros aplicados ao job de transferência.
  • Opções para substituir ou excluir arquivos.
  • A programação do job de transferência.

Para editar um job de transferência, faça o seguinte:

  1. No Console do Cloud, acesse a página Serviço de transferência de dados da nuvem.

    Acessar o Serviço de transferência de dados na nuvem

  2. Clique na descrição do job de transferência.

    Será exibida a página Detalhes do job.

  3. Clique em Configuração.

    A configuração do job de transferência é exibida.

  4. Para alterar um item, clique em Editar ao lado dele.

  5. Para iniciar um job com as edições, clique em Iniciar uma execução.

Excluir um job de transferência

É possível excluir jobs de transferência que não são mais necessários. A exclusão de um job faz o seguinte:

  • Interrompe todas as transferências existentes que fazem parte do job.
  • Interrompe as transferências recorrentes que fazem parte do job.
  • Apaga os detalhes de configuração do job.

A exclusão de um job é permanente. Depois de excluir o job, ele será removido da lista. As informações do job de transferência são totalmente excluídas do serviço de transferência do Cloud Storage após 30 dias.

Como alternativa, é possível desativar o job de transferência, o que mantém o job listado na página Jobs e permite que você reative ou modifique o job.

Para excluir um job de transferência, faça o seguinte:

  1. No Console do Cloud, acesse a página Serviço de transferência de dados da nuvem.

    Acessar o Serviço de transferência de dados na nuvem

  2. Marque a caixa de seleção ao lado do job de transferência que você quer excluir.

  3. Clique em Excluir job.

    A caixa de diálogo Excluir job de transferência? é exibida.

  4. Leia a caixa de diálogo, confirme a exclusão do job digitando o nome atribuído automaticamente no campo e clique em Excluir.

    O job é removido da página Jobs.

Desativar um job de transferência

A desativação de um job de transferência impede que ele inicie outras operações de transferência, incluindo operações programadas futuras ou operações iniciadas manualmente a partir do botão Iniciar uma execução.

Para desativar um job de transferência, faça o seguinte:

  1. No Console do Cloud, acesse a página Serviço de transferência de dados da nuvem.

    Acessar o Serviço de transferência de dados na nuvem

  2. Clique na descrição do job de transferência.

    Será exibida a página Detalhes do job.

  3. Clique em Desativar job. A caixa de diálogo Desativar job de transferência? é exibida.

  4. Leia a caixa de diálogo e confirme a desativação do job clicando em Confirmar.

    Um aviso na parte superior da página Detalhes do job é exibido para lembrar que o job está desativado.

Pausar um job de transferência

Você pode pausar uma transferência em andamento. Quando você pausa a transferência, o estado do job é mantido, e é possível retomá-lo mais tarde. Enquanto uma transferência estiver pausada, a programação não acionará o job para ser executada novamente.

Para pausar um job de transferência, faça o seguinte:

  1. No Console do Cloud, acesse a página Serviço de transferência de dados da nuvem.

    Acessar o Serviço de transferência de dados na nuvem

  2. Clique na descrição do job de transferência.

    Será exibida a página Detalhes do job.

  3. Clique em Pausar execução.

    O status da operação atual é exibido como Pausar.

Reiniciar um job de transferência pausado

É possível retomar um job de transferência pausado anteriormente, o que reinicia o job no mesmo local em que estava pausado.

Para retomar um job de transferência, faça o seguinte:

  1. No Console do Cloud, acesse a página Serviço de transferência de dados da nuvem.

    Acessar o Serviço de transferência de dados na nuvem

  2. Clique na descrição do job de transferência.

    Será exibida a página Detalhes do job.

  3. Clique em Retomar execução.

    O status da operação atual é exibido como Em andamento.

Ver informações históricas do status do job

Visualize as informações do status histórico das execuções de jobs de transferência. As seguintes informações de job estão disponíveis:

  • Status da transferência
  • Horários de início e término
  • Duração
  • Progresso
  • Dados transferidos
  • Número de erros
  • Dados pulados
  • Estimativa de velocidade média

Para visualizar informações de status histórico de um job de transferência, faça o seguinte:

  1. No Console do Cloud, acesse a página Serviço de transferência de dados da nuvem.

    Acessar o Serviço de transferência de dados na nuvem

  2. Clique na descrição do job de transferência.

    Será exibida a página Detalhes do job.

  3. Para exibir os detalhes de uma execução específica, clique no Horário de início da execução do job.

    Será exibida a página Detalhes da execução.

Ver detalhes do erro do job

Se você encontrar erros durante uma execução de transferência, veja detalhes para ajudar a resolvê-lo.

Para visualizar os detalhes do erro de uma execução de job de transferência, faça o seguinte:

  1. No Console do Cloud, acesse a página Serviço de transferência de dados da nuvem.

    Acessar o Serviço de transferência de dados na nuvem

  2. Clique na descrição do job de transferência.

    Será exibida a página Detalhes do job.

  3. Siga um destes procedimentos para exibir detalhes do job:

    • Execução de job mais recente:

      1. Clique no botão Ver detalhes do erro ou no link Ver detalhes do erro.

        A página Detalhes do erro será exibida.

    • Execução de job histórico: faça o seguinte:

      1. Clique no Horário de início da execução do job.

        Será exibida a página Detalhes da execução.

      2. Clique no link Ver detalhes do erro.

        A página Detalhes do erro será exibida.

  4. Para exibir mais detalhes sobre cada erro exibido, clique em Expandir mais.

  5. Para filtrar erros, insira as propriedades a serem filtradas no campo Digite o nome ou o valor da propriedade.

    Quando você coloca o cursor no campo, é exibido um menu suspenso com opções relevantes para ajudar você a criar seu filtro.

Como selecionar objetos de origem para transferir

O Serviço de transferência do Cloud Storage tem prefixos que podem ser usados para selecionar quais arquivos incluir ou excluir da origem de dados. Em geral, pense nos prefixos como uma restrição aos objetos transferidos. Use apenas prefixos de inclusão, apenas prefixos de exclusão ou ambos. As seguintes orientações se aplicam ao Amazon S3, ao Microsoft Azure Blob Storage e às origens de dados do Cloud Storage.

  • Não inclua a barra inicial em um prefixo. Por exemplo, para incluir o objeto requests.gz em uma transferência do caminho de bucket s3://my-aws-bucket/logs/y=2015/requests.gz, especifique o prefixo de inclusão como logs/y=2015/requests.gz.

  • Se você usar prefixos de inclusão e de exclusão juntos, os prefixos de exclusão precisam começar com o valor de um dos prefixos de inclusão. Por exemplo, se você especificar a como prefixo de inclusão, os prefixos de exclusão válidos serão a/b, aaa e abc.

  • Se você usar apenas prefixos de exclusão, não haverá restrições nos prefixos que podem ser usados.

  • Se você não especificar prefixos, todos os objetos no bloco serão transferidos.

  • Não informe um nome de caminho para os nomes da origem de dados ou do bucket do coletor. Por exemplo, s3://my-aws-bucket e gs://example-bucket são válidos, mas s3://my-aws-bucket/subfolder ou gs://example-bucket/files não são. Para incluir caminhos, use prefixos de inclusão e exclusão.

  • O Serviço de transferência do Cloud Storage não é compatível com remapeamento, ou seja, não é possível copiar o caminho files/2015 na origem de dados para files/2016 no coletor de dados.

Para mais detalhes sobre como trabalhar com prefixos de inclusão e exclusão, consulte as descrições dos campos includePrefixes e excludePrefixes na API.

Para mais informações gerais sobre prefixos, consulte Como listar chaves hierarquicamente usando um prefixo e delimitador na documentação do Amazon S3 ou o Método de lista de objetos para o Cloud Storage.

Como criar um usuário do Amazon S3 IAM

As etapas a seguir apresentam uma visão geral do processo de criação de credenciais do Amazon S3 que podem ser usados nas transferências de dados de um bucket do Amazon S3 para um bucket do Cloud Storage. Para informações detalhadas, consulte Como criar um usuário do IAM na sua conta da AWS e Exemplos de políticas de bucket.

Para informações sobre nossa política de retenção de dados de credenciais do usuário, consulte Credenciais do usuário.

  1. Crie um novo usuário no console do AWS Identity and Access Management.

  2. Anote as credenciais de acesso ou faça o download delas.

    As credenciais transferidas contêm o nome do usuário, o código da chave de acesso e a chave secreta. Quando você configura o job de transferência no Cloud Storage, só precisa do código da chave de acesso e da chave de acesso secreta.

  3. Anexe uma política gerenciada ao usuário do IAM que contenha as permissões necessárias para concluir uma transferência.

    Anexe a política AmazonS3FullAccess caso seu job de transferência esteja configurado para excluir objetos de origem. Caso contrário, anexe a política AmazonS3ReadyOnlyAccess. Por exemplo, a política gerenciada AmazonS3FullAccess anexada a um usuário por meio do console do IAM é:

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "s3:*",
          "Resource": "*"
        }
      ]
    }
    
  4. Também é possível criar uma política que seja mais restritiva que as gerenciadas.

    Por exemplo, crie uma política que limita o acesso apenas ao bucket do Amazon S3. Para mais informações, consulte Exemplos de políticas de bucket.

A seguir

Saiba como trabalhar com o Cloud Storage.