Como gerenciar jobs de transferência local

Antes de iniciar uma transferência, você precisa criar um job de transferência e ter um ou mais agentes instalados e conectados a ele. Neste documento, descrevemos como criar o job de transferência, instalar agentes de transferência e gerenciar jobs de transferência.

Pré-requisitos

Para usar a transferência local, você precisa de:

  • Uma origem compatível com POSIX

  • Conexão de rede de 300 Mbps ou mais rápida

  • Um servidor Linux ou máquina virtual de 64 bits compatível com o Docker (em inglês) capaz de acessar os dados que você quer transferir.

    O Docker Community Edition (links em inglês) é compatível com sistemas operacionais CentOs, Debian, Fedora e Ubuntu.

    Para usar outros sistemas operacionais Linux, consulte Docker Enterprise (links em inglês).

  • Um bucket do Cloud Storage sem uma política de retenção.

    Para transferir para um bucket com uma política de retenção, recomendamos o seguinte processo:

    1. Crie um bucket do Cloud Storage na mesma região do bucket final. Verifique se esse bucket temporário não tem uma política de retenção.

      Para mais informações sobre regiões, consulte Locais de bucket.

    2. Use o serviço de transferência de dados locais para transferir seus dados para o bucket temporário que você criou sem uma política de retenção.

    3. Realize uma transferência entre buckets para transferir os dados para o bucket com uma política de retenção.

    4. Exclua o bucket do Cloud Storage criado para armazenar temporariamente os dados.

  • Conclua a Configuração inicial para transferência local.

Antes de iniciar uma transferência, verifique se:

  • As portas TCP 80 (HTTP) e 443 (HTTPS) estão abertas para conexões de saída.
  • Todos os processos de agente em um único projeto do Google Cloud têm o mesmo sistema de arquivos ativado no mesmo ponto de montagem.

Restrições de escalonamento em jobs e agentes

A transferência local tem as seguintes restrições de escala em jobs e agentes de transferência:

  • Menos de um bilhão de arquivos por job
  • 100 agentes ou menos por projeto de transferência
  • O limite de largura de banda precisa ser maior que 1 MBps

Como criar um job de transferência

Antes de iniciar uma transferência, você precisa criar um job de transferência. O job de transferência coordena e controla os agentes locais à medida que eles transferem os dados.

Para criar um job de transferência:

  1. Acesse a página Console da Web do serviço de transferência de dados locais no Console do Google Cloud.

    Acesse a página do serviço de transferência de dados locais

  2. Clique em Criar job de transferência.

    Será exibida a página Criar um job de transferência.

  3. Descreva o job de transferência Insira uma breve descrição da transferência que ajudará você a rastreá-la.

  4. Especifique uma origem inserindo o caminho totalmente qualificado do diretório do sistema de arquivos de origem.

  5. Especifique um bucket de destino do Cloud Storage. É possível inserir um nome de bucket do Cloud Storage ou criar um novo bucket.

    Para criar e selecionar um novo bucket:

    1. Clique em Procurar.

    2. Clique em Novo bucket.

      Será exibido o formulário Criar um bucket.

    3. Preencha o formulário, clique em Criar e, depois, em Selecionar.

  6. Opcional: insira o prefixo do objeto. Sem essa informação, os objetos são transferidos para o Cloud Storage com o caminho de origem, sem incluir o caminho raiz, antes do nome do arquivo no sistema. Por exemplo, se você tiver os seguintes arquivos:

    • /source_root_path/file1.txt
    • /source_root_path/dirA/file2.txt
    • /source_root_path/dirA/dirB/file3.txt
    Os nomes de objeto no Cloud Storage serão:
    • file1.txt
    • dirA/file2.txt
    • dirA/dirB/file3.txt
    O prefixo do objeto é adicionado ao nome de destino do objeto no Cloud Storage, depois do caractere / do nome do bucket de destino e antes dos nomes de caminhos de onde o objeto foi transferido, sem incluir o caminho raiz da origem. Isso pode ajudar você a distinguir entre objetos transferidos de outros jobs de transferência.

    A tabela a seguir demonstra vários exemplos de prefixos de objetos e os nomes de objetos resultantes no Cloud Storage, se o caminho do objeto de origem for /source_root_path/sub_folder_name/object_name:
    Prefixo Nome do objeto de destino
    Nenhum /destination_bucket/sub_folder_name/object_name
    prefix /destination_bucket/prefixsub_folder_name/object_name
    prefix- /destination_bucket/prefix-sub_folder_name/object_name
    prefix/ /destination_bucket/prefix/sub_folder_name/object_name

  7. Opcional: crie uma programação para seu job.

  8. Clique em Criar.

Instale e execute agentes de transferência local em cada uma das máquinas, caso ainda não tenha feito isso.

Como controlar o uso da largura de banda para o serviço de transferência de dados locais

Os limites de largura de banda são úteis se você precisa limitar a quantidade de dados que o serviço de transferência de dados locais usa para transferir dados para o Cloud Storage. Usar um limite de largura de banda ajuda a garantir que:

  • seus links de rede não fiquem saturados como resultado do uso do serviço de transferência de dados locais;

  • o comportamento do aplicativo existente da sua organização não seja afetado durante a transferência;

  • não haja um aumento repentino no preço, se você estiver em uma conexão de rede que cobra por pico de uso da largura de banda;

os limites de largura de banda sejam aplicados a um projeto inteiro.

Como definir um limite de largura de banda

Para definir um limite de largura de banda:

  1. Acesse a página Configurações de conexão do serviço de transferência de dados locais no Console do Google Cloud.

    Acesse a página de configurações de conexão do serviço de transferência de dados locais

  2. Clique em Configurar limite de largura de banda.

  3. Será exibido o painel Definir o limite da largura de banda deste projeto.

  4. Na caixa de texto Limite de largura de banda, insira em megabytes por segundo (MB/s) o limite de rede que você quer e clique em Configurar limite de largura de banda

    Será exibido o limite de largura de banda do projeto.

Como editar um limite de largura de banda

Para editar o limite atual de largura de banda:

  1. Acesse a página Configurações de conexão do serviço de transferência de dados locais no Console do Google Cloud.

    Acesse a página de configurações de conexão do serviço de transferência de dados locais

  2. No limite de largura de banda exibido, clique em Editar.

  3. Na caixa de texto Limite de largura de banda, insira em megabytes por segundo (MB/s) o limite de rede que você quer e clique em Configurar limite de largura de banda

    Será exibido o limite de largura de banda do projeto.

Como remover um limite de largura de banda

Para remover o limite atual de largura de banda:

  1. Acesse a página Configurações de conexão do serviço de transferência de dados locais no Console do Google Cloud.

    Acesse a página de configurações de conexão do serviço de transferência de dados locais

  2. No limite de largura de banda exibido, clique em Usar toda a largura de banda.

  3. Para confirmar que você quer remover o limite atual, clique em Confirmar.

Como monitorar jobs

É possível monitorar jobs do serviço de transferência de dados locais para garantir que eles funcionem conforme o esperado.

Para monitorar seus jobs de transferência:

  1. Acesse a página Jobs do serviço de transferência de dados locais no Console do Google Cloud.

    Acesse a página de jobs do serviço de transferência de dados locais

    Será exibida uma lista de jobs. Essa lista inclui jobs em execução e concluídos.

  2. Para exibir informações detalhadas sobre um job de transferência, clique na Descrição do job que lhe interessa.

    Será exibida a página Detalhes do job.

A página Detalhes do job exibe o seguinte:

  • a quantidade de dados transferidos

  • informações de configuração sobre o job de transferência

  • informações de jobs programados ou recorrentes

  • detalhes da execução de job mais recente

  • histórico de todas as execuções de jobs anteriores.

Como filtrar jobs

Se você tiver muitos jobs e quiser monitorar um subconjunto deles, considere usar filtros para classificar e exibir apenas os jobs que lhe interessam.

Para filtrar seus jobs de transferência:

  1. Clique em Filtrar lista .

  2. Selecione os filtros que você quer aplicar.

Como editar configurações de jobs

É possível editar os itens a seguir para um job de transferência existente:

  • a descrição do job
  • Opção de sincronização
  • Programar

Para editar uma configuração de job:

  1. Acesse a página Jobs do serviço de transferência de dados locais no Console do Google Cloud.

    Acesse a página de jobs do serviço de transferência de dados locais

  2. Clique na Descrição do job referente ao job que você está editando.

    Será exibida a página Detalhes do job.

  3. Clique em Configuração.

  4. Clique em ao lado do item de configuração que você quer editar.

Como executar jobs novamente

O serviço de transferência de dados locais permite executar novamente um job concluído uma única vez. Isso pode ser útil se você tiver alguns dados extras para mover e quiser reutilizar uma configuração de job atual.

Para executar um job novamente:

  1. Acesse a página Jobs do serviço de transferência de dados locais no Console do Google Cloud.

    Acesse a página de jobs do serviço de transferência de dados locais

  2. Clique na Descrição do job referente ao job que você está editando.

    Será exibida a página Detalhes do job.

  3. Clique em Executar novamente.

    O job será iniciado.

Como visualizar erros

Para visualizar uma amostra de erros encontrados durante a transferência:

  1. Acesse a página Jobs do serviço de transferência de dados locais no Console do Google Cloud.

    Acesse a página de jobs do serviço de transferência de dados locais

  2. Clique na Descrição do job referente ao job que você está editando.

    Será exibida a página Detalhes do job.

  3. Clique em Ver detalhes do erro.

    Será exibida a página Detalhes do erro com uma amostra de erros encontrados durante a transferência.

Como visualizar registros de transferência

O serviço de transferência de dados locais gera registros de transferência detalhados para verificar os resultados do job de transferência. Cada job gera uma coleção de registros de transferência que é armazenada no bucket de destino do Cloud Storage.

Os registros são gerados enquanto o trabalho de transferência está em execução. Os registros completos geralmente são disponibilizados até 15 minutos depois da conclusão do job.

Estas são as opções para ver os registros:

Como visualizar erros no Console do Google Cloud

Para exibir todos os erros encontrados durante a transferência no Console do Google Cloud:

  1. Clique em Visualizar registros de transferência.

    Será exibida a página Detalhes do bucket. Este é um destino no bucket do Cloud Storage.

  2. Clique no registro de transferência em que você tem interesse.

    Serão exibidos os registros de transferência. Para mais informações, consulte formato de registro de transferência.

Como visualizar registros no bucket de destino

Os registros de transferência são armazenados no bucket de destino no seguinte caminho:

destination-bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name

em que:

  • destination-bucket-name é o nome do bucket de destino do Cloud Storage.
  • job-name é o nome do job, conforme exibido na lista de jobs.
  • operation-name é o nome da operação de transferência individual, composta pelo carimbo de data/hora IS08601 e pelo ID gerado.

Os registros são agregados e armazenados como objetos. Cada lote de registros é nomeado de acordo com a hora de criação. Por exemplo:

my bucket/storage-transfer/logs/transferOperations/job1/2019-10-19T10_52_56.519081644-07_00.log

Serão exibidos os registros de transferência. Para mais informações, consulte formato de registro de transferência.

Como executar consultas do BigQuery em registros de transferência

Para executar consultas do BigQuery nos seus registros de transferência:

  1. Carregue os dados do registro CSV no BigQuery.

  2. Execute sua consulta do BigQuery.

Exemplo de consultas

Exibir o número de tentativas de transferência de arquivos e o status de falha/êxito

select ActionStatus, count(*) as num_files
from big-query-table
where Action="TRANSFER"
group by 1;

Em que big-query-table é o nome da tabela do BigQuery com o registro de transferência.

Exibir todos os arquivos que falharam na transferência

select Src_File_Path  
from big-query-table
where Action="TRANSFER" and ActionStatus="FAILED";

Em que big-query-table é o nome da tabela do BigQuery com o registro de transferência.

Exibir a soma de verificação e o carimbo de data/hora de cada arquivo transferido com êxito

select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size,
Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size,
Dst_Gcs_Crc32C, Dst_Gcs_Md5
from big-query-table
where Action="TRANSFER" and ActionStatus="SUCCEEDED";

Em que big-query-table é o nome da tabela do BigQuery com o registro de transferência.

Exibir todas as informações de erro dos diretórios que não foram transferidos

select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message
from big-query-table
where Action="FIND" and ActionStatus="FAILED";

Em que big-query-table é o nome da tabela do BigQuery com o registro de transferência.