Práticas recomendadas para agentes

Nesta página, descrevemos as práticas recomendadas para agentes do serviço de transferência de dados locais.

Práticas recomendadas de desempenho

Veja a seguir as práticas recomendadas para garantir um bom desempenho de transferência:

  • Maximize o desempenho do seu agente de transferência.

  • Compare seu desempenho transferindo um grande corpus de dados, geralmente de 100 GB ou maior.

    O serviço de transferência de dados locais é otimizado para grande escala. Assim, seu desempenho com conjuntos de dados de teste muito pequenos não é indicativo do desempenho com grandes conjuntos de dados de produção.

  • Execute agentes em máquinas virtuais (VMs) separadas para poder escalonar o consumo de recursos de forma mais eficaz.

  • Verifique se a interface de rede nas máquinas do agente está dimensionada para a largura de banda de leitura/gravação necessária.

    Por exemplo, se você pretende usar totalmente uma rede de longa distância (WAN) de 20 Gbps, a interface de rede da máquina do agente precisa suportar 20 Gbps para ler dados do sistema de arquivos em rede e outros 20 Gbps para transferir dados para o Cloud Storage. Ou seja, 40 Gbps de largura de banda total.

  • Monitore a CPU, a memória e a rede nas máquinas do agente para garantir que elas não estejam sobrecarregadas por outras cargas de trabalho, porque isso pode afetar negativamente o desempenho. Espera-se que as máquinas do agente tenham 8 GB de memória e quatro CPUs, pelo menos, para serem mais eficazes.

Práticas recomendadas de configuração

Nesta seção, descrevemos as seguintes práticas recomendadas na configuração dos seus agentes:

Como maximizar o desempenho do agente de transferência

O desempenho da sua transferência é afetado pelas seguintes variáveis:

  • Recursos do sistema de arquivos.

  • Limitações de hardware subjacentes.

    O tipo de mídia do disco rígido, o barramento de entrada/saída e a conectividade de rede local (LAN) afetam o desempenho.

  • Capacidade e utilização da WAN.

    Uma WAN mais lenta ou sobrecarregada prejudica o desempenho.

  • Características do arquivo.

    Por exemplo, muitos arquivos grandes têm uma capacidade de rede maior do que muitos arquivos pequenos devido à sobrecarga da rede.

Por causa dessas variáveis, não podemos prever o desempenho real nem fornecer um número ideal de agentes para usar.

Recomendamos que, se possível, você use pelo menos três agentes em máquinas diferentes, para que sua transferência permaneça tolerante a falhas. Você pode adicionar agentes de transferência enquanto as transferências estão em execução, à medida que o desempenho aumenta dinamicamente.

Para observar o impacto da adição de agentes e escolher o número de agentes que funciona melhor para seu ambiente, faça o seguinte:

  1. Inicie uma transferência grande que leve pelo menos uma hora para ser executada. Por exemplo, inicie uma transferência que contenha pelo menos 100 mil arquivos e 100 GB de tamanho total.

  2. Use o Cloud Monitoring para observar a capacidade geral do agente.

  3. Aguarde até que a capacidade atinja um nível e determine se você está limitado pela capacidade da WAN ou da largura de banda.

  4. Se você não saturou sua capacidade de WAN e não atingiu o limite de transferência desejado, adicione outro agente. O agente adicional aumenta automaticamente a capacidade de transferência. Aguarde cerca de três minutos para que a capacidade se estabilize no Cloud Monitoring.

Repita as etapas 3 e 4, adicionando um agente por vez até alcançar o limite desejado. Desde que os recursos computacionais, de sistema de arquivos e de rede estejam disponíveis, é possível executar até 100 agentes simultaneamente por projeto de transferência.

Se você saturar a largura de banda de saída antes de atingir o limite desejado, poderá fazer o seguinte:

Se você adicionou agentes, mas a capacidade não está aumentando e a WAN não está saturada, investigue a capacidade do sistema de arquivos. Em casos raros, a capacidade do sistema de arquivos está saturada, dificultando o aumento do desempenho da transferência.

Como nomear agentes

Ao nomear agentes, recomendamos que você faça o seguinte:

  • Sempre inclua o nome do host no seu agente. Isso ajuda a encontrar a máquina onde um agente está sendo executado. Recomendamos que você transmita --hostname=$(hostname) para o comando run do Docker.

  • Escolha um esquema de prefixo de agentes que ajude a identificá-los no contexto de monitoramento e infraestrutura da sua organização. Por exemplo:

    • Se você tiver três projetos de transferência separados, convém incluir o nome da equipe no seu agente. Por exemplo, logistics.

    • Se você estiver executando dois projetos de transferência para dois data centers diferentes, inclua o nome do data center no prefixo do agente. Por exemplo, omaha.