Bonnes pratiques concernant les agents

Cette page décrit les bonnes pratiques concernant les agents du service de transfert des données sur site.

Bonnes pratiques en matière de performances

Voici quelques bonnes pratiques à suivre pour garantir des performances de transfert satisfaisantes :

  • Maximisez les performances de votre agent de transfert.

  • Effectuez un benchmark de vos performances en transférant un corpus de données volumineux, généralement d'au moins 100 Go.

    Le service de transfert des données sur site est un service à grande échelle et à débit optimisé. Par conséquent, les performances obtenues sur de très petits ensembles de données de test ne permettent pas de connaître vos performances sur de vastes ensembles de données en production.

  • Exécutez les agents sur des machines virtuelles (VM) distinctes afin de pouvoir adapter votre consommation de ressources plus efficacement.

  • Vérifiez que l'interface réseau sur les machines agents est dimensionnée pour la bande passante en lecture/écriture dont vous avez besoin.

    Par exemple, si vous souhaitez utiliser pleinement un réseau étendu (WAN) 20 Gbit/s, l'interface réseau de votre machine agent doit prendre en charge 20 Gbit/s pour la lecture des données de votre système de fichiers en réseau, ainsi que 20 Gbit/s supplémentaires pour le transfert des données vers Cloud Storage, soit un total de 40 Gbit/s de bande passante.

  • Surveillez l'utilisation du processeur, de la mémoire et du réseau sur les machines agents pour vous assurer qu'elles ne sont pas submergées par d'autres charges de travail, car cela peut affecter négativement les performances. Pour une efficacité optimale, les machines agents doivent disposer d'au moins 8 Go de mémoire et d'au moins quatre processeurs.

Bonnes pratiques en matière de configuration

Cette section décrit les bonnes pratiques ci-dessous pour configurer vos agents :

Maximiser les performances de l'agent de transfert

Les performances de transfert sont affectées par les variables suivantes :

  • Fonctionnalités du système de fichiers.

  • Limites matérielles sous-jacentes.

    Le type de contenu du disque dur, le bus d'entrée/sortie et la connectivité du réseau local (LAN) ont tous un impact sur les performances.

  • Débit et utilisation du réseau WAN.

    Un WAN plus lent ou fortement sollicité entraîne un ralentissement des performances.

  • Caractéristiques des fichiers.

    Par exemple, de nombreux fichiers volumineux présentent un débit de réseau supérieur à celui de nombreux petits fichiers, en raison de la surcharge réseau.

À cause de ces variables, nous ne pouvons pas prédire les performances réelles ni indiquer un nombre optimal d'agents à utiliser.

Au minimum, nous vous recommandons d'utiliser trois agents, si possible sur des machines différentes, afin que votre transfert reste tolérant aux pannes. Vous pouvez ajouter des agents de transfert pendant l'exécution des transferts, car les performances augmentent de manière dynamique.

Pour observer l'impact de l'ajout d'agents et choisir le nombre d'agents le mieux adapté à votre environnement, procédez comme suit :

  1. Démarrez un transfert volumineux dont l'exécution prend au moins une heure. Par exemple, lancez un transfert contenant au minimum 100 000 fichiers et dont la taille totale est d'au moins 100 Go.

  2. Utilisez Cloud Monitoring pour observer le débit global de l'agent.

  3. Attendez que le débit diminue et déterminez si vous êtes limité par votre capacité WAN ou par votre limite de bande passante.

  4. Si votre capacité WAN n'est pas saturée et que vous n'avez pas atteint la limite de transfert souhaitée, ajoutez un autre agent. L'agent supplémentaire augmente automatiquement le débit de transfert. Attendez environ trois minutes que le débit se stabilise dans Cloud Monitoring.

Répétez les étapes 3 et 4 pour ajouter un agent à la fois jusqu'à atteindre la limite souhaitée. Tant que des ressources de calcul, de système de fichiers et de réseau sont disponibles, vous pouvez exécuter jusqu'à 100 agents simultanément par projet de transfert.

Si la bande passante sortante se sature avant que vous n'ayez atteint la limite souhaitée, vous pouvez effectuer l'une des opérations suivantes :

Si vous avez ajouté des agents, mais que le débit n'augmente pas et que votre réseau WAN n'est pas saturé, examinez le débit du système de fichiers. Dans de rares cas, le débit du système de fichiers est saturé, ce qui vous empêche d'améliorer les performances de transfert.

Nommer les agents

Lorsque vous nommez des agents, nous vous recommandons d'effectuer les actions suivantes :

  • Incluez toujours le nom d'hôte dans votre agent. Cela vous permet d'identifier la machine sur laquelle un agent s'exécute. Nous vous recommandons de transmettre --hostname=$(hostname) à la commande Docker run.

  • Choisissez un schéma de préfixe d'agent qui vous aide à identifier les agents dans le contexte de votre processus de surveillance et de votre organisation d'infrastructure. Exemple :

    • Si vous avez trois projets de transfert distincts, vous pouvez inclure le nom de l'équipe dans votre agent. Par exemple, logistics.

    • Si vous exécutez deux projets de transfert différents pour deux centres de données distincts, vous pouvez inclure le nom du centre de données dans le préfixe d'agent. Par exemple, omaha.