エージェントのベスト プラクティス

このページでは、Transfer Service for On Premises Data エージェントのベスト プラクティスについて説明します。

パフォーマンスに関するベスト プラクティス

良好な転送パフォーマンスを維持するため、次のことをおすすめします。

  • 転送エージェントのパフォーマンスを最大にします

  • サイズの大きなデータコーパス(少なくとも 100 GB)を転送して、パフォーマンスのベンチマーク評価を行います。

    Transfer Service for On Premises Data はスループットが最適化された大規模なサービスです。小規模なテスト データセットのパフォーマンスから、本番環境での大きなデータセットのパフォーマンスを判断することはできません。

  • リソースの消費量を効果的にスケーリングできるように、リソースを別々の仮想マシン(VM)で実行します。

  • エージェント マシンのネットワーク インターフェースのサイズが、必要な読み取り / 書き込み帯域幅に応じて設定されていることを確認します。

    たとえば、20 Gbps の広域ネットワーク(WAN)を最大限活用するには、エージェント マシンのネットワーク インターフェースは、ネットワーク ファイル システムからのデータの読み取りに 20 Gbps を使用し、さらに Cloud Storage へのデータ転送に 20 Gbps を使用する必要があります。つまり、合計で 40 Gbps の帯域幅が必要になります。

  • 他のワークロードでマシンが過負荷状態にならないように、エージェント マシンの CPU、メモリ、ネットワークをモニタリングします。過負荷状態になると、パフォーマンスが低下する可能性があります。効率的な処理を行うには、エージェント マシンには少なくとも 8 GB のメモリと 4 個以上の CPU を割り当てる必要があります。

設定に関するベスト プラクティス

このセクションでは、エージェントの設定に関する次のベスト プラクティスについて説明します。

転送エージェントのパフォーマンスの最大化

転送のパフォーマンスは、次の要因によって変わります。

  • ファイル システムの機能。

  • 基盤となるハードウェアの制限。

    ハードドライブのメディアタイプ、入出力バス、ローカルエリア ネットワーク(LAN)の接続状況もパフォーマンスに影響します。

  • WAN のスループットと使用率

    WAN の処理速度が遅い場合や使用率が高い場合、パフォーマンスが低下します。

  • ファイルの特性。

    たとえば、ネットワークのオーバーヘッドのため、サイズの小さいファイルを大量に処理する場合よりも、サイズの大きなファイルのほうがネットワーク スループットが高くなります。

こうした要因があるため、実際のパフォーマンスを予測することや、最適なエージェント数を示すことはできません。

少なくとも 3 つのエージェントを使用することにより(できれば別々のマシンで)、転送をフォールト トレラントにすることをおすすめします。転送の実行中に転送エージェントを追加することで、パフォーマンスを動的に向上させることができます。

エージェントの追加による影響を確認し、環境に最適なエージェント数を選択するには、次の操作を行います。

  1. 1 時間以上かかる大規模な転送を開始します。たとえば、少なくとも 10 万個のファイルで、合計サイズが 100 GB 以上の転送を開始します。

  2. Cloud Monitoring でエージェントの全体的なスループットをモニタリングします

  3. スループットが安定するまで待機し、WAN の容量や帯域幅の上限で制限されているかどうかを判断します。

  4. WAN の容量不足で、目的の転送上限に達していない場合は、別のエージェントを追加します。エージェントを追加することで、転送のスループットが自動的に向上します。Cloud Monitoring でスループットが安定するまでに 3 分ほどかかります。

手順 3 と 4 を繰り返して、目的の上限に達するまで一度に 1 つずつエージェントを追加します。計算リソース、ファイル システム、ネットワーク リソースが使用可能であれば、転送プロジェクトごとに最大 100 個のエージェントを同時に実行できます。

必要な上限に達する前に送信帯域幅が飽和した場合は、次のいずれかを行います。

エージェントを追加してもスループットが向上しない場合、WAN が飽和状態でなければ、ファイル システムのスループットを調査します。まれに、ファイル システムのスループットが飽和し、転送パフォーマンスを向上できない場合があります。

エージェント名の設定方法

エージェント名を指定する場合は、次のことをおすすめします。

  • エージェント名に必ずホスト名を含めます。これは、エージェントが実行されているマシンの特定に役立ちます。--hostname=$(hostname) を Docker の run コマンドに渡すことをおすすめします。

  • モニタリングやインフラストラクチャ統合のコンテキストでエージェントの識別に役立つエージェント接頭辞スキームを選択します。例:

    • 3 つの転送プロジェクトがある場合、チーム名をエージェントに含めます。例: logistics

    • 2 つのデータセンターでそれぞれ異なる転送プロジェクトを実行する場合、エージェント接頭辞にデータセンター名を含めます。例: omaha