既知の制限事項

このページでは、Cloud Storage とオンプレミス用 Transfer の既知の制限について説明します。

一般的な制限事項

Cloud Storage の 5 TB のオブジェクト サイズ上限

Cloud Storage は、最大 5 テラバイトの単一オブジェクト サイズをサポートしています。オブジェクトが 5TB を超える場合、Cloud Storage またはオンプレミス用 Transfer のオブジェクトの転送は失敗します。

Cloud Storage のオブジェクトの命名要件

Cloud Storage では、オブジェクト命名要件が定められており、すべての Storage Transfer Service 転送に適用されます。

変更されたオブジェクトが転送されない

転送中にオブジェクトのデータが更新された場合、Storage Transfer Service はそのオブジェクトの転送に失敗し、オブジェクトは転送されません。

この障害を解決するには、次のようにします。

  1. 再度転送を試みます。
  2. オブジェクトの転送失敗が続く場合は、転送中にデータが更新されないように、次の設定を行ってください。

  3. 転送が完了したら、オブジェクトの更新を再度有効にできます。

オンプレミス用 Transfer の既知の制限事項

API がない

Transfer Service for On Premises Data には、Google Cloud Console を介してのみアクセスできます。現時点では、Transfer Service for On Premises Data ジョブに API インターフェースは提供していません。

リアルタイム サポートなし

Transfer Service for On Premises Data では、1 時間未満の変更検出はサポートしていません。Transfer Service for On Premises Data は、1 時間に 1 回の頻度でソースをスキャンできるバッチデータ移動サービスです。

サポートされているオペレーティング システムの構成

オンプレミス用 Transfer のエージェントには Docker がインストールされている必要があり、Linux サーバーまたは仮想マシン(VM)で実行されます。CIFS または SMB ファイル システムにデータをコピーするには、Linux サーバーまたは VM にボリュームをマウントしてから、Linux サーバーまたは VM からエージェントを実行します。

メモリ要件

Transfer Service for On Premises Data エージェントのメモリ要件は次のとおりです。
  • 最小メモリ: 1 GiB
  • ハイ パフォーマンス アップロードをサポートする場合の最小メモリ: 6 GiB

スケーリングの制限事項

Transfer Service for On Premises Data は、以下の個別の転送をサポートします。

  • 数百テラバイトのサイズ
  • 最大 10 億ファイル
  • 数 10 Gbps の転送速度

これらのサイズを上回る個別の転送も可能ですが、パフォーマンスのテストは行われていません。

これらの制限よりも大きなデータセットがある場合は、データを複数の転送ジョブに分割することをおすすめします。

現在、最大ディレクトリの 100 万ファイルごとに少なくとも 1 GB のメモリがある限り、ディレクトリのコンテンツを繰り返し処理できるため、メモリ不足になることなく大きなディレクトリをサポートできます。

単一の転送プロジェクトで最大 100 エージェントをサポートします。標準的な特定のオンプレミス環境でパフォーマンスを向上させるために、より多くのエージェントが必要になることはほとんどありません。

ジョブごとに 1 つのディレクトリ

ファイル システム ディレクトリの全コンテンツの(再帰的な)転送のみをサポートします。データセットの異なるサブディレクトリを転送する複数のジョブを作成し、分けて転送することは可能ですが、現時点では 1 つのジョブ内でのファイルのグロビングやフィルタリングはサポートしていません。

Transfer Service for On Premises Data と Cloud Storage の違いの詳細については、Cloud Storage 転送オプションの違いをご覧ください。

エージェントの統一ファイル システム アクセス

Transfer Service for On Premises Data では、実行中のすべてのエージェントがソース ファイル システムからのデータの読み取り権限を持ち、Google Cloud プロジェクト内のすべてのジョブのソース ファイル システムと同じアクセス権限を持ちます。

ソース ディレクトリに異なる権限が設定されている複数のデータセンターにわたってエージェントを実行する必要がある場合は、ジョブとエージェントを別の Google Cloud プロジェクトに分離する必要があります。一方、各ジョブには別の Pub/Sub トピックとサブスクリプションがあり、そのジョブの一連のエージェントと通信します。

サポートされているファイル名

ファイル名は Unicode に対応しており、改行を含まれない必要があります。ソース ディレクトリに改行を含むファイル名が含まれている場合、そのディレクトリのファイル一覧表示タスクは失敗します。

これが発生した場合は、ファイル名の改行を置き換えて、ジョブを再実行します。

サポートされているファイル形式

Transfer Service for On Premises Data は、標準のファイルの転送をサポートします。Transfer Service for On Premises Data はデバイス、名前付きパイプ、ソケットなどの非標準のファイルを検出すると UNSUPPORTED_FILE_MODE エラーを出力します。

Cloud Storage 内に空のディレクトリは作成されません。これは、オブジェクトがバケット内のサブディレクトリに存在しないためです。詳細については、オブジェクト名に関する考慮事項をご覧ください。

パスの最大長

Transfer Service for On Premises Data は、Cloud Storage のパスの最大長である 1,024 バイトに従います。宛先オブジェクトのオブジェクト接頭辞は、Cloud Storage のオブジェクト名に含まれているとおり、この長さ制限にも含まれます。

サポートされているファイル メタデータ

Transfer Service for On Premises Data は、ソースファイルから最終更新日時(mtime)を抽出して、対応する Cloud Storage 宛先オブジェクトにコピーします。他のファイル メタデータは、転送されません。

長期にわたるジョブの一時停止

30 日間以上一時停止されているジョブは非アクティブとみなされます。ジョブが非アクティブの場合、一時停止ジョブは中断され、ジョブ構成スケジュールは無効になります。ジョブを明示的に再度有効にしない限り、新しくジョブが実行されることはありません。

ソースのセキュリティ