このページでは、Cloud Storage と Storage Transfer Service の既知の制限事項について説明します。
一般的な制限事項
Cloud Storage の 5 TiB のオブジェクト サイズ上限
Cloud Storage は、最大 5 テビバイトの単一オブジェクト サイズをサポートしています。オブジェクトが 5TiB を超える場合、Cloud Storage または Storage Transfer Service のオブジェクトの転送は失敗します。
Cloud Storage のオブジェクトの命名要件
Cloud Storage では、オブジェクト命名要件が定められており、すべての Storage Transfer Service 転送に適用されます。
変更されたオブジェクトが転送されない
Storage Transfer Service では、転送中にソースファイルがロックされることはありません。
転送中にオブジェクトのデータが更新されると、Storage Transfer Service が次のようなレスポンスを返します。
Google 以外のクラウドから Google Cloud への転送: 転送中にオブジェクトのデータが更新された場合、Storage Transfer Service はそのオブジェクトの転送に失敗し、オブジェクトは転送されません。
ファイル システムから Google Cloud への転送: 転送中にオブジェクトのデータが更新されると、Storage Transfer Service はアップロードを再試行します。アップロードが複数回失敗すると、Storage Transfer Service は
FILE_MODIFIED_FAILUREをログに記録します。詳細については、トラブルシューティングをご覧ください。Google Cloud からファイル システムへの転送: 転送中にオブジェクトのデータが更新されると、Storage Transfer Service はもう一度ダウンロードを試みます。ダウンロードが複数回失敗すると、Storage Transfer Service は
PRECONDITION_FAILUREをログに記録します。詳細については、トラブルシューティングをご覧ください。
この障害を解決するには、次のようにします。
- 再度転送を試みます。
オブジェクトの転送失敗が続く場合は、転送中にデータが更新されないように、次の設定を行ってください。
- Cloud Storage ソース - オブジェクトの保留を設定します。
- Amazon S3 ソース - S3 オブジェクト ロックを設定します。
- Microsoft Azure Storage ソース - Blob Storage の不変ポリシーを設定します。
- ファイルシステム ソース - ファイルを読み取り専用モードに設定するか、転送するファイルへの書き込みを制限します。
転送が完了したら、オブジェクトの更新を再度有効にできます。
Cloud Storage のフォルダ
Cloud Storage のオブジェクトは、バケット内のフラットな名前空間に置かれます。詳細については、オブジェクトの名前空間をご覧ください。そのため、Storage Transfer Service では Cloud Storage 内に階層の名前空間は作成されません。たとえば、Azure Data Lake Storage（ADLS）Gen 2 から転送する場合、Storage Transfer Service は Cloud Storage で ADLS Gen 2 名前空間を再作成しません。
バージョニングが停止された Amazon S3 バケット内のオブジェクトの削除
バージョニングが停止された Amazon S3 バケットで、Storage Transfer Service の「転送後に転送元のオブジェクトを削除する」機能を使用すると、Storage Transfer Service は、最新のバージョンではなく null のバージョン ID を持つオブジェクトを削除します。
Storage Transfer Service ジョブのロケーション
Storage Transfer Service では、転送元の Cloud Storage バケットのリージョンに基づいてロケーションが選択されます。現時点では、次のロケーションに Storage Transfer Service ジョブを作成しています。このリストは、Storage Transfer Service で新しいリージョンのサポートが追加されたときに、変更される可能性があります。
ソースの Cloud Storage バケットがリストにないリージョンにある場合、ソースの外側のリージョン内のデフォルト リージョンが選択されます。
- ASIA-EAST1
- ASIA-EAST2
- ASIA-NORTHEAST1
- ASIA-NORTHEAST2
- ASIA-NORTHEAST3
- ASIA-SOUTH1
- ASIA-SOUTH2
- ASIA-SOUTHEAST1
- ASIA-SOUTHEAST2
- AUSTRALIA-SOUTHEAST1
- AUSTRALIA-SOUTHEAST2
- EUROPE-WEST1
- EUROPE-WEST2
- EUROPE-WEST3
- EUROPE-WEST4
- EUROPE-WEST9
- EUROPE-NORTH1
- EUROPE-SOUTHWEST1
- NORTHAMERICA-NORTHEAST1
- NORTHAMERICA-NORTHEAST2
- US-CENTRAL1
- US-CENTRAL2
- US-EAST1
- US-EAST4
- US-WEST1
- US-WEST2
- US-WEST3
- US-WEST4
- NAM4
ファイル システム転送の既知の制限事項
リアルタイム サポートなし
Storage Transfer Service では、1 時間未満の変更の検出はサポートしていません。Storage Transfer Service は、1 時間に 1 回の頻度でソースをスキャンできるバッチデータ移動サービスです。
サポートされているオペレーティング システムの構成
転送エージェントを使用するには、Docker がインストールされ、Linux サーバーまたは仮想マシン（VM）で実行されている必要があります。CIFS または SMB ファイル システムにデータをコピーするには、Linux サーバーまたは VM にボリュームをマウントしてから、Linux サーバーまたは VM からエージェントを実行します。
メモリ要件
Transfer Service for On Premises Data エージェントのメモリ要件は次のとおりです。- 最小メモリ: 1 GiB
- ハイ パフォーマンス アップロードをサポートする場合の最小メモリ: 6 GiB
スケーリングの制限事項
Storage Transfer Service は、次の個別転送をサポートします。
- 数百テラバイトのサイズ
- 最大 10 億ファイル
- 数 10 Gbps の転送速度
これらのサイズを上回る個別の転送も可能ですが、パフォーマンスのテストは行われていません。
これらの制限よりも大きなデータセットがある場合は、データを複数の転送ジョブに分割することをおすすめします。
現在、最大ディレクトリの 100 万ファイルごとに少なくとも 1 GB のメモリがある限り、ディレクトリのコンテンツを反復処理できるため、メモリ不足になることなく大きなディレクトリをサポートできます。
エージェントとエージェント プールの制限事項
1 つのエージェント プールで最大 100 個のエージェントをサポートします。標準的な特定の環境でパフォーマンスを向上させるために、より多くのエージェントが必要になることはほとんどありません。
プロジェクトごとに、最大 800 のエージェント プールがサポートされています。
ジョブごとに 1 つのディレクトリ
ファイル システム ディレクトリの全コンテンツの（再帰的な）転送のみをサポートします。データセットの異なるサブディレクトリを転送する複数のジョブを作成し、分けて転送することは可能ですが、現時点では 1 つのジョブ内でのファイルのグロビングやフィルタリングはサポートしていません。
サポートされているファイル名
次のルールは、転送に含まれるすべてのファイル名に適用されます。
- ファイル名には UTF-8 エンコードを使用する必要があります。
- ファイル名は Unicode に対応させる必要があります。
- 改行（
\n）や復帰（\r）を含めることはできません。
ソース ディレクトリにサポートされていないファイル名が含まれている場合、そのディレクトリのファイル一覧表示タスクは失敗します。
これが発生した場合は、サポートされていないファイル名を更新して、ジョブを再実行します。
サポートされているファイル形式
Storage Transfer Service は、通常のファイルや Unix のような隠しファイルの転送をサポートします。Unix スタイルの隠しファイルは、. 文字で始まるファイルです。Storage Transfer Service はデバイス、名前付きパイプ、ソケットなどの非標準のファイルを検出すると UNSUPPORTED_FILE_MODE エラーを出力します。
Cloud Storage 内に空のディレクトリは作成されません。これは、オブジェクトがバケット内のサブディレクトリに存在しないためです。詳細については、オブジェクトの名前空間をご覧ください。
パスの最大長
Storage Transfer Service は、Cloud Storage のパスの最大長である 1,024 バイトに従います。宛先オブジェクトのオブジェクト接頭辞は、Cloud Storage のオブジェクト名に含まれているとおり、この長さ制限にも含まれます。
サポートされているファイル メタデータ
デフォルトで保持されるメタデータや、オプションで保持されるメタデータの詳細については、メタデータの保持をご覧ください。
長期にわたるジョブの一時停止
30 日間以上一時停止されているジョブは非アクティブとみなされます。ジョブが非アクティブの場合、一時停止ジョブは中断され、ジョブ構成スケジュールは無効になります。ジョブを明示的に再度有効にしない限り、新しくジョブが実行されることはありません。
ファイル システムのソースのセキュリティ
エージェント アクセス
転送ジョブを作成できるユーザーは、エージェントからアクセス可能な任意のファイル システム ディレクトリに対して、データの取得やダウンロードを行うことができます。エージェントが root として実行され、ファイル システム全体にアクセスできる場合、悪意のある人物がホストを乗っ取るおそれがあります。必要なディレクトリのみにエージェントのアクセスを制限することを強くおすすめします。