クロスバケットレプリケーションを使用する

このページでは、クロスバケットレプリケーションの概要と、この機能の使用方法について説明します。

クロスバケットレプリケーションの概要

場合によっては、Cloud Storage バケット間でデータをコピーする必要があります。クロスバケットレプリケーションは、新規オブジェクトと更新されたオブジェクトをソースバケットから宛先バケットに非同期でコピーします。

クロスバケットレプリケーションは、データが 2 つのバケットに存在し、それぞれにストレージのロケーション、暗号化、アクセス、ストレージクラスなどの独自の構成がある点で、デフォルトのレプリケーションやターボレプリケーションとは異なります。その結果、データ復元と可用性が提供されるだけでなく、次のような用途にも適しています。

データ主権: 地理的に離れたリージョンにわたってデータを維持します。
開発環境と本番環境のバージョンを別々に維持する: 開発環境が本番環境のワークロードに影響しないように、個別のバケットと Namespace を作成します。
データを共有する: ベンダーまたはパートナーが所有するバケットにデータを複製します。
データ集約: さまざまなバケットのデータを 1 つのバケットに結合して、分析ワークロードを実行します。
費用、セキュリティ、コンプライアンスを管理する: さまざまな所有権、ストレージクラス、保持期間でデータを維持します。

クロスバケットレプリケーションでは、Storage Transfer Service を使用してオブジェクトを複製し、Pub/Sub を使用してソースバケットと宛先バケットの変更に関するアラートを受信します。クロスバケットレプリケーションは、作成した新しいバケットと既存のバケットで有効にできます。ほとんどのオブジェクトは数分以内に複製できますが、1 GiB を超えるオブジェクトの場合は数時間かかることがあります。

始める前に

始める前に、次の手順を行います。

Storage Transfer Service API を有効にする

まだ有効にしていない場合は、Storage Transfer Service API を有効にします。

必要なロールを取得する

クロスバケットレプリケーションを使用するのに必要な権限を取得するには、バケットまたはプロジェクトに対するストレージ転送ユーザー（roles/storagetransfer.user）IAM ロールを付与するよう管理者に依頼します。

この事前定義ロールには、クロスバケットレプリケーションの使用に必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

必要な権限

クロスバケットレプリケーションを使用するには、次の権限が必要です。

storagetransfer.jobs.create
storagetransfer.jobs.delete
storagetransfer.jobs.get
storagetransfer.jobs.list
storagetransfer.jobs.run
storagetransfer.jobs.update

バケットに対してロールを付与する手順については、バケットで IAM を使用するをご覧ください。プロジェクトにロールを付与する手順については、プロジェクトへのアクセス権を管理するをご覧ください。

必要な役割の付与

クロスバケットレプリケーションは、Pub/Sub を使用してソースバケットの変更通知を受け取り、Storage Transfer Service を使用してソースバケットから宛先バケットにオブジェクトを複製します。クロスバケットレプリケーションを使用するには、Storage Transfer Service がデータのレプリケーションに使用するサービスエージェントと、Pub/Sub が通知の書き込みに使用するサービスエージェントに必要な権限を付与する必要があります。

Storage Transfer Service サービスエージェントに必要なロールを付与する

Storage Transfer Service は、Google 管理のサービスエージェントを使用してデータを複製します。このサービスエージェントのメールアドレスは、project-PROJECT_NUMBER@storage-transfer-service. という命名形式に従います。Storage Transfer Service サービスエージェントのメールアドレスは、Storage Transfer Service googleServiceAccounts.get API を使用して取得できます。

Storage Transfer Service サービスエージェントは、オブジェクトを複製し、ソースバケットの Pub/Sub 通知を設定するために、次の権限が必要です。

必要な権限

ソースバケットと宛先バケットに対する storage.buckets.get
ソースバケットに対する storage.buckets.update
ソースバケットに対する storage.objects.list
ソースバケットに対する storage.objects.get
宛先バケットに対する storage.objects.rewrite
プロジェクトに対する pubsub.topics.create

これらの権限は、Pub/Sub 編集者（roles/pubsub.editor）ロールとストレージ管理者（roles/storage.admin）ロールから付与できます。ストレージ管理者ロールよりも権限が少ないロールの場合は、カスタムロールを使用することもできます。

Cloud Storage サービスエージェントに必要なロールを付与する

Cloud Storage は、Google 管理のサービスエージェントを使用して Pub/Sub 通知を管理します。このサービスエージェントのメールアドレスは、service-PROJECT_NUMBER@gs-project-accounts. の命名形式に従います。

Cloud Storage サービスエージェントは、Pub/Sub を設定してトピックにメッセージをパブリッシュするために、次の権限が必要です。

必要な権限

Pub/Sub トピックの pubsub.topics.publish
Pub/Sub トピックの pubsub.subscriptions.consume
プロジェクトに対する pubsub.subscriptions.create

これらの権限は、Pub/Sub パブリッシャー（roles/pubsub.publisher）ロールを介して付与できます。

レプリケーションジョブを作成する

Console

Google Cloud コンソールを使用してレプリケーションジョブを作成する手順については、Google Cloud コンソールを使用してレプリケーションジョブを作成するをご覧ください。

コマンドライン

Google Cloud CLI を使用する場合は、既存のバケットのレプリケーションジョブを作成できます。

レプリケーションジョブを作成するには、--replication フラグを指定して gcloud alpha transfer jobs create コマンドを使用します。

gcloud alpha transfer jobs create gs://SOURCE_BUCKET_NAME gs://DESTINATION_BUCKET_NAME --replication

以下のように置き換えます。

SOURCE_BUCKET_NAME は、複製するソースバケットの名前に置き換えます。例: my-source-bucket
DESTINATION_BUCKET_NAME は、宛先バケットの名前に置き換えます。例: my-destination-bucket

REST API

JSON API

JSON API を使用する場合は、既存のバケットのレプリケーションジョブを作成できます。

gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセストークンを生成できます。

初期化された ReplicationSpec リソースが含まれる TransferJob オブジェクトを含む JSON ファイルを作成します。
```
TransferJob {
 "name": "TRANSFER_JOB_NAME",
 ...
 ReplicationSpec: {
   "gcsDataSource": {
     "bucketName": "SOURCE_BUCKET_NAME"
   },
   "gcsDataSink" {
     "bucketName": "DESTINATION_BUCKET_NAME"
   },
   "objectConditions": {
   },
   "transferOptions": {
     "overwriteWhen": "OVERWRITE_OPTION"
   }
 }
 ...
}
```
以下のように置き換えます。
- TRANSFER_JOB_NAME は、レプリケーションジョブを割り当てる名前に置き換えます。命名要件については、transferJobs リファレンスドキュメントをご覧ください。
- SOURCE_BUCKET_NAME は、複製するオブジェクトを含むソースバケットの名前に置き換えます。（例: example-source-bucket）です。
- DESTINATION_BUCKET_NAME は、オブジェクトのレプリケーション先となる宛先バケットの名前に置き換えます。（例: example-destination-bucket）です。
- OVERWRITE_OPTION: レプリケーションジョブの結果として宛先バケット内の既存のオブジェクトを上書きする方法のオプション。これは、宛先オブジェクトとソースオブジェクトの名前が同じ場合に発生する可能性があります。値は次のいずれかにする必要があります。
  - ALWAYS: 転送先バケット内のオブジェクトを常に上書きします
  - DIFFERENT: 宛先オブジェクトのデータがソースオブジェクトのデータと異なる場合にのみ、宛先バケット内のオブジェクトを上書きします
  - NEVER: 転送先バケット内のオブジェクトを上書きしません
cURL を使用して、transferJobs.create リクエストで Storage Transfer Service REST API を呼び出します。
```
curl -X POST --data-binary @JSON_FILE_NAME \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs"
```
ここで
- JSON_FILE_NAME は、手順 2 で作成した JSON ファイルの名前です。

レプリケーションジョブのステータスを確認するには、Storage Transfer Service の Cloud Logging ログを表示します。

レプリケーションジョブを一覧表示する

Console

Google Cloud コンソールを使用してレプリケーションジョブを一覧表示する方法については、Google Cloud コンソールを使用してレプリケーションジョブを一覧表示するをご覧ください。

コマンドライン

gcloud alpha transfer jobs list コマンドを使用し、--job-type フラグを指定します。

gcloud alpha transfer jobs list --job-type=replication

REST API

JSON API

gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセストークンを生成できます。

cURL を使用して、transferJobs.list リクエストで Storage Transfer Service REST API を呼び出します。

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs"

レプリケーションジョブを表示する

Console

レプリケーションジョブを表示する方法については、Google Cloud コンソールを使用してレプリケーションジョブを表示するをご覧ください。

コマンドライン

gcloud alpha transfer jobs describe コマンドを使用します。

gcloud alpha transfer jobs describe JOB_NAME

以下のように置き換えます。

JOB_NAME は、レプリケーションジョブの一意の ID に置き換えます。例: 1234567890転送ジョブの ID を確認するには、レプリケーションジョブを一覧表示します。

REST API

JSON API

gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセストークンを生成できます。

cURL を使用して、transferJobs.get リクエストで Storage Transfer Service REST API を呼び出します。
```
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs/JOB_NAME"
```
以下のように置き換えます。
- JOB_NAME は、レプリケーションジョブの一意の ID に置き換えます。例: 1234567890レプリケーションジョブの ID を確認するには、レプリケーションジョブを一覧表示します。

レプリケーションジョブを更新する

レプリケーションジョブの次のフィールドを更新できます。

レプリケーションジョブの説明
レプリケーションジョブの実行構成
Pub/Sub にパブリッシュされる通知の構成
レプリケーションジョブオペレーションのロギング動作
レプリケーションジョブのステータス（有効、無効、削除済み）

Console

レプリケーションジョブを更新する方法については、Google Cloud コンソールを使用してレプリケーションジョブを更新するをご覧ください。

コマンドライン

更新するレプリケーションジョブのプロパティを制御するフラグを指定して、gcloud alpha transfer jobs update コマンドを使用します。使用可能なフラグの一覧については、gcloud alpha transfer jobs update のドキュメントをご覧ください。

たとえば、レプリケーションジョブのオブジェクトの上書き動作を更新するには、--overwrite-when フラグを指定して gcloud alpha transfer jobs update コマンドを実行します。

gcloud alpha transfer jobs update JOB_NAME --overwrite-when=OVERWRITE_OPTION

以下のように置き換えます。

JOB_NAME は、レプリケーションジョブの一意の ID に置き換えます。例: 1234567890転送ジョブの ID を確認するには、転送ジョブを一覧表示または表示します。
OVERWRITE_OPTION: レプリケーションジョブの結果として宛先バケット内の既存のオブジェクトを上書きする方法のオプション。宛先オブジェクトとソースオブジェクトが同じ名前の場合に発生する可能性があります。値は次のいずれかにする必要があります。
- always: 宛先オブジェクトを常に上書きします。
- different: 宛先オブジェクトのデータがソースオブジェクトのデータと異なる場合にのみ、宛先バケット内のオブジェクトを上書きします。
- never: 宛先オブジェクトを上書きしません。

REST API

JSON API

gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセストークンを生成できます。

更新する TransferJob オブジェクトのフィールドを含む次の構造を含む JSON ファイルを作成します。
```
{
 "projectId": string,
 "transferJob": {
   object (TransferJob)
 },
   "updateTransferJobFieldMask": UPDATE_MASK
}
```
ここで
- object (TransferJob) は、更新するレプリケーションジョブのフィールドに置き換えます。詳細については、TransferJob リソース表現をご覧ください。
- UPDATE_MASK は、更新するフィールド名のカンマ区切りのリストです。値は、description、transferSpec、notificationConfig、loggingConfig、status のいずれかになります。
含めることができるフィールド名の詳細については、transferJobs.patch リクエストの本文をご覧ください。
cURL を使用して、transferJobs.patch リクエストで Storage Transfer Service REST API を呼び出します。
```
curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs/JOB_NAME"
```
以下のように置き換えます。
- JOB_NAME は、レプリケーションジョブの一意の ID に置き換えます。例: 1234567890レプリケーションジョブの ID を確認するには、レプリケーションジョブを一覧表示します。

レプリケーションジョブを削除する

Console

Google Cloud コンソールでレプリケーションジョブを削除する手順については、Google Cloud コンソールを使用してレプリケーションジョブを削除するをご覧ください。

コマンドライン

gcloud alpha transfer jobs delete コマンドを使用します。

gcloud alpha transfer jobs delete JOB_NAME

以下のように置き換えます。

JOB_NAME は、レプリケーションジョブの一意の ID に置き換えます。例: 1234567890レプリケーションジョブの ID を確認するには、レプリケーションジョブを一覧表示します。

REST API

JSON API

gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセストークンを生成できます。

cURL を使用して、transferJobs.delete リクエストで Storage Transfer Service REST API を呼び出します。
```
curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs/JOB_NAME"
```
以下のように置き換えます。
- JOB_NAME は、レプリケーションジョブの一意の ID に置き換えます。例: 1234567890レプリケーションジョブの ID を確認するには、レプリケーションジョブを一覧表示します。

クロスバケット レプリケーションを使用する

クロスバケット レプリケーションの概要

始める前に

Storage Transfer Service API を有効にする

必要なロールを取得する

必要な権限

必要な役割の付与

Storage Transfer Service サービス エージェントに必要なロールを付与する

必要な権限

Cloud Storage サービス エージェントに必要なロールを付与する

必要な権限

レプリケーション ジョブを作成する

Console

コマンドライン

REST API

JSON API

レプリケーション ジョブを一覧表示する

Console

コマンドライン

REST API

JSON API

レプリケーション ジョブを表示する

Console

コマンドライン

REST API

JSON API

レプリケーション ジョブを更新する

Console

コマンドライン

REST API

JSON API

レプリケーション ジョブを削除する

Console

コマンドライン

REST API

JSON API

クロスバケットレプリケーションを使用する

クロスバケットレプリケーションの概要

Storage Transfer Service サービスエージェントに必要なロールを付与する

Cloud Storage サービスエージェントに必要なロールを付与する

レプリケーションジョブを作成する

レプリケーションジョブを一覧表示する

レプリケーションジョブを表示する

レプリケーションジョブを更新する

レプリケーションジョブを削除する