イベントドリブン転送

Storage Transfer Service は、AWS または Google Cloud のイベント通知をリッスンし、ソースのロケーションで追加または更新されたデータを自動的に転送できます。AWS S3 または Cloud Storage から Cloud Storage へのイベントドリブン転送がサポートされています。

イベントドリブン転送は、Amazon SQS for AWS S3 ソースに送信された Amazon S3 イベント通知をリッスンします。Cloud Storage ソースは Pub/Sub サブスクリプションに通知を送信します。

イベントドリブン転送のメリット

イベントドリブン転送は、ソースバケットに対する変更をリッスンするため、更新がほぼリアルタイムで宛先にコピーされます。Storage Transfer Service はソースに対して list オペレーションを実行する必要がないため、時間とコストを節約できます。

次のような用途があります。

イベントドリブン分析: AWS から Cloud Storage にデータを複製して、分析と処理を実行します。
Cloud Storage レプリケーション: Cloud Storage バケット間でオブジェクトの非同期の自動レプリケーションを有効にします。

Storage Transfer Service によるイベントドリブン転送は、Cloud Storage のターボレプリケーションや、データのコピーを別のバケットに作成するデフォルトのレプリケーションとは異なります。

これには、次のような利点があります。
- 開発データと本番環境のデータを別々の Namespace に保存する。
- 元のバケットへのアクセス権を付与せずにデータを共有する。
- 別の大陸、またはデュアルリージョンとマルチリージョンのストレージでカバーされないエリアにバックアップする。
DR / HA 設定: オブジェクトを数分以内にソースからバックアップの宛先に複製します。
- クロスクラウドバックアップ: Cloud Storage に AWS S3 のバックアップのコピーを作成します。
- クロスリージョンまたはプロジェクト間のバックアップ: 別のリージョンまたはプロジェクトに Cloud Storage バケットのコピーを作成します。
ライブマイグレーション: 1 回限りのバッチ移行のフォローアップとして、イベントドリブン転送により、ダウンタイムの短い移行を実現できます（数分程度のダウンタイム）。

Cloud Storage からのイベントドリブン転送を設定する

権限を構成する

プロジェクトの Storage Transfer Service サービスエージェントの名前を確認します。
1. googleServiceAccounts.get リファレンスページに移動します。
  
  [Try this method] というインタラクティブパネルが開きます。
2. パネルの [Request parameters] にプロジェクト ID を入力します。ここで指定するプロジェクトは Storage Transfer Service の管理に使用しているプロジェクトで、これは、ソースバケットのプロジェクトとは異なる場合があります。
3. [実行] をクリックします。
サービスエージェントのメールアドレスが accountEmail の値として返されます。この値をコピーします。

サービスエージェントのメールアドレスは project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com の形式です。
Pub/Sub Subscriber ロールを Storage Transfer Service サービスエージェントに付与します。
Cloud コンソール
Google Cloud コンソールによるアクセス制御の手順で、Storage Transfer Service サービスに Pub/Sub Subscriber ロールを付与します。このロールは、トピック、サブスクリプション、プロジェクトレベルで付与できます。
gcloud CLI
ポリシーの設定の手順で、次のバインディングを追加します。
```
{
  "role": "roles/pubsub.subscriber",
  "members": [
    "serviceAccount:project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com"
}
```

Pub/Sub を構成する

Cloud Storage で Pub/Sub の前提条件を満たしていることを確認します。

Cloud Storage の Pub/Sub 通知を構成します。

gcloud storage buckets notifications create gs://BUCKET_NAME --topic=TOPIC_NAME

トピックに pull サブスクリプションを作成します。

gcloud pubsub subscriptions create SUBSCRIPTION_ID --topic=TOPIC_NAME --ack-deadline=300

転送ジョブを作成する

REST API または Cloud コンソールを使用して、イベントベースの転送ジョブを作成できます。

Cloud コンソール

Google Cloud コンソールで [転送ジョブを作成] ページに移動します。

[転送ジョブを作成] に移動
ソースと宛先の両方で「Cloud Storage」を選択します。
ソースと宛先に使用するバケットを選択します（必要に応じてバケット内のフォルダも選択します）。
[転送実行モード] 画面で、[イベントドリブン] を選択します。
次の形式でサブスクリプション名を入力します。

projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID
必要に応じて、転送の開始時刻と終了時刻を入力します。時間を指定しない場合、転送はすぐに開始し、手動で停止するまで実行されます。
転送オプションを指定します。詳細については、転送の作成ページをご覧ください。ソースからファイルを削除するようにイベントドリブン転送を構成することはできません。
[作成] をクリックします。

作成されると、転送ジョブの実行が開始し、イベントリスナーが Pub/Sub サブスクリプションの通知を待機します。ジョブの詳細ページには、1 時間ごとに 1 つのオペレーションが表示されます。このページには、各ジョブで転送されたデータの詳細も表示されます。

REST

REST API を使用してイベントドリブン転送を作成するには、次の JSON オブジェクトを transferJobs.create エンドポイントに送信します。

transfer_job {
  "description": "YOUR DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec" {
    "gcsDataSource" {
      "bucketName": "GCS_SOURCE_NAME"
    },
    "gcsDataSink": {
        "bucketName": "GCS_SINK_NAME"
    }
  }
  "eventStream" {
    "name": "projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID",
    "eventStreamStartTime": "2022-12-02T01:00:00+00:00",
    "eventStreamExpirationTime": "2023-01-31T01:00:00+00:00"
  }
}

eventStreamStartTime と eventStreamExpirationTime は省略可能です。開始時間を省略すると、転送がすぐに開始します。終了時間を省略すると、手動で停止するまで転送が続行されます。

AWS S3 からのイベントドリブン転送を設定する

SQS キューを作成する

AWS S3 からのイベントドリブン転送では、Amazon Simple Queue Service（SQS）からの通知を使用して、ソースバケットのオブジェクトが変更または追加されたタイミングを確認します。

AWS コンソールで [Simple Queue Service] ページに移動します。
[Create queue] をクリックします。
このキューの名前を入力します。

[Access policy] セクションで、[Advanced] を選択します。JSON オブジェクトが表示されます。

 {
    "Version": "2008-10-17",
    "Id": "__default_policy_ID",
    "Statement": [
      {
        "Sid": "__owner_statement",
        "Effect": "Allow",
        "Principal": {
          "AWS": "01234567890"
        },
        "Action": [
          "SQS:*"
        ],
        "Resource": "arn:aws:sqs:us-west-2:01234567890:test"
      }
    ]
  }

AWS と Resource の値はプロジェクトごとに一意です。

表示された JSON から AWS と Resource の特定の値を次の JSON スニペットにコピーします。
```
{
  "Version": "2012-10-17",
  "Id": "example-ID",
  "Statement": [
    {
      "Sid": "example-statement-ID",
      "Effect": "Allow",
      "Principal": {
        "Service": "s3.amazonaws.com"
      },
      "Action": "SQS:SendMessage",
      "Resource": "RESOURCE",
      "Condition": {
        "StringEquals": {
          "aws:SourceAccount": "AWS"
        },
        "ArnLike": {
          "aws:SourceArn": "S3_BUCKET_ARN"
        }
      }
    }
  ]
}
```
上記の JSON 内のプレースホルダの値は次の形式です。
- AWS は、アマゾンウェブサービスプロジェクトを表す数値です。例: "aws:SourceAccount": "1234567890"
- RESOURCE は、このキューを識別する Amazon Resource Number（ARN）です。例: "Resource": "arn:aws:sqs:us-west-2:01234567890:test"
- S3_BUCKET_ARN は、ソースバケットを識別する ARN です。例: "aws:SourceArn": "arn:aws:s3:::example-aws-bucket"バケットの ARN は、AWS コンソールのバケットの詳細ページの [Properties] タブで確認できます。
[Access policy] セクションに表示された JSON を上で更新した JSON に置き換えます。
[Create queue] をクリックします。

完了したら、キューの Amazon Resource Name（ARN）をメモします。ARN の形式は次のとおりです。

arn:aws:sqs:us-east-1:1234567890:event-queue"

S3 バケットで通知を有効にする

AWS コンソールで [S3] ページに移動します。
[Buckets] リストで、ソースバケットを選択します。
[Properties] タブをクリックします。
[Event notifications] で [Create event notification] をクリックします。
このイベントの名前を指定します。
[Event types] で、[All object create events] を選択します。
[Destination] で [SQS queue] を選択し、この転送用に作成したキューを選択します。
[Save changes] をクリックします。

権限を構成する

ソースへのアクセスを構成する: Amazon S3 の手順で、アクセスキー ID と秘密鍵を作成するか、フェデレーション ID ロールを作成します。

カスタム権限の JSON を次のように置き換えます。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "sqs:DeleteMessage",
                "sqs:ChangeMessageVisibility",
                "sqs:ReceiveMessage",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::AWS_BUCKET_NAME",
                "arn:aws:s3:::AWS_BUCKET_NAME/*",
                "AWS_QUEUE_ARN"
            ]
        }
    ]
}

作成したら、次の情報をメモします。

ユーザーの場合は、アクセスキー ID と秘密鍵をメモします。
フェデレーション ID ロールの場合は、arn:aws:iam::AWS_ACCOUNT:role/ROLE_NAME という形式の Amazon Resource Name（ARN）をメモします。

転送ジョブを作成する

REST API または Cloud コンソールを使用して、イベントベースの転送ジョブを作成できます。

Cloud コンソール

Google Cloud コンソールで [転送ジョブを作成] ページに移動します。

[転送ジョブを作成] に移動
ソースタイプとして Amazon S3、宛先として Cloud Storage を選択します。
S3 のバケット名を入力します。
認証方法を選択して必要な情報を入力します。必要な情報は前のセクションで作成しました。
宛先の Cloud Storage バケットとパス（省略可）を選択します。
[転送実行モード] 画面で、[イベントドリブン] を選択します。
Amazon SQS のキューの ARN を入力します。
必要に応じて、転送の開始時刻と終了時刻を入力します。時間を指定しない場合、転送はすぐに開始し、手動で停止するまで実行されます。
転送オプションを指定します。詳細については、転送の作成ページをご覧ください。ソースからファイルを削除するようにイベントドリブン転送を構成することはできません。
[作成] をクリックします。

作成されると、転送ジョブの実行が開始し、イベントリスナーが SQS キューで通知を待機します。ジョブの詳細ページには、1 時間ごとに 1 つのオペレーションが表示されます。このページには、各ジョブで転送されたデータの詳細も表示されます。

REST

REST API を使用してイベントドリブン転送を作成するには、次の JSON オブジェクトを transferJobs.create エンドポイントに送信します。

transfer_job {
  "description": "YOUR DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec" {
    "awsS3DataSource" {
      "bucketName": "AWS_SOURCE_NAME",
      "roleArn": "arn:aws:iam::1234567891011:role/role_for_federated_auth"
    },
    "gcsDataSink": {
        "bucketName": "GCS_SINK_NAME"
    }
  }
  "eventStream" {
    "name": "arn:aws:sqs:us-east-1:1234567891011:s3-notification-queue",
    "eventStreamStartTime": "2022-12-02T01:00:00+00:00",
    "eventStreamExpirationTime": "2023-01-31T01:00:00+00:00"
  }
}

イベント ドリブン転送

イベント ドリブン転送のメリット

Cloud Storage からのイベント ドリブン転送を設定する

権限を構成する

Cloud コンソール

gcloud CLI

Pub/Sub を構成する

転送ジョブを作成する

Cloud コンソール

REST

AWS S3 からのイベント ドリブン転送を設定する

SQS キューを作成する

S3 バケットで通知を有効にする

権限を構成する

転送ジョブを作成する

Cloud コンソール

REST

イベントドリブン転送

イベントドリブン転送のメリット

Cloud Storage からのイベントドリブン転送を設定する

`gcloud` CLI

AWS S3 からのイベントドリブン転送を設定する