ソースへのアクセスを構成する: Amazon S3

Amazon S3 バケットへのアクセスは、次のいずれかの方法で設定できます。

アクセス認証情報
フェデレーション ID

サポートされるリージョン

Storage Transfer Service は、次の Amazon S3 リージョンからデータを転送できます。 af-south-1、ap-east-1、ap-northeast-1、 ap-northeast-2、ap-northeast-3、ap-south-1、 ap-south-2、ap-southeast-1、ap-southeast-2、 ap-southeast-3、ca-central-1、eu-central-1、 eu-central-2、eu-north-1、eu-south-1、 eu-south-2、eu-west-1、eu-west-2、eu-west-3、 me-central-1、me-south-1、sa-east-1、us-east-1、 us-east-2、us-west-1、us-west-2

必要な権限

Storage Transfer Service を使用して Amazon S3 バケットからデータを移動するには、ユーザーアカウントまたはフェデレーション ID のロールにバケットに対する適切な権限が必要です。

権限	説明	使用
`s3:ListBucket`	Storage Transfer Service にバケット内のオブジェクトの一覧表示を許可します。	常に必要。
`s3:GetObject`	Storage Transfer Service にバケット内のオブジェクトの読み取りを許可します。	すべてのオブジェクトを現在のバージョンに転送する場合は必須です。マニフェストでオブジェクトのバージョンが指定されている場合は、代わりに `s3:GetObjectVersion` を使用します。
`s3:GetObjectVersion`	Storage Transfer Service にバケット内の特定のバージョンのオブジェクトの読み取りを許可します。	マニフェストでオブジェクトのバージョンが指定されている場合は必須です。それ以外の場合は、`s3:GetObject` を使用します。
`s3:DeleteObject`	Storage Transfer Service にバケット内のオブジェクトの削除を許可します。	`deleteObjectsFromSourceAfterTransfer` を `true` に設定する場合は必須です。

アクセス認証情報を使用して認証する

アクセスキー ID と秘密鍵を使用して AWS を認証するには:

AWS Identity and Access Management（AWS IAM）ユーザーを transfer-user などのわかりやすい名前で作成します。
AWS アクセスタイプで [Access key - Programmatic access] を選択します。
次のいずれかのロールをユーザーに付与します。
- AmazonS3ReadOnlyAccess。ソースに対する読み取り専用アクセス権を付与します。これにより転送は可能になりますが、転送完了後にソースでオブジェクトを削除することはできません。
- AmazonS3FullAccess。転送時にオブジェクトを削除するように構成されている場合に使用します。
- 上の必要な権限の表にある適切な権限を持つカスタムロール。最小権限の JSON は次の例のようになります。
```
{
  "Version": "2012-10-17",
  "Statement": [
      {
          "Effect": "Allow",
          "Action": [
              "s3:GetObject",
              "s3:ListBucket"
          ],
          "Resource": [
              "arn:aws:s3:::AWS_BUCKET_NAME/*",
              "arn:aws:s3:::AWS_BUCKET_NAME"
          ]
      }
  ]
}
```
ユーザーが正常に作成されたら、アクセスキー ID とシークレットアクセスキーをメモします。

アクセスキー ID とシークレットアクセスキーを Storage Transfer Service に渡す方法は、転送を開始するために使用するインターフェースによって異なります。

Cloud コンソール

値を転送ジョブ作成フォームに直接入力します。

開始するには、転送を作成するをご覧ください。

gcloud CLI

次の形式の JSON ファイルを作成します。

{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}

source-creds-file フラグを使用して、ファイルの場所を gcloud transfer jobs create コマンドに渡します。

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/KEYFILE.JSON

REST API

transferSpec オブジェクトに awsS3DataSource オブジェクトの一部として鍵情報を含める必要があります。

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "AWS_SOURCE_NAME",
    "awsAccessKey": {
      "accessKeyId": "AWS_ACCESS_KEY_ID",
      "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
    }
  },
  "gcsDataSink": {
    "bucketName": "GCS_SINK_NAME"
  }
}

クライアントライブラリ

転送を作成するページの例をご覧ください。

アクセス認証情報を Secret Manager に保存する

Secret Manager は、パスワードなどの機密データを保存して管理する安全なサービスです。強力な暗号化、ロールベースアクセス制御、監査ロギングによりシークレットを保護します。

Storage Transfer Service では、Secret Manager を利用して AWS のアクセス認証情報を保護できます。Secret Manager に認証情報を読み込み、シークレットリソース名を Storage Transfer Service に渡します。

API を有効にする

Secret Manager API を有効にします。

API を有効にする

追加の権限を構成する

ユーザー権限

シークレットを作成するユーザーには、次のロールが必要です。

Secret Manager 管理者（roles/secretmanager.admin）

ロールを付与する方法を確認する。

サービスエージェントの権限

Storage Transfer Service のサービスエージェントには、次の IAM ロールが必要です。

Secret Manager のシークレットアクセサー（roles/secretmanager.secretAccessor）

サービスエージェントにロールを付与するには:

Cloud コンソール

手順に沿ってサービスエージェントのメールアドレスを取得します。
Google Cloud コンソールで [IAM] ページに移動します。

[IAM] に移動
[アクセス権を付与] をクリックします。
[新しいプリンシパル] テキストボックスに、サービスエージェントのメールアドレスを入力します。
[ロールを選択] プルダウンで、「Secret Manager のシークレットアクセサー」を検索して選択します。
[保存] をクリックします。

gcloud

gcloud projects add-iam-policy-binding コマンドを使用して、サービスエージェントに IAM ロールを追加します。

手順に沿ってサービスエージェントのメールアドレスを取得します。

コマンドラインで次のコマンドを入力します。

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member='serviceAccount:SERVICE_AGENT_EMAIL' \
  --role='roles/secretmanager.secretAccessor'

シークレットを作成する

Secret Manager でシークレットを作成します。

Cloud コンソール

Google Cloud コンソールの [Secret Manager] ページに移動します。

Secret Manager に移動
[シークレットの作成] をクリックします。
名前を入力します。
[シークレットの値] テキストボックスに、次の形式で認証情報を入力します。
```
{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}
```
[シークレットの作成] をクリックします。
シークレットが作成されたら、シークレットの完全なリソース名をメモします。
1. [概要] タブを選択します。
2. [リソース ID] の値をコピーします。これには次の形式が使用されます。
  
  projects/1234567890/secrets/SECRET_NAME

gcloud

gcloud コマンドラインツールを使用して新しいシークレットを作成するには、JSON 形式の認証情報を gcloud secrets create コマンドに渡します。

printf '{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}' | gcloud secrets create SECRET_NAME --data-file=-

シークレットの完全なリソース名を取得します。

gcloud secrets describe SECRET_NAME

レスポンスの name の値をメモします。これには次の形式が使用されます。

projects/1234567890/secrets/SECRET_NAME

シークレットの作成と管理の詳細については、Secret Manager のドキュメントをご覧ください。

シークレットをジョブ作成コマンドに渡す

Storage Transfer Service で Secret Manager を使用するには、REST API を使用して転送ジョブを作成する必要があります。

Secret Manager リソース名を transferSpec.awsS3DataSource.credentialsSecret フィールドの値として渡します。

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "description": "Transfer with Secret Manager",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_BUCKET_NAME",
          "credentialsSecret": "SECRET_RESOURCE_ID",
      },
      "gcsDataSink": {
          "bucketName": "CLOUD_STORAGE_BUCKET_NAME"
      }
  }
}

フェデレーション ID を使用して認証する

フェデレーション ID を使用して AWS を認証するには:

AWS で新しい IAM ロールを作成します。
信頼できるエンティティタイプとして [Custom trust policy] を選択します。

次の信頼ポリシーをコピーして貼り付けます。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Federated": "accounts.google.com"
      },
      "Action": "sts:AssumeRoleWithWebIdentity",
      "Condition": {
        "StringEquals": {
          "accounts.google.com:sub": "SUBJECT_ID"
        }
      }
    }
  ]
}

SUBJECT_ID は、Storage Transfer Service の使用を開始するときに自動的に作成される、Google 管理のサービスアカウントの subjectID に置き換えます。subjectID を取得するには:
1. googleServiceAccounts.get リファレンスページに移動します。
  
  [Try this method] というインタラクティブパネルが開きます。
2. パネルの [Request parameters] にプロジェクト ID を入力します。ここで指定するプロジェクトは、Storage Transfer Service の管理に使用しているプロジェクトである必要があります。
3. [実行] をクリックします。レスポンスに subjectId が含まれている。
次のいずれかの権限ポリシーをロールに付与します。
- AmazonS3ReadOnlyAccess。ソースへの読み取り専用アクセスを提供します。これにより転送は可能になりますが、転送完了後にソースでオブジェクトを削除することはできません。
- AmazonS3FullAccess。転送時にオブジェクトを削除するように構成されている場合に使用します。
- 上の必要な権限の表にある適切な権限を持つカスタムロール。最小権限の JSON は次の例のようになります。
```
{
  "Version": "2012-10-17",
  "Statement": [
      {
          "Effect": "Allow",
          "Action": [
              "s3:GetObject",
              "s3:ListBucket"
          ],
          "Resource": [
              "arn:aws:s3:::AWS_BUCKET_NAME/*",
              "arn:aws:s3:::AWS_BUCKET_NAME"
          ]
      }
  ]
}
```
ロールに名前を割り当てて、ロールを作成します。
作成したら、ロールの詳細を表示して、Amazon リソース名（ARN）を取得します。この値をメモします。形式は arn:aws:iam::AWS_ACCOUNT:role/ROLE_NAME です。

ARN を Storage Transfer Service に渡す方法は、転送の開始に使用するインターフェースによって異なります。

Cloud コンソール

ARN を転送ジョブ作成フォームに直接入力します。

開始するには、転送を作成するをご覧ください。

gcloud CLI

次の形式の JSON ファイルを作成します。

{
  "roleArn": "ARN"
}

source-creds-file フラグを使用して、ファイルの場所を gcloud transfer jobs create コマンドに渡します。

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/ARNFILE.JSON

REST API

transferSpec オブジェクトに awsS3DataSource オブジェクトの一部として ARN 情報を含める必要があります。

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "AWS_SOURCE_NAME",
    "roleArn": "ARN"
  },
  "gcsDataSink": {
    "bucketName": "GCS_SINK_NAME"
  }
}

クライアントライブラリ

転送を作成するページの例をご覧ください。

IP の制限

AWS プロジェクトでストレージへのアクセスに IP 制限を使用する場合は、Storage Transfer Service ワーカーで使用される IP 範囲を許可 IP リストに追加する必要があります。

これらの IP 範囲は変更される可能性があるため、永続的なアドレスに現在の値を JSON ファイルとして公開します。

https://www.gstatic.com/storage-transfer-service/ipranges.json

ファイルに新しい範囲が追加された場合、Storage Transfer Service からのリクエストに対してその範囲が使用されるまでに少なくとも 7 日間はかかります。

セキュリティ構成を最新の状態に保つため、少なくとも週に 1 回、このドキュメントからデータを pull することをおすすめします。JSON ファイルから IP 範囲を取得する Python スクリプトの例については、Virtual Private Cloud のドキュメントをご覧ください。

これらの範囲を許可された IP として追加するには、AWS S3 のドキュメントの特定の IP アドレスに基づいてアクセスを管理するで説明されているように、バケットポリシーで Condition フィールドを使用します。

ソースへのアクセスを構成する: Amazon S3

サポートされるリージョン

必要な権限

アクセス認証情報を使用して認証する

Cloud コンソール

gcloud CLI

REST API

クライアント ライブラリ

アクセス認証情報を Secret Manager に保存する

API を有効にする

追加の権限を構成する

ユーザー権限

サービス エージェントの権限

Cloud コンソール

gcloud

シークレットを作成する

Cloud コンソール

gcloud

シークレットをジョブ作成コマンドに渡す

フェデレーション ID を使用して認証する

Cloud コンソール

gcloud CLI

REST API

クライアント ライブラリ

IP の制限

クライアントライブラリ

サービスエージェントの権限

クライアントライブラリ