ソースへのアクセスを構成する: Amazon S3

Amazon S3 バケットへのアクセスは、次のいずれかの方法で設定できます。

アクセス認証情報
フェデレーション ID

サポートされるリージョン

Storage Transfer Service は、次の Amazon S3 リージョンからデータを転送できます。 af-south-1、ap-east-1、ap-northeast-1、 ap-northeast-2、ap-northeast-3、ap-south-1、 ap-south-2、ap-southeast-1、ap-southeast-2、 ap-southeast-3、ca-central-1、eu-central-1、 eu-central-2、eu-north-1、eu-south-1、 eu-south-2、eu-west-1、eu-west-2、eu-west-3、 me-central-1、me-south-1、sa-east-1、us-east-1、 us-east-2、us-west-1、us-west-2

必要な権限

Storage Transfer Service を使用して Amazon S3 バケットからデータを移動するには、ユーザーアカウントまたはフェデレーション ID のロールにバケットに対する適切な権限が必要です。

権限	説明	使用
`s3:ListBucket`	Storage Transfer Service にバケット内のオブジェクトの一覧表示を許可します。	常に必要。
`s3:GetBucketLocation`	Storage Transfer Service にバケットのロケーションの取得を許可します。	常に必要。
`s3:GetObject`	Storage Transfer Service にバケット内のオブジェクトの読み取りを許可します。	すべてのオブジェクトを現在のバージョンに転送する場合は必須です。マニフェストでオブジェクトのバージョンが指定されている場合は、代わりに `s3:GetObjectVersion` を使用します。
`s3:GetObjectVersion`	Storage Transfer Service にバケット内の特定のバージョンのオブジェクトの読み取りを許可します。	マニフェストでオブジェクトのバージョンが指定されている場合は必須です。それ以外の場合は、`s3:GetObject` を使用します。
`s3:DeleteObject`	Storage Transfer Service にバケット内のオブジェクトの削除を許可します。	`deleteObjectsFromSourceAfterTransfer` を `true` に設定する場合は必須です。

アクセス認証情報を使用して認証する

アクセスキー ID と秘密鍵を使用して AWS を認証するには:

AWS Identity and Access Management（AWS IAM）ユーザーを transfer-user などのわかりやすい名前で作成します。
AWS アクセスタイプで [Access key - Programmatic access] を選択します。
次のいずれかのロールをユーザーに付与します。
- AmazonS3ReadOnlyAccess。ソースに対する読み取り専用アクセス権を付与します。これにより転送は可能になりますが、転送完了後にソースでオブジェクトを削除することはできません。
- AmazonS3FullAccess。転送時にオブジェクトを削除するように構成されている場合に使用します。
- 上の必要な権限の表にある適切な権限を持つカスタムロール。最小権限の JSON は次の例のようになります。
```
{
  "Version": "2012-10-17",
  "Statement": [
      {
          "Effect": "Allow",
          "Action": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:GetBucketLocation"
          ],
          "Resource": [
              "arn:aws:s3:::AWS_BUCKET_NAME/*",
              "arn:aws:s3:::AWS_BUCKET_NAME"
          ]
      }
  ]
}
```
ユーザーが正常に作成されたら、アクセスキー ID とシークレットアクセスキーをメモします。

アクセスキー ID とシークレットアクセスキーを Storage Transfer Service に渡す方法は、転送を開始するために使用するインターフェースによって異なります。

Cloud コンソール

値を転送ジョブ作成フォームに直接入力します。

開始するには、転送を作成するをご覧ください。

gcloud CLI

次の形式の JSON ファイルを作成します。

{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}

source-creds-file フラグを使用して、ファイルの場所を gcloud transfer jobs create コマンドに渡します。

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/KEYFILE.JSON

REST API

transferSpec オブジェクトに awsS3DataSource オブジェクトの一部として鍵情報を含める必要があります。

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "AWS_SOURCE_NAME",
    "awsAccessKey": {
      "accessKeyId": "AWS_ACCESS_KEY_ID",
      "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
    }
  },
  "gcsDataSink": {
    "bucketName": "GCS_SINK_NAME"
  }
}

クライアントライブラリ

転送を作成するページの例をご覧ください。

フェデレーション ID を使用して認証する

フェデレーション ID を使用して AWS を認証するには:

AWS で新しい IAM ロールを作成します。
信頼できるエンティティタイプとして [Custom trust policy] を選択します。

次の信頼ポリシーをコピーして貼り付けます。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Federated": "accounts.google.com"
      },
      "Action": "sts:AssumeRoleWithWebIdentity",
      "Condition": {
        "StringEquals": {
          "accounts.google.com:sub": "SUBJECT_ID"
        }
      }
    }
  ]
}

SUBJECT_ID は、Storage Transfer Service の使用を開始するときに自動的に作成される、Google 管理のサービスアカウントの subjectID に置き換えます。subjectID を取得するには:
1. googleServiceAccounts.get リファレンスページに移動します。
  
  [Try this method] というインタラクティブパネルが開きます。
2. パネルの [Request parameters] にプロジェクト ID を入力します。ここで指定するプロジェクトは、Storage Transfer Service の管理に使用しているプロジェクトである必要があります。
3. [実行] をクリックします。レスポンスに subjectId が含まれている。
次のいずれかの権限ポリシーをロールに付与します。
- AmazonS3ReadOnlyAccess。ソースへの読み取り専用アクセスを提供します。これにより転送は可能になりますが、転送完了後にソースでオブジェクトを削除することはできません。
- AmazonS3FullAccess。転送時にオブジェクトを削除するように構成されている場合に使用します。
- 上の必要な権限の表にある適切な権限を持つカスタムロール。最小権限の JSON は次の例のようになります。
```
{
  "Version": "2012-10-17",
  "Statement": [
      {
          "Effect": "Allow",
          "Action": [
              "s3:GetObject",
              "s3:ListBucket",
              "s3:GetBucketLocation"
          ],
          "Resource": [
              "arn:aws:s3:::AWS_BUCKET_NAME/*",
              "arn:aws:s3:::AWS_BUCKET_NAME"
          ]
      }
  ]
}
```
ロールに名前を割り当てて、ロールを作成します。
作成したら、ロールの詳細を表示して、Amazon リソース名（ARN）を取得します。この値をメモします。形式は arn:aws:iam::AWS_ACCOUNT:role/ROLE_NAME です。

ARN を Storage Transfer Service に渡す方法は、転送の開始に使用するインターフェースによって異なります。

Cloud コンソール

ARN を転送ジョブ作成フォームに直接入力します。

開始するには、転送を作成するをご覧ください。

gcloud CLI

次の形式の JSON ファイルを作成します。

{
  "roleArn": "ARN"
}

source-creds-file フラグを使用して、ファイルの場所を gcloud transfer jobs create コマンドに渡します。

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/ARNFILE.JSON

REST API

transferSpec オブジェクトに awsS3DataSource オブジェクトの一部として ARN 情報を含める必要があります。

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "AWS_SOURCE_NAME",
    "roleArn": "ARN"
  },
  "gcsDataSink": {
    "bucketName": "GCS_SINK_NAME"
  }
}

クライアントライブラリ

転送を作成するページの例をご覧ください。

IP の制限

AWS プロジェクトでストレージへのアクセスに IP 制限を使用する場合は、Storage Transfer Service ワーカーで使用される IP 範囲を許可 IP リストに追加する必要があります。

これらの IP 範囲は変更される可能性があるため、永続的なアドレスに現在の値を JSON ファイルとして公開します。

https://www.gstatic.com/storage-transfer-service/ipranges.json

ファイルに新しい範囲が追加された場合、Storage Transfer Service からのリクエストに対してその範囲が使用されるまでに少なくとも 7 日間はかかります。

セキュリティ構成を最新の状態に保つため、少なくとも週に 1 回、このドキュメントからデータを pull することをおすすめします。JSON ファイルから IP 範囲を取得する Python スクリプトの例については、Virtual Private Cloud のドキュメントをご覧ください。

これらの範囲を許可された IP として追加するには、AWS S3 のドキュメントの特定の IP アドレスに基づいてアクセスを管理するで説明されているように、バケットポリシーで Condition フィールドを使用します。

ソースへのアクセスを構成する: Amazon S3

サポートされるリージョン

必要な権限

アクセス認証情報を使用して認証する

Cloud コンソール

gcloud CLI

REST API

クライアント ライブラリ

フェデレーション ID を使用して認証する

Cloud コンソール

gcloud CLI

REST API

クライアント ライブラリ

IP の制限

クライアントライブラリ

クライアントライブラリ