Console を使ったデータ転送の作成と管理

このページでは、Google Cloud Console を使用して転送ジョブを設定、管理する方法を説明します。Storage Transfer Service のプログラマティックな操作については、Storage Transfer Service クライアントの作成プログラムによる転送の作成と管理をご覧ください。

始める前に

転送ジョブを作成する前に、次のことを行います。

  1. 次のいずれかのロールが割り当てられ、Storage Transfer Service にアクセスできることを確認します。

    • roles/owner
    • roles/editor
    • roles/storagetransfer.admin
    • roles/storagetransfer.user
    • 少なくとも roles/storagetransfer.user 権限を含むカスタムロール。

      プロジェクト レベルの権限の追加と表示の詳細については、プロジェクトでの IAM 権限の使用をご覧ください。

    詳細については、アクセスのトラブルシューティングをご覧ください。

    Storage Transfer Service の IAM のロールと権限の詳細については、IAM のロールと権限を使用したアクセス制御をご覧ください。

  2. データソースとデータシンクへのアクセスの構成

転送ジョブの設定

  1. Google Cloud Console で [転送] ページを開きます。

    [転送] ページを開く

  2. [転送ジョブを作成] をクリックします。

    以下のタブを選択して、設定手順を確認してください。ソースが Cloud Storage バケット、Amazon S3 バケット、Microsoft Azure Storage Blob、または URL リストのいずれかによって手順が異なります。

Cloud Storage

  1. [ソースの選択] で、[Google Cloud Storage バケット] を選択します。

  2. [Cloud Storage バケット] テキスト ボックスで、転送元のバケット名(接頭辞 gs:// なしで)を入力するか、バケットを参照して選択します。

    別のプロジェクトの Cloud Storage バケットを指定するには、[Cloud Storage バケット] テキスト ボックスに名前を正確に入力します。

  3. 転送元のファイルのサブセットを指定するには、バケット項目の下にある [ファイル フィルタを指定する] をクリックします。ファイル名の接頭辞とファイルを作成してからの経過期間に基づいて、ファイルを転送元として指定したり、転送元から除外したりできます。詳しくは、転送する転送元オブジェクトの選択をご覧ください。

  4. [転送先の選択] で、シンクバケットを選択するか、新しく作成します。

    既存のバケットを選択するには、バケットの名前(接頭辞 gs:// を除く)を入力するか、[参照] をクリックしてそのバケットを参照します。

    新しいバケットにファイルを転送するには、[参照] をクリックして、[新しいバケット] アイコンをクリックします。

  5. 必要に応じて、オプションを上書きまたは削除します。

    デフォルトでは、Storage Transfer Service は転送元とシンクのバージョンが異なるオブジェクトのみを上書きします。その他のオブジェクトが上書きまたは削除されることはありません。[転送オプション] で追加の上書きまたは削除のオプションを有効にします。オプションの詳細については、API リファレンスの TransferOptions をご覧ください。

  6. [転送の設定] で、転送ジョブを今すぐ実行するか(1 回限り)、地域のタイムゾーンの時刻に毎日実行するようにスケジュール設定します。

  7. (省略可)[説明] で転送ジョブ名を編集します。後で転送ジョブを簡単に区別できるように、他と重複しない名前を使用してください。

  8. [作成] をクリックします。

Amazon S3

  1. [ソースの選択] で、[Amazon S3 バケット] を選択します。

  2. [Amazon S3 バケット] テキスト ボックスに転送元の Amazon S3 バケット名を指定します。

    このバケット名は、AWS Management Console に表示される名前です。

  3. それぞれのテキスト ボックスに、Amazon S3 バケットに関連付けられているアクセスキー ID秘密鍵を入力します。

  4. 転送元のファイルのサブセットを指定するには、バケット項目の下にある [ファイル フィルタを指定する] をクリックします。ファイル名の接頭辞とファイルを作成してからの経過期間に基づいて、ファイルを転送元として指定したり、転送元から除外したりできます。詳しくは、転送する転送元オブジェクトの選択をご覧ください。

  5. [転送先の選択] で、シンクバケットを選択するか、新しく作成します。

    既存のバケットを選択するには、バケットの名前(接頭辞 gs:// を除く)を入力するか、[参照] をクリックしてそのバケットを参照します。

    新しいバケットにファイルを転送するには、[参照] をクリックして、[新しいバケット] アイコンをクリックします。

  6. 必要に応じて、オプションを上書きまたは削除します。

    デフォルトでは、オブジェクトを転送すると、転送元とシンクのバージョンが異なっているオブジェクトのみが上書きされます。その他のオブジェクトが上書きまたは削除されることはありません。[転送オプション] で追加の上書きまたは削除のオプションを有効にします。オプションの詳細については、API リファレンスの TransferOptions をご覧ください。

  7. [転送の設定] で、転送ジョブを今すぐ実行するか(1 回限り)、指定した現地時間に毎日実行するようにスケジュール設定します。

  8. (省略可)[説明] で転送ジョブ名を編集します。後で転送ジョブを簡単に区別できるように、他と重複しない名前を使用してください。

  9. [作成] をクリックします。

Microsoft Azure Blob Storage

  1. [ソースの選択] で、[Microsoft Azure ストレージ コンテナ] を選択します。

  2. 以下を指定します。

    1. ストレージ アカウント名 - ソースの Microsoft Azure Storage アカウント名。

      ストレージ アカウント名は、Microsoft Azure Storage ポータルの [すべてのサービス] > [ストレージ] > [ストレージ アカウント] に表示されます。

    2. コンテナ名 - Microsoft Azure Storage のコンテナ名。

      コンテナ名は、Microsoft Azure Storage ポータルの [ストレージ エクスプローラー] > [BLOB コンテナー] に表示されます。

    3. Shared Access Signature(SAS) - 格納されているアクセス ポリシーから作成された Microsoft Azure Storage SAS のトークン。詳細については、Shared Access Signature(SAS)を使用した Azure Storage リソースへのアクセスの制限を付与するをご覧ください。

      SAS トークンのデフォルトの有効期限は 8 時間です。SAS トークンを作成する際は、転送を正常に完了できるように、十分な有効期限を設定してください。
  3. (省略可)[ファイル フィルタを指定する] をクリックして、転送するファイル フィルタを指定します。

URL リスト

  1. [ソースの選択] で、[オブジェクト URL のリスト] を選択します。

  2. [TSV ファイルの URL] で、タブ区切りの値(TSV)ファイルの URL を指定して、[続行] をクリックします。TSV ファイルの作成方法については、URL リストの作成をご覧ください。

  3. [転送先の選択] で、シンクバケットを選択するか、新しく作成します。

    既存のバケットを選択するには、バケットの名前(接頭辞 gs:// を除く)を入力するか、[参照] をクリックしてそのバケットを参照します。

    新しいバケットにファイルを転送するには、[参照] をクリックして、[新しいバケット] アイコンをクリックします。

  4. 必要に応じて、オプションを上書きまたは削除します。

    デフォルトでは、オブジェクトを転送すると、転送元とシンクのバージョンが異なっているオブジェクトのみが上書きされます。その他のオブジェクトが上書きまたは削除されることはありません。[転送オプション] で追加の上書きまたは削除のオプションを有効にします。オプションの詳細については、API リファレンスの TransferOptions をご覧ください。

  5. [転送の設定] で、転送ジョブを今すぐ実行するか(1 回限り)、指定した現地時間に毎日実行するようにスケジュール設定します。

  6. (省略可)[説明] で転送ジョブ名を編集します。後で転送ジョブを簡単に区別できるように、他と重複しない名前を使用してください。

  7. [作成] をクリックします。

ローカルデータ

Storage Transfer Service を使用してオンライン データを Cloud Storage に転送できます。Cloud Storage バケットをローカルデータに同期するには、gsutil rsync を使用します。

転送ジョブの編集

設定を編集できる転送ジョブは次のとおりです。

  • 停止されていない定期的な転送ジョブ
  • 実行が開始されていない 1 回限りの転送ジョブ

このいずれかの条件を満たしている場合は、次のように構成を編集します。

  1. Google Cloud Console で [転送] ページを開きます。

    [転送] ページを開く

  2. 転送ジョブ名をクリックして、詳細を表示します。

  3. [設定を編集] を選択し、転送の設定の説明に沿って操作します。

    現在の実行中の定期的な転送ジョブに対する変更は、次回転送ジョブが実行されたときに適用されます。

転送ジョブの履歴の表示

  1. Google Cloud Console で [転送] ページを開きます。

    [転送] ページを開く

  2. 転送ジョブ名をクリックして、詳細を表示します。

  3. [オペレーション] タブを選択します。

  4. エントリのリストで、転送オペレーションの開始日をクリックして、発生した可能性のあるエラーなどの詳細情報を表示します。

    1 回限りの転送ジョブは 1 回しか実行されないため、転送オペレーションの履歴エントリは 1 つだけです。

実行中の転送オペレーションの一時停止とキャンセル

実行中の転送オペレーションを一時停止またはキャンセルするには:

  1. Google Cloud Console で [転送] ページを開きます。

    [転送] ページを開く

  2. 転送ジョブ名をクリックして、詳細を表示します。

  3. [オペレーション] タブを選択します。

    エントリのリストのステータス列の右で、アクティブな転送オペレーションに一時停止(||)ボタンとキャンセル(X)ボタンがあります。

  4. 転送オペレーションを一時停止する場合は一時停止ボタンをクリックします。転送オペレーションを完全にキャンセルする場合は、キャンセル ボタンをクリックします。

  5. 転送オペレーションを一時停止した場合は、再開ボタン(►)をクリックすると転送オペレーションが続行されます。

    転送オペレーションをキャンセルすると、確認ウィンドウが表示されます。[転送をキャンセル] をクリックすると、転送のキャンセルが確定します。

スケジュール設定された転送ジョブや定期的な転送ジョブの削除

  1. Google Cloud Console で [転送] ページを開きます。

    [転送] ページを開く

  2. 削除する転送ジョブのチェックボックスをオンにします。

  3. 転送ジョブのリストの上にある [削除] をクリックします。

  4. 確認ウィンドウが表示されたら、[OK] をクリックします。

転送する転送元オブジェクトの選択

Storage Transfer Service には接頭辞が含まれており、これを使用して、データソースとして指定するファイルや、データソースから除外するファイルを選択できます。一般的に、接頭辞は、転送するオブジェクトを絞り込むための手段と考えることができます。包含接頭辞のみ、除外接頭辞のみ、または両方の接頭辞を使用できます。次のガイダンスは、Amazon S3、Microsoft Azure Blob Storage、および Cloud Storage のデータソースに適用されます。

  • 接頭辞の先頭はスラッシュにしないでください。たとえば、次のバケットパス s3://my-aws-bucket/logs/y=2015/requests.gz からの転送に requests.gz オブジェクトを含めるには、包括接頭辞に logs/y=2015/requests.gz を指定します。

  • 包含接頭辞と除外接頭辞を一緒に使用する場合、除外接頭辞は、包含接頭辞のいずれかの値を使って開始する必要があります。たとえば、a を包括接頭辞として指定する場合、有効な除外接頭辞は a/baaaabc です。

  • 除外接頭辞のみを使用する場合は、使用できる接頭辞に制限はありません。

  • 接頭辞を指定しないと、バケット内のすべてのオブジェクトが転送されます。

  • データソースまたはシンクバケット名のパス名は指定しないでください。たとえば、s3://my-aws-bucketgs://example-bucket は有効ですが、s3://my-aws-bucket/subfoldergs://example-bucket/files は無効です。パスを含めるには、包含接頭辞と除外接頭辞を使用します。

  • Storage Transfer Service では再マッピングはサポートされません。つまり、データソースのパス files/2015 をデータシンクの files/2016 にコピーすることはできません。

包含接頭辞と除外接頭辞の使い方の詳細については、API の includePrefixes フィールドと excludePrefixes フィールドの説明をご覧ください。

接頭辞に関する一般的な情報については、Amazon S3 ドキュメントのプレフィックスと区切り記号によるキーの階層的なリストか、Cloud Storage の Objects の list メソッドをご覧ください。

Amazon S3 の IAM ユーザーの作成

ここで説明する手順は、Amazon S3 バケットから Cloud Storage バケットへのデータ転送に使用できる、Amazon S3 認証情報の作成プロセスの概要を示しています。詳しくは、AWS アカウント内での IAM ユーザーの作成バケット ポリシーの例をご覧ください。

ユーザー認証情報に関するデータ保持ポリシーについては、ユーザー認証情報をご覧ください。

  1. AWS Identity and Access Management コンソールで、新しいユーザーを作成します。

  2. アクセス認証情報を書き留めるか、ダウンロードします。

    ダウンロードされた認証情報には、ユーザー名、アクセスキー ID、シークレット アクセスキーが含まれています。Cloud Storage での転送ジョブを設定する場合、必要なのはアクセスキー ID とシークレット アクセスキーだけです。

  3. 転送を完了するために必要な権限を含む管理ポリシーを IAM ユーザーに接続します。

    ソース オブジェクトを削除するように転送ジョブが構成されている場合は、AmazonS3FullAccess ポリシーを接続します。それ以外の場合は、AmazonS3ReadyOnlyAccess ポリシーを接続します。たとえば、IAM コンソールを介してユーザーに接続された AmazonS3FullAccess 管理ポリシーは次のようになります。

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "s3:*",
          "Resource": "*"
        }
      ]
    }
    
  4. 必要に応じて、管理ポリシーよりも制限が厳しいポリシーを作成します。

    たとえば、アクセスを Amazon S3 バケットだけに制限するポリシーを作成できます。詳しくは、バケット ポリシーの例をご覧ください。

次のステップ

Cloud Storage の操作方法を学習する。