Cloud Storage バケットへの接続

このページでは、機械学習データを保存し、トレーニングを出力する選択肢として Cloud Storage を紹介し、Cloud Storage 上のデータ オブジェクトに Cloud TPU からアクセスできるようにする方法について説明します。

始める前に

Cloud Storage バケットにアクセスするには、Cloud TPU サービス アカウントが必要です。

注: プロジェクトにサービス アカウントを設定すると、プロジェクトがアクティブな間はその設定が維持されるため、同じプロジェクトでトレーニングを実行するたびにサービス アカウントを設定する必要はありません。

1. プロジェクトの Cloud TPU サービス アカウントを作成します。

   gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
   

   このコマンドでは、Cloud TPU サービス アカウントを次の形式で返します。

   [e-mail]
   

   重要: このコマンドを実行すると、サービス エージェントが作成されます。これは、Google が管理する特別なタイプのサービス アカウントで、Google Cloud Console の [サービス アカウント] ページには一覧表示されません。

2. Cloud TPU クイックスタート ガイドまたは TPU の作成と削除に関するドキュメントの手順に従って、Google Cloud プロジェクトを構成し、Cloud TPU VM と TPU のリソースを作成します。

Cloud Storage へのデータの書き込み

注: Cloud Storage バケットは Cloud TPU を設定したロケーションと同じロケーション（リージョン）に設定します。ストレージ バケットの管理に使用できるすべてのオプションについては、バケットを作成するをご覧ください。

コンソール

1. Google Cloud コンソールの [Cloud Storage] ページに移動します。

   [Cloud Storage] ページに移動

2. 次のオプションを指定して新しいバケットを作成します。

   • 任意の一意な名前
   • デフォルトのストレージ クラス: Standard
   • ロケーション: us-central1

gsutil

1. Cloud Storage バケットの作成には、gsutil mb コマンドを使用します。

   gsutil mb -l region gs://bucket-name/

   ここで

   • region は、Cloud TPU を作成したリージョンです。例: us-central1。Cloud TPU は、次のリージョンで利用できます。

     米国

     Cloud TPU v2 およびプリエンプティブル v2	us-central1
     Cloud TPU v3 およびプリエンプティブル v3	us-central1
     Cloud TPU v4 およびプリエンプティブル v4	us-central2
     Cloud TPU v2 Pod	us-central1
     Cloud TPU v4 Pod	us-central2

     ヨーロッパ

     Cloud TPU v2 およびプリエンプティブル v2	europe-west4
     Cloud TPU v3 およびプリエンプティブル v3	europe-west4
     Cloud TPU v2 Pod	europe-west4
     Cloud TPU v3 Pod	europe-west4

     アジア太平洋

     Cloud TPU v2 およびプリエンプティブル v2

     asia-east1

   • bucket-name は、作成するバケットの名前です。

2. Cloud Storage バケットにファイルを書き込むには、gsutil cp コマンドを使用します。

   gsutil cp -r local-data-dir gs://bucket-name

   ここで、local-data-dir は、データへのローカルパスです。例: $HOME/your-data

Cloud TPU に Cloud Storage へのアクセス権の付与

Cloud TPU に Cloud Storage オブジェクトに対する読み取りと書き込みのアクセス権を付与する必要があります。そのためには、Cloud TPU で使用する Cloud TPU サービス アカウントに必要なアクセス権を付与する必要があります。Cloud TPU サービス アカウントを探して、必要なアクセス権を付与するには、次の手順を使用します。

Cloud TPU サービス アカウントを承認する

Cloud TPU に詳細な ACL を使用（推奨）

Cloud Storage にトレーニング データを保存する場合、Cloud TPU サービス アカウントにはバケットに対する読み取りと書き込みの権限が必要です。

コンソール

1. Cloud Storage のブラウザページに移動して、所有するバケットを表示します。

   Cloud Storage ブラウザに移動

2. ACL を変更するバケットを選択します。

3. [Permissions] タブを選択します。

4. Add を選択して新しい権限を追加し、New Principals 編集ボックスに完全なサービス アカウント名を入力します。

5. このバケットから読み取りを行う場合、リソースから読み取りを行う権限を TPU サービス アカウントに付与する必要があります。これは、サービス アカウントに Storage Legacy > Storage Legacy Bucket Reader ロールを付与することで行います。

6. このバケットへの書き込みを行う場合、リソースへの書き込みを行う権限を TPU サービス アカウントに付与する必要があります。これは、サービス アカウントに Storage Legacy > Storage Legacy Bucket Writer ロールを付与することで行います。

gsutil

1. このバケットから読み取りを行う場合、Cloud TPU サービス アカウントに読み取り権限を付与します。

    gsutil acl ch -u tpu-service-account:READER gs://bucket-name

2. このバケットへの書き込みを行う場合、Cloud TPU サービス アカウントに書き込み権限を付与します。

    gsutil acl ch -u tpu-service-account:WRITER gs://bucket-name

Cloud TPU に IAM 権限を使用（別の方法）

各バケットへのアクセスを明示的にホワイトリストに登録するのではなく、より広範な権限を付与する場合は、Identity Access Management（IAM）の Storage Admin ロールを Cloud TPU サービス アカウントに付与できます。

1. プロジェクトの IAM ページに移動します。

   IAM に移動

2. [+追加] ボタンをクリックして、プリンシパルをプロジェクトに追加します。

3. [プリンシパル] テキスト ボックスに Cloud TPU サービス アカウントの名前を入力します。

4. [役割] プルダウン リストをクリックします。

5. 次の役割を有効にします。

   • プロジェクト > 閲覧者

   • ストレージ > ストレージ管理者

Cloud Storage FUSE

Cloud Storage FUSE により、Cloud Storage バケットをマウントし、ローカル ファイル システムとしてアクセスできるようになります。これにより、標準のファイル システムのセマンティクスを使用して、バケット内のオブジェクトの読み取りと書き込みができます。

Cloud Storage FUSE の仕組みと、Cloud Storage FUSE オペレーションの Cloud Storage オペレーションへのマッピング方法について詳しくは、Cloud Storage FUSE のドキュメントをご覧ください。gcsfuse CLI をインストールし GitHub のバケットをマウントする方法など、Cloud Storage FUSE の使用方法の詳細を確認できます。

次のステップ

• Cloud Storage バケットの作成とこれらのバケットへのデータの書き込みの詳細については、Cloud Storage のドキュメントをご覧ください。
• サービス アカウントについて詳しくは、認証の概要をご覧ください。