Vertex AI Pipelines 用の Google Cloud プロジェクトの構成

Vertex AI Pipelines を使用して ML パイプラインをオーケストレートする前に、Google Cloud プロジェクトを設定する必要があります。一部のリソース（Vertex ML Metadata で使用されるメタデータストアなど）は、パイプラインの初回実行時に Google Cloud プロジェクトに作成されます。

以下の手順で Vertex AI Pipelines 用のプロジェクトを構成します。

Google Cloud プロジェクトを作成して、Vertex AI Pipelines で使用できるように構成します。
サービスアカウントを指定しないと、Vertex AI Pipelines は Compute Engine のデフォルトのサービスアカウントを使用してパイプラインを実行します。Compute Engine のデフォルトのサービスアカウントの詳細については、Compute Engine のデフォルトのサービスアカウントの使用をご覧ください。

パイプラインを実行するサービスアカウントを作成し、パイプラインの実行に必要な Google Cloud リソースに対するきめ細かな権限をアカウントに付与することをおすすめします。
Vertex AI Pipelines は Cloud Storage を使用して、パイプライン実行のアーティファクトを保存します。Cloud Storage バケットを作成し、このバケットへのアクセス権をサービスアカウントに付与します。
Vertex AI Pipelines は、Vertex ML Metadata を使用して、パイプライン実行によって作成されたメタデータを保存します。パイプラインを初めて実行するときに、プロジェクトのメタデータストアが存在しない場合、Vertex AI はプロジェクトのメタデータストアを作成します。

顧客管理の暗号鍵（CMEK）でデータを暗号化する場合は、パイプラインを実行する前に CMEK 鍵を使用してメタデータストアを手動で作成できます。プロジェクトに既存のデフォルトメタデータストアが存在しない場合は、Vertex AI はパイプラインの初回実行時に使用された CMEK 鍵を使用してプロジェクトのメタデータストアを作成します。メタデータストアが作成されると、パイプラインの実行で使用される CMEK 鍵とは異なる CMEK 鍵が使用されます。

Google Cloud プロジェクトを設定する

次の手順で Google Cloud プロジェクトを作成し、Vertex AI Pipelines で使用できるように構成します。

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the Vertex AI, Compute Engine, and Cloud Storage APIs.

Enable the APIs

Install the Google Cloud CLI.

To initialize the gcloud CLI, run the following command:

gcloud init

Update and install gcloud components:

gcloud components update
gcloud components install beta

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the Vertex AI, Compute Engine, and Cloud Storage APIs.

Enable the APIs

Install the Google Cloud CLI.

To initialize the gcloud CLI, run the following command:

gcloud init

Update and install gcloud components:

gcloud components update
gcloud components install beta

きめ細かい権限を持つサービスアカウントを構成する

パイプラインを実行するときに、サービスアカウントを指定できます。パイプライン実行は、このサービスアカウントの権限で機能します。

サービスアカウントを指定しないと、パイプライン実行で Compute Engine のデフォルトのサービスアカウントが使用されます。Compute Engine のデフォルトのサービスアカウントの詳細については、Compute Engine のデフォルトのサービスアカウントの使用をご覧ください。

以下の手順でサービスアカウントを作成して、Google Cloud リソースに対するきめ細かい権限を付与します。
1. 次のコマンドを実行して、サービスアカウントを作成します。
```
gcloud iam service-accounts create SERVICE_ACCOUNT_ID \
    --description="DESCRIPTION" \
    --display-name="DISPLAY_NAME" \
    --project=PROJECT_ID
```
  次の値を置き換えます。
  - SERVICE_ACCOUNT_ID: サービスアカウントの ID。
  - DESCRIPTION: （省略可）サービスアカウントの説明。
  - DISPLAY_NAME: このサービスアカウントの表示名。
  - PROJECT_ID: サービスアカウントを作成するプロジェクト。
  詳しくは、サービスアカウントの作成をご覧ください。
2. Vertex AI へのアクセス権をサービスアカウントに付与します。アクセス権の変更が反映されるまでに時間がかかることがあります。詳細については、アクセス権の変更の伝播をご覧ください。
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="serviceAccount:SERVICE_ACCOUNT_ID@PROJECT_ID.iam.gserviceaccount.com" \
    --role="roles/aiplatform.user"
```
  次の値を置き換えます。
  - PROJECT_ID: サービスアカウントが作成されたプロジェクト。
  - SERVICE_ACCOUNT_ID: サービスアカウントの ID。
  注: Vertex AI Pipelines を使用してパイプラインを実行するために必要な権限の最小セットは、aiplatform.metadataStores.get、storage.buckets.get、storage.objects.create、storage.objects.get です。新しいプロジェクトでパイプラインを初めて実行する場合は、aiplatform.metadataStores.create 権限も追加する必要があります。最小限の権限でパイプラインを実行するには、Identity and Access Management を使用してこれらの権限を持つカスタムロールを作成します。さらに、そのカスタムロールに、roles/aiplatform.user ではなく、サービスアカウントのアクセス権を付与します。
3. Artifact Registry を使用して、コンテナイメージと Kubeflow Pipelines テンプレートをホストできます。
  
  Artifact Registry の詳細については、Artifact Registry のドキュメントをご覧ください。
4. パイプラインで使用する Google Cloud リソースへのアクセス権をサービスアカウントに付与します。
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="serviceAccount:SERVICE_ACCOUNT_ID@PROJECT_ID.iam.gserviceaccount.com" \
    --role="ROLE_NAME"
```
  次の値を置き換えます。
  - PROJECT_ID: サービスアカウントが作成されたプロジェクト。
  - SERVICE_ACCOUNT_ID: サービスアカウントの ID。
  - ROLE_NAME: このサービスアカウントに付与する Identity and Access Management のロール。
5. このサービスアカウントを使用して Vertex AI Pipelines でパイプラインを実行するには、次のコマンドを実行して、サービスアカウントの roles/iam.serviceAccountUser ロールをユーザーアカウントに付与します。
```
gcloud iam service-accounts add-iam-policy-binding \
    SERVICE_ACCOUNT_ID@PROJECT_ID.iam.gserviceaccount.com \
    --member="user:USER_EMAIL" \
    --role="roles/iam.serviceAccountUser"
```
  次の値を置き換えます。
  - SERVICE_ACCOUNT_ID: サービスアカウントの ID。
  - PROJECT_ID: サービスアカウントが作成されたプロジェクト。
  - USER_EMAIL: このサービスアカウントとしてパイプラインを実行するユーザーのメールアドレス。
Compute Engine のデフォルトのサービスアカウントを使用してパイプラインを実行する場合は、Compute Engine API を有効にして、デフォルトのサービスアカウントに Vertex AI へのアクセス権を付与します。アクセス権の変更が反映されるまでに時間がかかることがあります。詳細については、アクセス権の変更の伝播をご覧ください。
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
    --role="roles/aiplatform.user"
```
次の値を置き換えます。
- PROJECT_ID: デフォルトのサービスアカウントが作成されたプロジェクト。
- PROJECT_NUMBER: デフォルトのサービスアカウントが作成されたプロジェクト番号。
Enable the API

パイプラインアーティファクト用の Cloud Storage バケットを構成する

Vertex AI Pipelines は、Cloud Storage を使用してパイプライン実行のアーティファクトを保存します。次の手順で Cloud Storage バケットを作成し、そのバケット内のオブジェクトに対する読み取り / 書き込みアクセス権をサービスアカウント（または Compute Engine のデフォルトのサービスアカウント）に付与します。

次のコマンドを実行して、パイプラインを実行するリージョンに Cloud Storage バケットを作成します。
```
gcloud storage buckets create gs://BUCKET_NAME --location=BUCKET_LOCATION --project=PROJECT_ID
```
次の値を置き換えます。
- PROJECT_ID: バケットが関連付けられているプロジェクトを指定します。
- BUCKET_LOCATION: バケットのロケーションを指定します（例: US-CENTRAL1）。
- BUCKET_NAME: バケットに付ける名前。命名の要件に従う必要があります。例: my-bucket
詳しくは、Cloud Storage バケットの作成をご覧ください。
前の手順で作成したバケット内のパイプラインアーティファクトに対する読み取り / 書き込み権限をサービスアカウントに付与するには、次のコマンドを実行します。
```
gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \
--member=serviceAccount:SERVICE_ACCOUNT_ID@PROJECT_ID.iam.gserviceaccount.com \
--role=roles/storage.objectUser
```
次の値を置き換えます。
- SERVICE_ACCOUNT_ID: サービスアカウントの ID。
- PROJECT_ID: サービスアカウントが作成されたプロジェクト。
- BUCKET_NAME: サービスアカウントにアクセス権を付与するバケットの名前。
Compute Engine のデフォルトのサービスアカウントを使用してパイプラインを実行する場合は、gcloud iam service-accounts list コマンドを実行して、アカウントのプロジェクト番号を確認します。
```
gcloud iam service-accounts list
```
Compute Engine のデフォルトのサービスアカウントの名前は PROJECT_NUMBER-compute@developer.gserviceaccount.com です。

次のコマンドを実行して、前の手順で作成したバケット内のパイプラインアーティファクトに対する読み取り / 書き込み権限を Compute Engine のデフォルトサービスアカウントに付与します。
```
gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \
--member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
--role=roles/storage.objectUser
```
次の値を置き換えます。
- PROJECT_NUMBER: Compute Engine のデフォルトのサービスアカウントのプロジェクト番号。
- BUCKET_NAME: サービスアカウントにアクセス権を付与するバケットの名前。
詳しくは、Cloud Storage バケットへのアクセスの制御をご覧ください。

CMEK を使用するメタデータストアの作成（省略可）

次の手順で CMEK を作成し、この CMEK を使用する Vertex ML Metadata メタデータストアを設定します。

Cloud Key Management Service を使用して顧客管理の暗号鍵を構成します。
次の REST 呼び出しを行うと、CMEK を使用してプロジェクトのデフォルトのメタデータストアを作成できます。

リクエストのデータを使用する前に、次のように置き換えます。
- LOCATION_ID: 使用するリージョン。
- PROJECT_ID: 実際のプロジェクト ID。
- KEY_RING: 暗号鍵が存在する Cloud Key Management Service のキーリングの名前。
- KEY_NAME: このメタデータストアに使用する暗号鍵の名前。
HTTP メソッドと URL:
```
POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores?metadata_store_id=default
```
リクエストの本文（JSON）:
```
{
  "encryption_spec": {
    "kms_key_name": "projects/PROJECT_ID/locations/LOCATION_ID/keyRings/KEY_RING/cryptoKeys/KEY_NAME"
  },
}
```
リクエストを送信するには、次のいずれかのオプションを開きます。
curl（Linux、macOS、Cloud Shell）

注: 次のコマンドは、gcloud init または gcloud auth login を実行して、ユーザーアカウントで gcloud CLI にログインしているか、Cloud Shell を使用して自動的に gcloud CLI にログインしていることを前提としています。gcloud auth list を実行すると、現在アクティブなアカウントを確認できます。

リクエスト本文を request.json という名前のファイルに保存します。ターミナルで次のコマンドを実行して、このファイルを現在のディレクトリに作成または上書きします。
```
cat > request.json << 'EOF'
{
  "encryption_spec": {
    "kms_key_name": "projects/PROJECT_ID/locations/LOCATION_ID/keyRings/KEY_RING/cryptoKeys/KEY_NAME"
  },
}
EOF
```
その後、次のコマンドを実行して REST リクエストを送信します。
```
curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores?metadata_store_id=default"
```
PowerShell（Windows）

注: 次のコマンドは、gcloud init または gcloud auth login を実行して、ご自分のユーザーアカウントで gcloud CLI にログインしていることを前提としています。gcloud auth list を実行すると、現在アクティブなアカウントを確認できます。

リクエスト本文を request.json という名前のファイルに保存します。ターミナルで次のコマンドを実行して、このファイルを現在のディレクトリに作成または上書きします。
```
@'
{
  "encryption_spec": {
    "kms_key_name": "projects/PROJECT_ID/locations/LOCATION_ID/keyRings/KEY_RING/cryptoKeys/KEY_NAME"
  },
}
'@  | Out-File -FilePath request.json -Encoding utf8
```
その後、次のコマンドを実行して REST リクエストを送信します。
```
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores?metadata_store_id=default" | Select-Object -Expand Content
```
次のような JSON レスポンスが返されます。
```
{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/operations/OPERATIONS_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateMetadataStoreOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-05-18T18:47:14.494997Z",
      "updateTime": "2021-05-18T18:47:14.494997Z"
    }
  }
}
```

Vertex AI Pipelines 用の Google Cloud プロジェクトの構成

Google Cloud プロジェクトを設定する

きめ細かい権限を持つサービス アカウントを構成する

パイプライン アーティファクト用の Cloud Storage バケットを構成する

CMEK を使用するメタデータ ストアの作成（省略可）

curl（Linux、macOS、Cloud Shell）

PowerShell（Windows）

きめ細かい権限を持つサービスアカウントを構成する

パイプラインアーティファクト用の Cloud Storage バケットを構成する

CMEK を使用するメタデータストアの作成（省略可）