分析のために検出結果を BigQuery にストリーミングする

このページでは、BigQuery 用の Security Command Center エクスポート機能を使用して、新しい検出結果と更新された検出結果を BigQuery データセットにストリーミングする方法について説明します。既存の検出結果は、更新されない限り BigQuery に送信されません。

BigQuery は、 Google Cloudの費用対効果に優れたフルマネージド型の分析データウェアハウスです。ペタバイト規模に対応しており、膨大な量のデータに対してほぼリアルタイムで分析を行うことができます。BigQuery を使用すると、新規および更新された検索結果にクエリを実行して、データをフィルタして必要なものを探し、カスタムレポートを生成できます。BigQuery の詳細については、BigQuery のドキュメントをご覧ください。

概要

この機能を有効にすると、Security Command Center に書き込まれた新しい検出結果が、ほぼリアルタイムで BigQuery テーブルにエクスポートされます。このデータを既存のワークフローに統合し、カスタム分析を作成できます。この機能を組織、フォルダ、プロジェクトのレベルで有効にして、要件に基づいて検出結果をエクスポートできます。

この機能は、Security Command Center の検出結果を BigQuery にエクスポートする際におすすめの方法です。これはフルマネージドソリューションであり、手動操作やカスタムコードの作成が不要です。

データセットの構造

この機能により、source_id、finding_id、event_time でクラスタ化された findings テーブルに、新しい検出結果とその後の更新が新しい行として追加されます。

検出結果が更新されると、複数の検出レコードが作成されます。source_id と finding_id の値は同じですが、event_time の値は異なります。このデータセット構造を使用して、検出状態の変化を時系列で把握できます。

データセット内でエントリが重複している可能性があります。これらのエントリを解析するには、最初のクエリ例に示すように、DISTINCT 句を使用します。

各データセットには findings テーブルが含まれています。テーブルには次のフィールドがあります。

フィールド	説明
`source_id`	Security Command Center が検出結果のソースに割り当てる固有識別子。たとえば、Cloud Anomaly Detection を情報源とする検出結果はすべて同じ `source_id` 値になります。例: `1234567890`
`finding_id`	検出結果を表す固有識別子。これは、組織のソース内で一意です。英数字で、32 文字以下です。
`event_time`	イベントが発生した時間、または検出結果の更新が発生した時間。たとえば、検出結果がオープン状態のファイアウォールを表している場合、`event_time` は、検出機能がオープン状態のファイアウォールを検出した時間になります。検出結果が後で解決された場合、この解決時間が反映されます。例: `2019-09-26 12:48:00.985000 UTC`
`bulk_export_id`	一括エクスポート（プレビュー）の場合、これは UUID です。継続的エクスポートの場合、このフィールドは空です。
`finding`	セキュリティ、リスク、健全性、プライバシーなどの評価データの記録。Security Command Center に取り込まれ、表示、通知、分析、ポリシーテスト、適用で使用されます。たとえば、App Engine アプリケーションで見つかったクロスサイトスクリプティング（XSS）の脆弱性が検出結果です。ネストされたフィールドの詳細については、API リファレンスの `Finding` オブジェクトをご覧ください。
`resource`	この検出結果に関連付けられている Google Cloud リソースに関する情報。ネストされたフィールドの詳細については、API リファレンスの `Resource` オブジェクトをご覧ください。

費用

この機能に関連して BigQuery の料金が請求されます。詳細については、BigQuery の料金をご覧ください。

始める前に

この機能を有効にする前に、次の手順を完了する必要があります。

権限を設定する

このガイドの内容を行うには、次の Identity and Access Management（IAM）ロールが必要です。

検出結果をエクスポートする組織、フォルダ、プロジェクトに対する次のいずれかのロール。
- セキュリティセンターの BigQuery Export 編集者（roles/securitycenter.bigQueryExportsEditor）
- セキュリティセンター管理者（roles/securitycenter.admin）
Security Command Center のロールの詳細については、アクセス制御をご覧ください。
BigQuery データセットに対する BigQuery データセットオーナー（roles/bigquery.dataOwner）

BigQuery データセットを作成する

BigQuery データセットを作成します。詳細については、データセットの作成をご覧ください。

データ所在地を計画する

Security Command Center でデータ所在地が有効になっている場合、BigQuery（BigQueryExport リソース）へのストリーミングエクスポートを定義する構成はデータ所在地の制御の対象であり、選択したSecurity Command Center のロケーションに保存されます。

Security Command Center のロケーションの検出結果を BigQuery にエクスポートするには、検出結果と同じ Security Command Center のロケーションに BigQuery Export を構成する必要があります。

BigQuery Export で使用されるフィルタには、所在地管理の対象となるデータが含まれる可能性があるため、作成する前に正しいロケーションを指定していることを確認してください。Security Command Center では、エクスポートを作成するロケーションは制限されません。

BigQuery Export は作成場所にのみ保存され、他のロケーションで表示や編集はできません。

BigQuery Export を作成した後に、そのロケーションを変更することはできません。ロケーションを変更するには、BigQuery Export を削除して、新しいロケーションに再作成する必要があります。

データ所在地が有効になっている場合に Security Command Center を使用する方法については、Security Command Center のリージョンエンドポイントをご覧ください。

検出結果を Security Command Center から BigQuery にエクスポートする

検出結果をエクスポートするには、まず Security Command Center API を有効にします。

Security Command Center API の有効化

Security Command Center API を有効にするには、次のようにします。

Google Cloud コンソールの [API ライブラリ] ページに移動します。

[API ライブラリ] に移動
Security Command Center API を有効にするプロジェクトを選択します。
[検索] ボックスに「Security Command Center」と入力し、検索結果で [Security Command Center] をクリックします。
表示された API ページで [有効にする] をクリックします。

プロジェクトで Security Command Center API が有効になります。次に、gcloud CLI を使用して、BigQuery に新しいエクスポート構成を作成します。

VPC Service Controls で境界へのアクセス権を付与する

VPC Service Controls を使用していて、BigQuery データセットがサービス境界内のプロジェクトに含まれている場合は、結果をエクスポートするためにプロジェクトへのアクセス権を付与する必要があります。

プロジェクトへのアクセス権を付与するには、検出結果をエクスポートするプリンシパルとプロジェクトに上り（内向き）ルールと下り（外向き）ルールを作成します。このルールは、保護されたリソースへのアクセスを許可し、ユーザーが BigQuery データセットに対する setIamPolicy 権限を持っていることを BigQuery で確認できるようにします。

BigQuery への新しいエクスポートを設定する前

コンソール

Google Cloud コンソールで、[VPC Service Controls] ページに移動します。

[VPC Service Controls] に移動
組織またはプロジェクトを選択します。
組織を選択した場合は、[アクセスポリシーを選択] をクリックし、更新する境界に関連付けられているアクセスポリシーを選択します。
更新する境界の名前をクリックします。

変更する必要があるサービス境界を確認するには、ログで RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER 違反を示すエントリを確認します。これらのエントリで、servicePerimeterName フィールドを確認します。
```
accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME
```
[境界を編集] をクリックします。
[下り（外向き）ポリシー] をクリックします。
[下り（外向き）ルールを追加] をクリックします。
[送信元] セクションで、次の詳細を設定します。
1. [ID] で、[選択されている ID とグループ] を選択します。
2. [ID の追加] をクリックします。
3. Security Command Center API の呼び出しに使用されるプリンシパルのメールアドレスを入力します。
4. プリンシパルを選択するか、Enter キーを押して、[ID を追加] をクリックします。
[宛先] セクションで、次の詳細を設定します。
1. [プロジェクト] で、[すべてのプロジェクト] を選択します。
2. [オペレーションまたは IAM ロール] で、[オペレーションを選択] を選択します。
3. [オペレーションを追加] をクリックして、次のオペレーションを追加します。
  - bigquery.googleapis.com サービスを追加します。
    1. [すべてのメソッド] をクリックします。
    2. [すべてのメソッドを追加] をクリックします。
[上り（内向き）ポリシー] をクリックします。
[上り（内向き）ルールを追加] をクリックします。
[送信元] セクションで、次の詳細を設定します。
1. [ID] で、[選択されている ID とグループ] を選択します。
2. [ID の追加] をクリックします。
3. Security Command Center API の呼び出しに使用されるプリンシパルのメールアドレスを入力します。
4. プリンシパルを選択するか、Enter キーを押して、[ID を追加] をクリックします。
5. [ソース] で [すべてのソース] を選択します。
[宛先] セクションで、次の詳細を設定します。
1. [プロジェクト] で、[プロジェクトを選択] を選択します。
2. [プロジェクトを追加] をクリックし、BigQuery データセットを含むプロジェクトを追加します。
3. [オペレーションまたは IAM ロール] で、[オペレーションを選択] を選択します。
4. [オペレーションを追加] をクリックして、次のオペレーションを追加します。
  - bigquery.googleapis.com サービスを追加します。
    1. [すべてのメソッド] をクリックします。
    2. [すべてのメソッドを追加] をクリックします。
[保存] をクリックします。

gcloud

割り当てプロジェクトがまだ設定されていない場合は、設定します。Access Context Manager API が有効になっているプロジェクトを選択します。
```
gcloud config set billing/quota_project QUOTA_PROJECT_ID
```
QUOTA_PROJECT_ID は、請求と割り当てに使用するプロジェクトの ID に置き換えます。

次の内容のファイルを egress-rule.yaml という名前で作成します。

- egressFrom:
    identities:
    - PRINCIPAL_ADDRESS
  egressTo:
    operations:
    - serviceName: bigquery.googleapis.com
      methodSelectors:
      - method: '*'
    resources:
    - '*'

PRINCIPAL_ADDRESS は、Security Command Center API の呼び出しに使用されるプリンシパルのアドレスに置き換えます。

次の内容のファイルを ingress-rule.yaml という名前で作成します。

- ingressFrom:
    identities:
    - PRINCIPAL_ADDRESS
    sources:
    - accessLevel: '*'
  ingressTo:
    operations:
    - serviceName: bigquery.googleapis.com
      methodSelectors:
      - method: '*'
    resources:
    - '*'

PRINCIPAL_ADDRESS は、Security Command Center API の呼び出しに使用されるプリンシパルのアドレスに置き換えます。

境界に下り（外向き）ルールを追加します。
```
gcloud access-context-manager perimeters update PERIMETER_NAME \
    --set-egress-policies=egress-rule.yaml
```
次のように置き換えます。
- PERIMETER_NAME: 境界の名前。例: accessPolicies/1234567890/servicePerimeters/example_perimeter。
  
  変更する必要があるサービス境界を確認するには、ログで RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER 違反を示すエントリを確認します。これらのエントリで、servicePerimeterName フィールドを確認します。
```
accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME
```
上り（内向き）ルールを境界に追加します。
```
gcloud access-context-manager perimeters update PERIMETER_NAME \
    --set-ingress-policies=ingress-rule.yaml
```
次のように置き換えます。
- PERIMETER_NAME: 境界の名前。例: accessPolicies/1234567890/servicePerimeters/example_perimeter。
  
  変更する必要があるサービス境界を確認するには、ログで RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER 違反を示すエントリを確認します。これらのエントリで、servicePerimeterName フィールドを確認します。
```
accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME
```

詳細については、上り（内向き）ルールと下り（外向き）ルールをご覧ください。

BigQuery への新しいエクスポートを設定する

このステップでは、検出結果を BigQuery インスタンスにエクスポートするためのエクスポート構成を作成します。エクスポート構成は、プロジェクト、フォルダ、組織のレベルで作成できます。たとえば、プロジェクトから検出結果を BigQuery データセットにエクスポートする場合、プロジェクトレベルでエクスポート構成を作成し、そのプロジェクトに関連する検出結果のみをエクスポートします。必要に応じてフィルタを指定し、特定の検索結果のみをエクスポートすることもできます。

エクスポート構成設は適切なレベルで作成してください。たとえば、プロジェクト B でエクスポート構成を作成して、プロジェクト A から検出結果をエクスポートし、resource.project_display_name: project-a-id などのフィルタを定義する場合、この構成では検出結果はエクスポートされません。

組織で作成できる BigQuery へのエクスポート構成は最大 500 個です。同じデータセットを複数のエクスポート構成に使用できます。同じデータセットを使用する場合、すべての更新は同じ検出結果テーブルに対して行われます。

最初のエクスポート構成を作成すると、サービスアカウントが自動的に作成されます。このサービスアカウントは、データセット内に検出結果テーブルを作成または更新し、テーブルに結果をエクスポートするために必要です。形式は service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gservicaccount.com で、BigQuery データセットレベルで BigQuery データ編集者（roles/bigquery.dataEditor）のロールが付与されます。

Google Cloud コンソールでは、一部の BigQueryExport リソースに [Legacy] ラベルが付いている場合があります。これは、v1 Security Command Center API で作成されたことを示します。これらの BigQueryExport リソースは、 Google Cloud コンソール、gcloud CLI、v1 Security Command Center API、または Security Command Center の v1 クライアントライブラリで管理できます。

gcloud CLI でこれらの BigQueryExport リソースを管理するには、gcloud CLI コマンドの実行時にロケーションを指定しないでください。

gcloud

Google Cloud コンソールに移動します。

Google Cloud コンソールに移動
Security Command Center API を有効にしたプロジェクトを選択します。
[Cloud Shell をアクティブにする] をクリックします。
次のコマンドを実行して、新しいエクスポート構成を作成します。
```
gcloud scc bqexports create BIGQUERY_EXPORT \
    --dataset=DATASET_NAME \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION \
    [--description=DESCRIPTION] \
    [--filter=FILTER]
```
次のように置き換えます。
- BIGQUERY_EXPORT は、このエクスポート構成の名前に置き換えます。
- DATASET_NAME は、BigQuery データセットの名前に置き換えます（projects/PROJECT_ID/datasets/DATASET_ID など）。
- FOLDER_ID、ORGANIZATION_ID または PROJECT_ID は、フォルダ、組織、またはプロジェクトの名前に置き換えます。次のいずれかのオプションを設定する必要があります。フォルダと組織の場合、名前はフォルダ ID または組織 ID です。プロジェクト名は、プロジェクト番号またはプロジェクト ID になります。
- LOCATION: エクスポート構成を作成する Security Command Center のロケーション。データ所在地が有効になっている場合は、eu、sa、us を使用します。それ以外の場合は、global を使用します。
- DESCRIPTION は、人が読める形式のエクスポート構成の説明に置き換えます。この変数の指定は任意です。
- FILTER は、エクスポートに含める検出結果を定義する式で置き換えます。たとえば、XSS_SCRIPTING カテゴリでフィルタリングする場合は「"category=\"XSS_SCRIPTING\"」と入力します。この変数の指定は任意です。

Terraform

Terraform 構成を適用または削除する方法については、基本的な Terraform コマンドをご覧ください。詳細については、Terraform プロバイダのリファレンスドキュメントをご覧ください。

組織のエクスポート構成を作成します。

resource "google_bigquery_dataset" "default" {
  dataset_id                  = "my-dataset"
  friendly_name               = "test"
  description                 = "This is a test description"
  location                    = "US"
  default_table_expiration_ms = 3600000
  default_partition_expiration_ms = null

  labels = {
    env = "default"
  }

  lifecycle {
    ignore_changes = [default_partition_expiration_ms]
  }
}

resource "google_scc_v2_organization_scc_big_query_export" "custom_big_query_export_config" {
  name         = "my-export"
  big_query_export_id    = "my-export"
  organization = "123456789"
  dataset      = google_bigquery_dataset.default.id
  location     = "global"
  description  = "Cloud Security Command Center Findings Big Query Export Config"
  filter       = "state=\"ACTIVE\" AND NOT mute=\"MUTED\""
}

フォルダのエクスポート構成を作成します。

resource "google_folder" "folder" {
  parent       = "organizations/123456789"
  display_name = "folder-name"

  deletion_protection = false
}

resource "google_bigquery_dataset" "default" {
  dataset_id                  = "my_dataset_id"
  friendly_name               = "test"
  description                 = "This is a test description"
  location                    = "US"
  default_table_expiration_ms = 3600000
  default_partition_expiration_ms = null

  labels = {
    env = "default"
  }

  lifecycle {
    ignore_changes = [default_partition_expiration_ms]
  }
}

resource "google_scc_v2_folder_scc_big_query_export" "custom_big_query_export_config" {
  big_query_export_id    = "my-export"
  folder       = google_folder.folder.folder_id
  dataset      = google_bigquery_dataset.default.id
  location     = "global"
  description  = "Cloud Security Command Center Findings Big Query Export Config"
  filter       = "state=\"ACTIVE\" AND NOT mute=\"MUTED\""
}

プロジェクトのエクスポート構成を作成します。

resource "google_bigquery_dataset" "default" {
  dataset_id                  = "my_dataset_id"
  friendly_name               = "test"
  description                 = "This is a test description"
  location                    = "US"
  default_table_expiration_ms = 3600000
  default_partition_expiration_ms = null

  labels = {
    env = "default"
  }

  lifecycle {
    ignore_changes = [default_partition_expiration_ms]
  }
}

resource "google_scc_v2_project_scc_big_query_export" "custom_big_query_export_config" {
  name         = "my-export"
  big_query_export_id    = "my-export"
  project      = "my-project-name"
  dataset      = google_bigquery_dataset.default.id
  location     = "global"
  description  = "Cloud Security Command Center Findings Big Query Export Config"
  filter       = "state=\"ACTIVE\" AND NOT mute=\"MUTED\""
}

Java

Security Command Center で認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の ADC を設定するをご覧ください。


import com.google.cloud.securitycenter.v2.BigQueryExport;
import com.google.cloud.securitycenter.v2.CreateBigQueryExportRequest;
import com.google.cloud.securitycenter.v2.OrganizationLocationName;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import java.io.IOException;
import java.util.UUID;

public class CreateBigQueryExport {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // projectId: Google Cloud Project id.
    String projectId = "{your-project}";

    // Specify the location.
    String location = "global";

    // filter: Expression that defines the filter to apply across create/update events of findings.
    String filter = "severity=\"LOW\" OR severity=\"MEDIUM\"";

    // bigQueryDatasetId: The BigQuery dataset to write findings' updates to.
    String bigQueryDatasetId = "{bigquery-dataset-id}";

    // bigQueryExportId: Unique identifier provided by the client.
    // For more info, see:
    // https://cloud.google.com/security-command-center/docs/how-to-analyze-findings-in-big-query#export_findings_from_to
    String bigQueryExportId = "default-" + UUID.randomUUID().toString().split("-")[0];

    createBigQueryExport(organizationId, location, projectId, filter, bigQueryDatasetId,
        bigQueryExportId);
  }

  // Create export configuration to export findings from a project to a BigQuery dataset.
  // Optionally specify filter to export certain findings only.
  public static BigQueryExport createBigQueryExport(String organizationId, String location,
      String projectId, String filter, String bigQueryDatasetId, String bigQueryExportId)
      throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      OrganizationLocationName organizationName = OrganizationLocationName.of(organizationId,
          location);
      // Create the BigQuery export configuration.
      BigQueryExport bigQueryExport =
          BigQueryExport.newBuilder()
              .setDescription(
                  "Export low and medium findings if the compute resource "
                      + "has an IAM anomalous grant")
              .setFilter(filter)
              .setDataset(String.format("projects/%s/datasets/%s", projectId, bigQueryDatasetId))
              .build();

      CreateBigQueryExportRequest bigQueryExportRequest =
          CreateBigQueryExportRequest.newBuilder()
              .setParent(organizationName.toString())
              .setBigQueryExport(bigQueryExport)
              .setBigQueryExportId(bigQueryExportId)
              .build();

      // Create the export request.
      BigQueryExport response = client.createBigQueryExport(bigQueryExportRequest);

      System.out.printf("BigQuery export request created successfully: %s\n", response.getName());
      return response;
    }
  }
}

Python



def create_bigquery_export(
    parent: str, export_filter: str, bigquery_dataset_id: str, bigquery_export_id: str
):
    from google.cloud import securitycenter_v2

    """
    Create export configuration to export findings from a project to a BigQuery dataset.
    Optionally specify filter to export certain findings only.

    Args:
        parent: Use any one of the following resource paths:
             - organizations/{organization_id}/locations/{location_id}
             - folders/{folder_id}/locations/{location_id}
             - projects/{project_id}/locations/{location_id}
        export_filter: Expression that defines the filter to apply across create/update events of findings.
        bigquery_dataset_id: The BigQuery dataset to write findings' updates to.
             - projects/{PROJECT_ID}/datasets/{BIGQUERY_DATASET_ID}
        bigquery_export_id: Unique identifier provided by the client.
             - example id: f"default-{str(uuid.uuid4()).split('-')[0]}"
        For more info, see:
        https://cloud.google.com/security-command-center/docs/how-to-analyze-findings-in-big-query#export_findings_from_to
    """
    client = securitycenter_v2.SecurityCenterClient()

    # Create the BigQuery export configuration.
    bigquery_export = securitycenter_v2.BigQueryExport()
    bigquery_export.description = "Export low and medium findings if the compute resource has an IAM anomalous grant"
    bigquery_export.filter = export_filter
    bigquery_export.dataset = bigquery_dataset_id

    request = securitycenter_v2.CreateBigQueryExportRequest()
    request.parent = parent
    request.big_query_export = bigquery_export
    request.big_query_export_id = bigquery_export_id

    # Create the export request.
    response = client.create_big_query_export(request)

    print(f"BigQuery export request created successfully: {response.name}\n")
    return response

エクスポート構成を作成してから約 15 分以内に、BigQuery データセットに検出結果が表示されます。BigQuery テーブルが作成されると、フィルタとスコープに一致する新しい結果と更新された結果が、ほぼリアルタイムでテーブルに表示されます。

検出結果を確認するには、検出結果の確認をご覧ください。

BigQuery への新しいエクスポートの上り（内向き）ルールを作成する

VPC Service Controls を使用していて、BigQuery データセットがサービス境界内のプロジェクトに含まれている場合は、BigQuery への新しいエクスポートの上り（内向き）ルールを作成する必要があります。

コンソール

前のセクションのサービス境界を再度開きます。

[VPC Service Controls] に移動
[上り（内向き）ポリシー] をクリックします。
[上り（内向き）ルールを追加] をクリックします。
[送信元] セクションで、次の詳細を設定します。
1. [ID] で、[選択されている ID とグループ] を選択します。
2. [ID の追加] をクリックします。
3. BigQuery Export 構成サービスエージェントのメールアドレスを入力します。サービスエージェントのアドレスは次の形式です。
```
service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gserviceaccount.com
```
  ORGANIZATION_ID は、実際の組織 ID に置き換えます。
4. サービスエージェントを選択するか、Enter キーを押して、[ID を追加] をクリックします。
5. [ソース] で [すべてのソース] を選択します。
[宛先] セクションで、次の詳細を設定します。
1. [プロジェクト] で、[プロジェクトを選択] を選択します。
2. [プロジェクトを追加] をクリックし、BigQuery データセットを含むプロジェクトを追加します。
3. [オペレーションまたは IAM ロール] で、[オペレーションを選択] を選択します。
4. [オペレーションを追加] をクリックして、次のオペレーションを追加します。
  - bigquery.googleapis.com サービスを追加します。
    1. [すべてのメソッド] をクリックします。
    2. [すべてのメソッドを追加] をクリックします。
[保存] をクリックします。

gcloud

割り当てプロジェクトがまだ設定されていない場合は、設定します。Access Context Manager API が有効になっているプロジェクトを選択します。
```
gcloud config set billing/quota_project QUOTA_PROJECT_ID
```
QUOTA_PROJECT_ID は、請求と割り当てに使用するプロジェクトの ID に置き換えます。

次の内容のファイルを ingress-rule.yaml という名前で作成します。

- ingressFrom:
    identities:
    - serviceAccount:service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gserviceaccount.com
    sources:
    - accessLevel: '*'
  ingressTo:
    operations:
    - serviceName: bigquery.googleapis.com
      methodSelectors:
      - method: '*'
    resources:
    - '*'

ORGANIZATION_ID は、実際の組織 ID に置き換えます。

上り（内向き）ルールを境界に追加します。
```
gcloud access-context-manager perimeters update PERIMETER_NAME \
    --set-ingress-policies=ingress-rule.yaml
```
次のように置き換えます。
- PERIMETER_NAME: 境界の名前。例: accessPolicies/1234567890/servicePerimeters/example_perimeter。
  
  変更する必要があるサービス境界を確認するには、ログで RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER 違反を示すエントリを確認します。これらのエントリで、servicePerimeterName フィールドを確認します。
```
accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME
```

詳細については、上り（内向き）ルールと下り（外向き）ルールをご覧ください。

これで、選択したプロジェクト、ユーザー、サービスアカウントが保護されたリソースにアクセスし、検出結果をエクスポートできるようになりました。

このガイドの手順をすべて完了していて、エクスポートが正しく機能している場合、次のルールは削除できます。

プリンシパルの上り（内向き）ルール
プリンシパルの下り（外向き）ルール

これらのルールは、エクスポート構成を構成するためだけに必要でした。ただし、エクスポート構成が引き続き機能するには、以前に作成した上り（内向き）ルールを維持する必要があります。このルールによって、Security Command Center はサービス境界の背後にある BigQuery データセットに検出結果をエクスポートできます。

エクスポート構成の詳細を表示する

gcloud

Google Cloud コンソールに移動します。

Google Cloud コンソールに移動
Security Command Center API を有効にしたプロジェクトを選択します。
[Cloud Shell をアクティブにする] をクリックします。
エクスポート構成の詳細を確認するには、次のコマンドを実行します。
```
gcloud scc bqexports get BIGQUERY_EXPORT \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION
```
次のように置き換えます。
- BIGQUERY_EXPORT は、このエクスポート構成の名前に置き換えます。
- FOLDER_ID、ORGANIZATION_ID または PROJECT_ID は、フォルダ、組織、またはプロジェクトの名前に置き換えます。次のいずれかのオプションを設定する必要があります。フォルダと組織の場合、名前はフォルダ ID または組織 ID です。プロジェクト名は、プロジェクト番号またはプロジェクト ID になります。
- LOCATION: エクスポート構成を作成する Security Command Center のロケーション。データ所在地が有効になっている場合は、eu、sa、us を使用します。それ以外の場合は、global を使用します。
  
  たとえば、組織 ID が 123 の組織から my-bq-export という名前のエクスポート構成を取得するには、次のコマンドを実行します。
```
gcloud scc bqexports get my-bq-export \
    --organization=123 \
    --location=global
```

エクスポート構成を更新する

必要に応じて、既存のエクスポート構成のフィルタ、データセット、説明を変更できます。エクスポート構成の名前は変更できません。

gcloud

Google Cloud コンソールに移動します。

Google Cloud コンソールに移動
Security Command Center API を有効にしたプロジェクトを選択します。
[Cloud Shell をアクティブにする] をクリックします。
エクスポート構成を更新するには、次のコマンドを実行します。
```
gcloud scc bqexports update BIGQUERY_EXPORT \
    --dataset=DATASET_NAME \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION \
    [--description=DESCRIPTION] \
    [--filter=FILTER]
```
次のように置き換えます。
- BIGQUERY_EXPORT は、更新するエクスポート構成の名前に置き換えます。
- DATASET_NAME は、BigQuery データセットの名前に置き換えます（projects/PROJECT_ID/datasets/DATASET_ID など）。
- FOLDER_ID、ORGANIZATION_ID または PROJECT_ID は、フォルダ、組織、またはプロジェクトの名前に置き換えます。次のいずれかのオプションを設定する必要があります。フォルダと組織の場合、名前はフォルダ ID または組織 ID です。プロジェクト名は、プロジェクト番号またはプロジェクト ID になります。
- LOCATION: エクスポート構成を更新する Security Command Center のロケーション。データ所在地が有効になっている場合は、eu、sa、us を使用します。それ以外の場合は、global を使用します。
- DESCRIPTION は、人が読める形式のエクスポート構成の説明に置き換えます。この変数の指定は任意です。
- FILTER は、エクスポートに含める検出結果を定義する式で置き換えます。たとえば、XSS_SCRIPTING カテゴリでフィルタリングする場合は「"category=\"XSS_SCRIPTING\"」と入力します。この変数の指定は任意です。

すべてのエクスポート構成を表示する

組織、フォルダ、プロジェクトのすべてのエクスポート構成を表示できます。

gcloud

Google Cloud コンソールに移動します。

Google Cloud コンソールに移動
Security Command Center API を有効にしたプロジェクトを選択します。
[Cloud Shell をアクティブにする] をクリックします。
エクスポート構成を一覧表示するには、次のコマンドを実行します。
```
gcloud scc bqexports list \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION \
    [--limit=LIMIT] \
    [--page-size=PAGE_SIZE]
```
次のように置き換えます。
- FOLDER_ID、ORGANIZATION_ID または PROJECT_ID は、フォルダ、組織、またはプロジェクトの名前に置き換えます。次のいずれかのオプションを設定する必要があります。フォルダと組織の場合、名前はフォルダ ID または組織 ID です。プロジェクト名は、プロジェクト番号またはプロジェクト ID になります。
  
  組織 ID を指定すると、リストには、その組織で定義されているすべてのエクスポート構成が含まれます（フォルダレベルとプロジェクトレベルの組織も含む）。フォルダ ID を指定すると、リストには、フォルダレベルとフォルダ内のプロジェクトで定義されたすべてのエクスポート構成が含まれます。プロジェクト番号またはプロジェクト ID を指定すると、リストには、そのプロジェクトのすべてのエクスポート構成が含まれます。
- LOCATION: エクスポート構成を一覧表示する Security Command Center のロケーション。データ所在地が有効になっている場合は、eu、sa、us を使用します。それ以外の場合は、global を使用します。
- LIMIT は、表示するエクスポート構成の数に置き換えます。この変数の指定は任意です。
- PAGE_SIZE は、ページサイズの値で置き換えます。この変数の指定は任意です。

Java


import com.google.cloud.securitycenter.v2.BigQueryExport;
import com.google.cloud.securitycenter.v2.ListBigQueryExportsRequest;
import com.google.cloud.securitycenter.v2.OrganizationLocationName;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import com.google.cloud.securitycenter.v2.SecurityCenterClient.ListBigQueryExportsPagedResponse;
import java.io.IOException;

public class ListBigQueryExports {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // Specify the location to list the findings.
    String location = "global";

    listBigQueryExports(organizationId, location);
  }

  // List BigQuery exports in the given parent.
  public static ListBigQueryExportsPagedResponse listBigQueryExports(String organizationId,
      String location) throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      OrganizationLocationName organizationName = OrganizationLocationName.of(organizationId,
          location);

      ListBigQueryExportsRequest request = ListBigQueryExportsRequest.newBuilder()
          .setParent(organizationName.toString())
          .build();

      ListBigQueryExportsPagedResponse response = client.listBigQueryExports(request);

      System.out.println("Listing BigQuery exports:");
      for (BigQueryExport bigQueryExport : response.iterateAll()) {
        System.out.println(bigQueryExport.getName());
      }
      return response;
    }
  }
}

Python

def list_bigquery_exports(parent: str):
    from google.cloud import securitycenter_v2

    """
    List BigQuery exports in the given parent.
    Args:
         parent: The parent which owns the collection of BigQuery exports.
             Use any one of the following resource paths:
                 - organizations/{organization_id}/locations/{location_id}
                 - folders/{folder_id}/locations/{location_id}
                 - projects/{project_id}/locations/{location_id}
    """

    client = securitycenter_v2.SecurityCenterClient()

    request = securitycenter_v2.ListBigQueryExportsRequest()
    request.parent = parent

    response = client.list_big_query_exports(request)

    print("Listing BigQuery exports:")
    for bigquery_export in response:
        print(bigquery_export.name)
    return response

エクスポート構成を削除する

不要になったエクスポート構成は削除できます。

gcloud

Google Cloud コンソールに移動します。

Google Cloud コンソールに移動
Security Command Center API を有効にしたプロジェクトを選択します。
[Cloud Shell をアクティブにする] をクリックします。
エクスポート構成を削除するには、次のコマンドを実行します。
```
gcloud scc bqexports delete BIGQUERY_EXPORT \
    --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
    --location=LOCATION
```
次のように置き換えます。
- BIGQUERY_EXPORT は、削除するエクスポート構成の名前に置き換えます。
- FOLDER_ID、ORGANIZATION_ID または PROJECT_ID は、フォルダ、組織、またはプロジェクトの名前に置き換えます。次のいずれかのオプションを設定する必要があります。フォルダと組織の場合、名前はフォルダ ID または組織 ID です。プロジェクト名は、プロジェクト番号またはプロジェクト ID になります。
- LOCATION: エクスポート構成を削除する Security Command Center のロケーション。データ所在地が有効になっている場合は、eu、sa、us を使用します。それ以外の場合は、global を使用します。
  
  たとえば、組織 ID が 123 の組織から my-bq-export という名前のエクスポート構成を削除するには、次のコマンドを実行します。
```
gcloud scc bqexports delete my-bq-export \
    --organization=123 \
    --location=global
```

Java


import com.google.cloud.securitycenter.v2.BigQueryExportName;
import com.google.cloud.securitycenter.v2.DeleteBigQueryExportRequest;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import java.io.IOException;

public class DeleteBigQueryExport {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // Specify the location to list the findings.
    String location = "global";

    // bigQueryExportId: Unique identifier that is used to identify the export.
    String bigQueryExportId = "{bigquery-export-id}";

    deleteBigQueryExport(organizationId, location, bigQueryExportId);
  }

  // Delete an existing BigQuery export.
  public static void deleteBigQueryExport(String organizationId, String location,
      String bigQueryExportId)
      throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      // Optionally BigQueryExportName or String can be used
      // String bigQueryExportName = String.format("organizations/%s/locations/%s
      // /bigQueryExports/%s",organizationId,location, bigQueryExportId);
      BigQueryExportName bigQueryExportName = BigQueryExportName.of(organizationId, location,
          bigQueryExportId);

      DeleteBigQueryExportRequest bigQueryExportRequest =
          DeleteBigQueryExportRequest.newBuilder()
              .setName(bigQueryExportName.toString())
              .build();

      client.deleteBigQueryExport(bigQueryExportRequest);
      System.out.printf("BigQuery export request deleted successfully: %s", bigQueryExportId);
    }
  }
}

Python

def delete_bigquery_export(parent: str, bigquery_export_id: str):
    """
    Delete an existing BigQuery export.
    Args:
        parent: Use any one of the following resource paths:
                 - organizations/{organization_id}/locations/{location_id}
                 - folders/{folder_id}/locations/{location_id}
                 - projects/{project_id}/locations/{location_id}
        bigquery_export_id: Unique identifier that is used to identify the export.
    """
    from google.cloud import securitycenter_v2

    client = securitycenter_v2.SecurityCenterClient()

    request = securitycenter_v2.DeleteBigQueryExportRequest()
    request.name = f"{parent}/bigQueryExports/{bigquery_export_id}"

    client.delete_big_query_export(request)
    print(f"BigQuery export request deleted successfully: {bigquery_export_id}")

エクスポート構成を削除した後、Looker Studio からデータを削除できます。詳細については、データソースの削除、削除、復元をご覧ください。

BigQuery で検出結果を確認する

エクスポート構成を作成すると、指定したプロジェクトの BigQuery データセットに新しい検出結果がエクスポートされます。

BigQuery で検出結果を確認するには、次の操作を行います。

BigQuery でプロジェクトに移動します。

[BigQuery] に移動
プロジェクトを選択します。
[エクスプローラ] ペインで、プロジェクトのノードを開きます。
データセットを開きます。
findings テーブルをクリックします。
表示されたタブで [プレビュー] をクリックします。データのサンプルセットが表示されます。

有益なクエリ

このセクションでは、検出結果データを分析するためのクエリの例を紹介します。次の例では、DATASET をデータセットに割り当てられた名前に置き換え、PROJECT_ID をデータセットのプロジェクト名に置き換えます。

発生したエラーのトラブルシューティングについては、エラーメッセージをご覧ください。

1 日に作成および更新された新しい検出結果の数

SELECT
    FORMAT_DATETIME("%Y-%m-%d", event_time) AS date,
    count(DISTINCT finding_id)
FROM `PROJECT_ID.DATASET.findings`
GROUP BY date
ORDER BY date DESC

各検出結果の最新の検出レコード

SELECT
    * EXCEPT(row)
FROM (
    SELECT *, ROW_NUMBER() OVER(
        PARTITION BY finding_id
        ORDER BY event_time DESC, finding.mute_update_time DESC
    ) AS row
    FROM `PROJECT_ID.DATASET.findings`
)
WHERE row = 1

現在のアクティブな検出結果（時間順）

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
WHERE finding.state = "ACTIVE"
ORDER BY event_time DESC

プロジェクト内の現在の検出結果

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding, resource
FROM latestFindings
WHERE resource.project_display_name = 'PROJECT'

PROJECT は、プロジェクト名に置き換えます。

フォルダ内の現在の検出結果

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding, resource
FROM latestFindings
CROSS JOIN UNNEST(resource.folders) AS folder
WHERE folder.resource_folder_display_name = 'FOLDER'

FOLDER は、フォルダ名に置き換えます。

スキャナ `Logging Scanner` から得られる現在の検出結果

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
CROSS JOIN UNNEST(finding.source_properties) AS source_property
WHERE source_property.key = "ScannerName"
  AND source_property.value = "LOGGING_SCANNER"

`Persistence: IAM Anomalous Grant` タイプの現在のアクティブな検出結果

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
WHERE finding.state = "ACTIVE"
  AND finding.category = "Persistence: IAM Anomalous Grant"

特定のタイプのアクティブな検出結果を Cloud Audit Logs に関連付ける

このサンプルクエリは、Cloud Audit Logs を使用して、Event Threat Detection から得られる異常な IAM 付与の検出結果を調査するのに役立ちます。異常な IAM 付与アクションの前後の期間に、権限付与者によって行われた一連の管理アクティビティアクションを確認します。次のクエリは、検出結果のタイムスタンプの 1 時間前から 1 時間後までの管理アクティビティログを関連付けます。

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT
  finding_id,
  ANY_VALUE(event_time) as event_time,
  ANY_VALUE(finding.access.principal_email) as grantor,
  JSON_VALUE_ARRAY(ANY_VALUE(finding.source_properties_json), '$.properties.sensitiveRoleGrant.members') as grantees,
  ARRAY_AGG(
    STRUCT(
      timestamp,
      IF(timestamp < event_time, 'before', 'after') as timeline,
      protopayload_auditlog.methodName,
      protopayload_auditlog.resourceName,
      protopayload_auditlog.serviceName
    )
    ORDER BY timestamp ASC
  ) AS recent_activity
FROM (
  SELECT
    f.*,
    a.*,
  FROM latestFindings AS f
  LEFT JOIN `PROJECT_ID.DATASET.cloudaudit_googleapis_com_activity` AS a
  ON a.protopayload_auditlog.authenticationInfo.principalEmail = f.finding.access.principal_email
  WHERE f.finding.state = "ACTIVE"
    AND f.finding.category = "Persistence: IAM Anomalous Grant"
    AND a.timestamp >= TIMESTAMP_SUB(f.event_time, INTERVAL 1 HOUR)
    AND a.timestamp <= TIMESTAMP_ADD(f.event_time, INTERVAL 1 HOUR)
  )
GROUP BY
  finding_id
ORDER BY
  event_time DESC

出力は次のようになります。

クエリ結果のスクリーンショット。監査ログが関連付けられた検出結果が表示されています。

Looker Studio でグラフを作成する

Looker Studio では、インタラクティブなレポートとダッシュボードを作成できます。

通常、Looker Studio 経由で BigQuery にアクセスすると、BigQuery の使用料金が発生します。詳細については、Looker Studio を使用して BigQuery データを可視化するをご覧ください。

重要度とカテゴリで検出結果を可視化するグラフを作成するには、次の操作を行います。

Looker Studio を開いてログインします。
メッセージが表示されたら、追加情報を提供して他の設定を行います。利用規約を確認し、問題がなければ続行します。
[空のレポート] をクリックします。
[データに接続] タブで、[BigQuery] カードをクリックします。
プロンプトが表示されたら、Looker Studio が BigQuery プロジェクトにアクセスすることを承認します。
検出結果データに接続します。
1. [プロジェクト] で、データセットのプロジェクトを選択します。または、[マイプロジェクト] タブでプロジェクト ID を入力して検索します。
2. [データセット] で、データセットの名前をクリックします。
3. [Table] で、[findings] をクリックします。
4. [Add] をクリックします。
5. ダイアログで [Add to report] をクリックします。
レポートを追加したら、[グラフを追加] をクリックします。
[積み上げ縦棒グラフ] をクリックし、グラフを配置する領域をクリックします。
[Chart] > [Bar] ペインの [Data] タブで、次のフィールドを設定します。
1. [Dimension] フィールドで [finding.severity] を選択します。
2. [内訳ディメンション] フィールドで [finding.category] を選択します。

レポートが更新され、複数の列に検出結果と重要度とカテゴリ別に表示されます。

次のステップ

BigQuery への一括エクスポート（プレビュー）を作成する方法を学習する。
BigQuery でクエリを実行する方法を学習する。

分析のために検出結果を BigQuery にストリーミングする コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

概要

データセットの構造

費用

始める前に

権限を設定する

BigQuery データセットを作成する

データ所在地を計画する

検出結果を Security Command Center から BigQuery にエクスポートする

Security Command Center API の有効化

VPC Service Controls で境界へのアクセス権を付与する

BigQuery への新しいエクスポートを設定する前

コンソール

gcloud

BigQuery への新しいエクスポートを設定する

gcloud

Terraform

Java

Python

BigQuery への新しいエクスポートの上り（内向き）ルールを作成する

コンソール

gcloud

エクスポート構成の詳細を表示する

gcloud

エクスポート構成を更新する

gcloud

すべてのエクスポート構成を表示する

gcloud

Java

Python

エクスポート構成を削除する

gcloud

Java

Python

BigQuery で検出結果を確認する

有益なクエリ

1 日に作成および更新された新しい検出結果の数

各検出結果の最新の検出レコード

現在のアクティブな検出結果（時間順）

プロジェクト内の現在の検出結果

フォルダ内の現在の検出結果

スキャナ Logging Scanner から得られる現在の検出結果

Persistence: IAM Anomalous Grant タイプの現在のアクティブな検出結果

特定のタイプのアクティブな検出結果を Cloud Audit Logs に関連付ける

Looker Studio でグラフを作成する

次のステップ

分析のために検出結果を BigQuery にストリーミングする

スキャナ `Logging Scanner` から得られる現在の検出結果

`Persistence: IAM Anomalous Grant` タイプの現在のアクティブな検出結果