将政策分析写入 BigQuery

本页面介绍如何异步分析 Identity and Access Management (IAM) 政策并将结果写入 BigQuery。此过程类似于分析 IAM 政策，不同之处在于分析结果会写入 BigQuery 表。

准备工作

您必须为项目启用 Cloud Asset API。
如果您使用 API 来运行这些查询，则需要设置环境和 gcurl。
1. 设置您的环境。
2. 要设置 gcurl 别名，请完成以下步骤。
  
  如果您在 Compute Engine 实例上，请运行以下命令。
```
alias gcurl='curl -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
-H "Content-Type: application/json" -X POST'
```
  如果您不在 Compute Engine 实例上，请运行以下命令。
```
alias gcurl='curl -H "$(oauth2l header --json CREDENTIALS cloud-platform)" \
-H "Content-Type: application/json" -X POST'
```
  其中，CREDENTIALS 是您的凭据文件路径，例如 ~/credentials.json。

所需权限

要运行政策分析并将分析结果写入指定 BigQuery 目标，需要以下权限：

调用 `AnalyzeIamPolicyLongrunning`

使用 AnalyzeIamPolicyLongrunning 方法，您可以发出分析请求，并在指定的 BigQuery 目标中获取结果。

gcloud

您可以使用 asset analyze-iam-policy-longrunning gcloud 命令在已启用 API 的项目上调用 AnalyzeIamPolicyLongrunning。您必须运行 Cloud SDK 314.0.0 或更高版本。您可以使用 gcloud version 命令检查您的版本。

gcloud asset analyze-iam-policy-longrunning \
    --organization="ORG_ID" \
    --full-resource-name="FULL_RESOURCE_NAME" \
    --permissions="COMMA_SEPARATED_PERMISSIONS" \
    --bigquery-dataset="projects/BQ_PROJECT_ID/datasets/BQ_DATASET_NAME" \
    --bigquery-table-prefix="BQ_TABLE_PREFIX"

例如，将谁拥有组织 123456789 下的 Compute Engine 实例 ipa-gce-instance-2 的 compute.instances.get 和 compute.instances.start 权限的分析结果写入 BigQuery 数据集 projects/project1/datasets/bq-dataset-01，表前缀为 some_prefix：

gcloud asset analyze-iam-policy-longrunning --organization=123456789 \
    --full-resource-name="//compute.googleapis.com/projects/project1/zones/us-central1-a/instances/ipa-gce-instance-2" \
    --permissions="compute.instances.get,compute.instances.start" \
    --bigquery-dataset="projects/project1/datasets/bq-dataset-01" \
    --bigquery-table-prefix="some_prefix"

通过帮助了解详情：

gcloud asset analyze-iam-policy-longrunning --help

REST

使用 gcurl 别名分析 IAM 政策并写入结果。

gcurl -d "$JSON_REQUEST" \
"https://cloudasset.googleapis.com/v1/organizations/${YOUR_ORG_ID}:analyzeIamPolicyLongrunning"

其中：

YOUR_ORG_ID 是组织 ID，例如：123456789

JSON_REQUEST 是 JSON 格式的分析请求。例如，分析谁拥有组织 123456789 下的 Compute Engine 实例 ipa-gce-instance-2 的 compute.instances.get 和 compute.instances.start 权限，并将分析结果写入 BigQuery 数据集 projects/project1/datasets/bq-dataset-01，表前缀为 some_prefix：

JSON_REQUEST='{
  "analysisQuery":{
     "scope":"organization/123456789",
     "resourceSelector":{
        "fullResourceName":"//compute.googleapis.com/projects/project1/zones/us-central1-a/instances/ipa-gce-instance-2"
     },
     "accessSelector":{
        "permissions":[
           "compute.instances.get",
           "compute.instances.start"
        ]
     }
  },
  "outputConfig":{
     "bigqueryDestination":{
        "dataset":"projects/project1/datasets/bq-dataset-01",
        "tablePrefix":"some_prefix"
     }
  }
}'

设置分区键

BigQuery 表可以分区，从而通过过滤分区来提高查询性能并降低查询费用。支持以下分区键：

REQUEST_TIME：收到请求的时间。

设置写入处置方式

指定目标表或分区已存在且非空时执行的操作。另请参阅 BigQuery 写入处置方式。支持以下值：

WRITE_APPEND：默认值。将数据附加到表或最新分区。
WRITE_TRUNCATE：覆盖整个表或所有分区数据。
WRITE_EMPTY：返回错误。

查看 IAM 政策分析结果

如需查看 IAM 政策分析结果，请执行以下操作：

控制台

转到 Cloud Console 中的 BigQuery 页面。
转到 BigQuery 页面
要显示数据集中的表和视图，请打开导航面板。在资源部分，选择项目以将其展开，然后选择数据集。
从列表中选择具有您前缀的表。带有 analysis 后缀的表包含查询和元数据（例如操作名称、请求时间、非严重错误）。带有 analysis_result 后缀的表是 {identity, role(s)/permission(s), resource} 的结果列表元组以及生成这些元组的 IAM 政策。
要查看一组数据示例，请选择预览。

API

如需浏览表的数据，请调用 tabledata.list。在 tableId 参数中，指定表的名称。

您可以配置以下可选参数来控制输出。

maxResults 是要返回的结果数上限。
selectedFields 是要返回的列的逗号分隔列表；如果未指定此参数，则会返回所有列。
startIndex 是要读取的起始行的索引（从零开始）。

返回的值会封装在一个 JSON 对象中，您必须对此对象进行解析，具体请参阅 tabledata.list 参考文档。

构建查询

如需了解查询的其他用例和选项，请参阅分析 IAM 政策查询示例。

查询 BigQuery

本部分提供示例 SQL 查询，展示如何使用 AnalyzeIamPolicyLongrunning 写入的 BigQuery 表。如需详细了解 BigQuery 语法，请参阅标准 SQL 查询语法。

大多数查询需要 OP_ID，您可以从 AnalyzeIamPolicyLongrunning 响应获取该值。例如，在 gcloud 中，您可以在“使用 [gcloud asset operations describe organizations/123456789/operations/AnalyzeIamPolicyLongrunning/123456] 检查操作状态。”中发现 OP_ID 为 123456。

列出操作

表可以存储多个 AnalyzeIamPolicyLongrunning 操作的结果。您可以使用以下查询列出所有结果：

SELECT DISTINCT
  requestTime,
  opName
FROM `BQ_PROJECT_ID.BQ_DATASET_NAME.BQ_TABLE_PREFIX_analysis`
ORDER BY 1 DESC
;

列出一个操作中的分析

在一个 AnalyzeIamPolicyLongrunning 操作中，可能会生成多条分析记录。例如，如果您在请求中启用 analyze_service_account_impersonation 选项，则结果可能会包含一个主要分析（analysisId 为 0）和多个服务帐号模拟分析。

您可以通过提供操作名称使用以下查询查找所有分析。

DECLARE _opName STRING DEFAULT "organizations/ORG_ID/operations/AnalyzeIamPolicyLongrunning/OP_ID";

SELECT
  analysisId,
  requestTime,
  TO_JSON_STRING(analysis.analysisQuery, true) as analysisQuery,
  analysis.fullyExplored,
  TO_JSON_STRING(analysis.nonCriticalErrors, true) as nonCriticalErrors
FROM `BQ_PROJECT_ID.BQ_DATASET_NAME.BQ_TABLE_PREFIX_analysis`
WHERE opName=_opName
ORDER BY 1
;

列出一个分析中的 ACE（访问权限控制条目）

ACE 是访问权限控制条目 {identity, role(s)/permission(s), resource}。您可以使用以下查询列出一个分析中的 ACE。

DECLARE _opName STRING DEFAULT "organizations/ORG_ID/operations/AnalyzeIamPolicyLongrunning/OP_ID";

SELECT DISTINCT
  ids.name AS identity,
  resources.fullResourceName AS resource,
  accesses.role AS role,
  accesses.permission AS permission
FROM `BQ_PROJECT_ID.BQ_DATASET_NAME.BQ_TABLE_PREFIX_analysis_result`,
  UNNEST(analysisResult.identityList.identities) AS ids,
  UNNEST(analysisResult.accessControlLists) AS acls,
  UNNEST(acls.accesses) AS accesses,
  UNNEST(acls.resources) AS resources
WHERE opName=_opName
AND analysisId = 0
ORDER BY 1,2,3,4
;

列出一个分析中的 ACE（访问权限控制条目）和 IAM 政策绑定

在此查询中，我们列出了一个分析中的 ACE 和生成此 ACE 的 IAM 政策绑定。

DECLARE _opName STRING DEFAULT "organizations/ORG_ID/operations/AnalyzeIamPolicyLongrunning/OP_ID";

SELECT
  ids.name AS identity,
  resources.fullResourceName AS resource,
  accesses.role AS role,
  accesses.permission AS permission,
  analysisResult.attachedResourceFullName as iam_policy_attached_resource,
  TO_JSON_STRING(analysisResult.iamBinding, true) as iam_policy_binding
FROM `BQ_PROJECT_ID.BQ_DATASET_NAME.BQ_TABLE_PREFIX_analysis_result`,
  UNNEST(analysisResult.identityList.identities) AS ids,
  UNNEST(analysisResult.accessControlLists) AS acls,
  UNNEST(acls.accesses) AS accesses,
  UNNEST(acls.resources) AS resources
WHERE opName=_opName AND analysisId = 0
ORDER BY 1,2,3,4
;

列出一个分析中的 IAM 政策绑定

在此查询中，我们列出了一个分析中显示的 IAM 政策绑定。

DECLARE _opName STRING DEFAULT "organizations/ORG_ID/operations/AnalyzeIamPolicyLongrunning/OP_ID";

SELECT DISTINCT
  analysisResult.attachedResourceFullName as iam_policy_attached_resource,
  TO_JSON_STRING(analysisResult.iamBinding, true) as iam_policy_binding
FROM `BQ_PROJECT_ID.BQ_DATASET_NAME.BQ_TABLE_PREFIX_analysis_result`
WHERE opName=_opName AND analysisId = 0
ORDER BY 1, 2
;

列出一个分析中的 IAM 政策绑定及其 ACE（访问权限控制条目）

在此查询中，我们列出了一个分析中的 IAM 政策绑定及其派生 ACE

DECLARE _opName STRING DEFAULT "organizations/ORG_ID/operations/AnalyzeIamPolicyLongrunning/OP_ID";

SELECT
  analysisResult.attachedResourceFullName as iam_policy_attached_resource,
  TO_JSON_STRING(analysisResult.iamBinding, true) as iam_policy_binding,
  TO_JSON_STRING(analysisResult.identityList.identities, true) as identities,
  TO_JSON_STRING(acls.accesses, true) as accesses,
  TO_JSON_STRING(acls.resources, true) as resources
FROM `BQ_PROJECT_ID.BQ_DATASET_NAME.BQ_TABLE_PREFIX_analysis_result`,
  UNNEST(analysisResult.accessControlLists) AS acls
WHERE opName=_opName AND analysisId = 0
ORDER BY 1,2
;