监控 BI Engine
BigQuery BI Engine 与 Google Cloud 服务搭配使用,以帮助监控 BI Engine 的使用情况并进行问题排查。
Cloud Monitoring
BigQuery BI Engine 与 Cloud Monitoring 集成,使您可以监控汇总的 BI Engine 使用情况和配置提醒。如需了解如何使用 Monitoring 创建 BI Engine 指标的信息中心,请参阅 Monitoring 文档中的创建图表。
BigQuery BI Engine 提供以下指标:
资源 | 指标 | 详情 |
---|---|---|
BigQuery 项目 | 预留的总字节数 | 分配给一个 Google Cloud 项目的总容量 |
BigQuery 项目 | 预留的已用字节数 | 一个 Google Cloud 项目中所用的总容量 |
BigQuery 项目 | BI Engine 排名前列的表缓存字节数 | 每个表的缓存用量。此指标显示每个区域报告的前 N 个表使用情况。 |
BI Engine 在使用 Looker Studio 时也会提供以下指标。
资源 | 指标 | 详情 |
---|---|---|
BigQuery BI Engine 模型 | 运行中请求数 | 向一个模型发送的并发请求数(采样周期内的最大值) |
BigQuery BI Engine 模型 | 请求数 | 向一个模型发出的请求总数 |
BigQuery BI Engine 模型 | 请求执行时间 | 查询执行延迟时间中间值 |
您可以使用 Cloud Monitoring 查看由 BI Engine 缓存的 Looker Studio 数据源的流量。当您在 Cloud Monitoring 微件中查看 BI Engine 的指标时,模型 ID 显示为指标的维度。要查找 BigQuery BI Engine 模型的 ID,请在网络浏览器中打开 Looker Studio 模型。模型 ID 是网址中位于 datasources/
后面的部分。例如 https://lookerstudio.google.com/c/u/0/datasources/<model_id>
。
如需查看可用 Google Cloud 指标的完整列表,请参阅 Google Cloud 指标。
Looker Studio BigQuery 原生集成不提供每个模型的指标。而是使用 BigQuery API 监控功能在 INFORMATION_SCHEMA 表中公开数据源和报告 ID。
BI Engine 的查询统计信息
本部分介绍了如何查找查询统计信息,以帮助监控、诊断 BI Engine 的使用情况并进行问题排查。
BI Engine 加速模式
启用 BI Engine 加速后,您的查询可以在以下四种模式下运行:
BI_ENGINE_DISABLED |
BI Engine 停用了加速模式。biEngineReasons 指定了更详细的原因。该查询使用 BigQuery 执行引擎运行。 |
PARTIAL_INPUT |
部分查询输入已使用 BI Engine 加速。如查询优化和加速中所述,查询计划通常分解为多个输入阶段。BI Engine 支持信息中心中常用的子查询模式类型。如果查询包含多个输入阶段,其中只有部分输入阶段属于受支持的用例,则 BI Engine 会使用常规 BigQuery 引擎运行不受支持的阶段,而不进行加速。在这种情况下,BI Engine 会返回 PARTIAL 加速代码,并使用 biEngineReasons 填充未加速其他输入阶段的原因。 |
FULL_INPUT |
查询的所有输入阶段都使用 BI Engine 进行了加速。 |
FULL_QUERY |
整个查询都使用 BI Engine 进行了加速。 |
BigQuery API 作业统计信息
关于 BI Engine 的详细统计信息可以通过 BigQuery API 获得。
如需提取与 BI Engine 加速查询关联的统计信息,请运行以下 bq 命令行工具命令:
bq show --format=prettyjson -j job_id
如果项目启用了 BI Engine 加速,则输出会生成一个新字段 biEngineStatistics
。下面是一个作业报告示例:
"statistics": {
"creationTime": "1602175128902",
"endTime": "1602175130700",
"query": {
"biEngineStatistics": {
"biEngineMode": "DISABLED",
"biEngineReasons": [
{
"code": "UNSUPPORTED_SQL_TEXT",
"message": "Detected unsupported join type"
}
]
},
如需详细了解 BiEngineStatistics
字段,请参阅作业参考。
BigQuery INFORMATION_SCHEMA 统计信息
BI Engine 加速统计信息包含在 BigQuery INFORMATION_SCHEMA
视图中,位于 INFORMATION_SCHEMA.JOBS_BY_*
视图的 bi_engine_statistics
列中。例如,以下查询返回当前项目在过去 24 小时内所有作业的 bi_engine_statistics
:
SELECT
creation_time,
job_id,
bi_engine_statistics
FROM
`region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE
creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY)
AND CURRENT_TIMESTAMP()
AND job_type = "QUERY"
使用以下格式为 INFORMATION_SCHEMA
视图中的 project-id
、region
和 views
指定区域性:
`PROJECT_ID`.`region-REGION_NAME`.INFORMATION_SCHEMA.VIEW
Cloud Logging
您可以在 Google Cloud 控制台的 Cloud Logging 页面上查看 BI Engine 的日志信息。查看 BI Engine 的日志信息的方式取决于查询数据的工具:
- 对于未启用 Looker Studio 原生集成的 Looker Studio 查询:您可以在 Cloud Logging 页面上查看载荷为
protoPayload.serviceName="bigquerybiengine.googleapis.com"
的日志信息。 - 对于所有其他流量:您可以在 Cloud Logging 页面上查看载荷为
protoPayload.serviceName="bigquery.googleapis.com"
的日志信息。
后续步骤
- 详细了解 Cloud Monitoring。
- 详细了解如何监控图表。
- 详细了解 Monitoring 提醒。
- 详细了解 Cloud Logging。