监控 BI Engine

BigQuery BI Engine 与 Google Cloud 服务搭配使用,以帮助监控 BI Engine 的使用情况并进行问题排查。

Cloud Monitoring

BigQuery BI Engine 与 Cloud Monitoring 集成,使您可以监控汇总的 BI Engine 使用情况和配置提醒。如需了解如何使用 Monitoring 创建 BI Engine 指标的信息中心,请参阅 Monitoring 文档中的创建图表

BigQuery BI Engine 提供以下指标:

资源 指标 详情
BigQuery 项目 预留的总字节数 分配给一个 Google Cloud 项目的总容量
BigQuery 项目 预留的已用字节数 一个 Google Cloud 项目中所用的总容量
BigQuery 项目 BI Engine 排名前列的表缓存字节数 每个表的缓存用量。此指标显示每个区域报告的前 N 个表使用情况。

BI Engine 在使用 Looker Studio 时也会提供以下指标。

资源 指标 详情
BigQuery BI Engine 模型 运行中请求数 向一个模型发送的并发请求数(采样周期内的最大值)
BigQuery BI Engine 模型 请求数 向一个模型发出的请求总数
BigQuery BI Engine 模型 请求执行时间 查询执行延迟时间中间值

您可以使用 Cloud Monitoring 查看由 BI Engine 缓存的 Looker Studio 数据源的流量。当您在 Cloud Monitoring 微件中查看 BI Engine 的指标时,模型 ID 显示为指标的维度。要查找 BigQuery BI Engine 模型的 ID,请在网络浏览器中打开 Looker Studio 模型。模型 ID 是网址中位于 datasources/ 后面的部分。例如 https://lookerstudio.google.com/c/u/0/datasources/<model_id>

如需查看可用 Google Cloud 指标的完整列表,请参阅 Google Cloud 指标

Looker Studio BigQuery 原生集成不提供每个模型的指标。而是使用 BigQuery API 监控功能在 INFORMATION_SCHEMA 表中公开数据源和报告 ID。

BI Engine 的查询统计信息

本部分介绍了如何查找查询统计信息,以帮助监控、诊断 BI Engine 的使用情况并进行问题排查。

BI Engine 加速模式

启用 BI Engine 加速后,您的查询可以在以下四种模式下运行:


BI_ENGINE_DISABLED
BI Engine 停用了加速模式。biEngineReasons 指定了更详细的原因。该查询使用 BigQuery 执行引擎运行。

PARTIAL_INPUT
部分查询输入已使用 BI Engine 加速。如查询优化和加速中所述,查询计划通常分解为多个输入阶段。BI Engine 支持信息中心中常用的子查询模式类型。如果查询包含多个输入阶段,其中只有部分输入阶段属于受支持的用例,则 BI Engine 会使用常规 BigQuery 引擎运行不受支持的阶段,而不进行加速。在这种情况下,BI Engine 会返回 PARTIAL 加速代码,并使用 biEngineReasons 填充未加速其他输入阶段的原因。

 FULL_INPUT
 
查询的所有输入阶段都使用 BI Engine 进行了加速。

 FULL_QUERY
 
整个查询都使用 BI Engine 进行了加速。

BigQuery API 作业统计信息

关于 BI Engine 的详细统计信息可以通过 BigQuery API 获得。

如需提取与 BI Engine 加速查询关联的统计信息,请运行以下 bq 命令行工具命令:

bq show --format=prettyjson -j job_id

如果项目启用了 BI Engine 加速,则输出会生成一个新字段 biEngineStatistics。下面是一个作业报告示例:

 "statistics": {
    "creationTime": "1602175128902",
    "endTime": "1602175130700",
    "query": {
      "biEngineStatistics": {
        "biEngineMode": "DISABLED",
        "biEngineReasons": [
          {
            "code": "UNSUPPORTED_SQL_TEXT",
            "message": "Detected unsupported join type"
          }
        ]
      },

如需详细了解 BiEngineStatistics 字段,请参阅作业参考

BigQuery INFORMATION_SCHEMA 统计信息

BI Engine 加速统计信息包含在 BigQuery INFORMATION_SCHEMA 视图中,位于 INFORMATION_SCHEMA.JOBS_BY_* 视图的 bi_engine_statistics 列中。例如,以下查询返回当前项目在过去 24 小时内所有作业的 bi_engine_statistics

SELECT
  creation_time,
  job_id,
  bi_engine_statistics
FROM
  `region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE
  creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY)
  AND CURRENT_TIMESTAMP()
  AND job_type = "QUERY"

使用以下格式为 INFORMATION_SCHEMA 视图中的 project-idregionviews 指定区域性

`PROJECT_ID`.`region-REGION_NAME`.INFORMATION_SCHEMA.VIEW

Cloud Logging

您可以在 Google Cloud 控制台的 Cloud Logging 页面上查看 BI Engine 的日志信息。查看 BI Engine 的日志信息的方式取决于查询数据的工具:

  • 对于未启用 Looker Studio 原生集成的 Looker Studio 查询:您可以在 Cloud Logging 页面上查看载荷为 protoPayload.serviceName="bigquerybiengine.googleapis.com" 的日志信息。
  • 对于所有其他流量:您可以在 Cloud Logging 页面上查看载荷为 protoPayload.serviceName="bigquery.googleapis.com" 的日志信息。

后续步骤