使用管理作业探索器
作为 BigQuery 管理员,您可以使用管理作业探索器来帮助您监控组织中的作业活动。作业探索器还提供了一系列过滤条件和排序选项,用于排查和识别有问题的作业。作业探索器让您无需深入了解 INFORMATION_SCHEMA
,并且可让您快速查看作业信息(例如所有者、项目、槽用量、时长等),而无需编写 INFORMATION_SCHEMA
查询。
BigQuery 通过以下 INFORMATION_SCHEMA
视图提供作业详细信息和分析洞见:
INFORMATION_SCHEMA.JOBS_BY_PROJECT
INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION
INFORMATION_SCHEMA.JOBS_BY_USER
所需的角色
如需获得使用管理作业探索器所需的权限,请让您的管理员为您授予组织或项目的 BigQuery Resource Viewer (roles/bigquery.resourceViewer
) IAM 角色。如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
此预定义角色可提供使用管理作业探索器所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
使用管理作业探索器需要以下权限:
-
如需在项目级层查看数据:
针对项目的
bigquery.jobs.listAll
权限 -
在项目级层查看数据:针对组织的
bigquery.jobs.listAll
权限 -
按组织中的预留过滤:针对组织的
bigquery.reservations.list
权限
过滤作业
如需过滤 INFORMATION_SCHEMA.JOBS*
视图中包含的查询的作业,请执行以下操作:
在 Google Cloud 控制台中,转到 BigQuery 页面。
在导航面板中,选择管理 > 作业探索器。
从位置列表中,选择您要查看其作业的位置。
根据需要应用可选的过滤条件:
- 作业范围。例如,当前项目、组织和作业。
- 状态。例如,已完成、错误、活跃和已加入队列。
- 作业优先级。例如,交互式作业或批量作业。
- 作业 ID。
- 所有者。作业所有者的电子邮件 ID(仅当作业范围为项目或组织时适用)。
- 项目 ID。(仅当作业范围为组织时适用)
- 预留 ID。(仅当作业范围为组织时适用)
- 槽时间超过。用时超过指定槽时间的作业。
- 时长超过。用时超过指定时长的作业。
- 处理的字节数超过。处理的字节数超过指定处理字节数的作业。
- 查询数据分析。查询数据分析的类型,例如槽争用、已超出内存 shuffle 容量以及数据输入缩放变化。
- 查询哈希值。查询哈希值包含查询的哈希值。它是一个十六进制字符串哈希值,忽略注释、参数值、UDF 和字面量。系统会对非缓存命中的成功 GoogleSQL 查询显示此字段。
- 标签。可分配给作业的
key:value
对。您可以使用键、值或key:value
组合进行过滤。
查看查询执行详情
如需查看作业的查询执行详情,请执行以下操作:
如需了解如何解读数据分析,请参阅解读查询性能数据分析。
价格
作业探索器无需额外付费。用于填充这些图表的查询不会计费,也不会使用用户拥有的预留中的槽。处理过多数据的查询会超时。
后续步骤
- 了解reservations。
- 了解如何购买槽。
- 了解如何估算槽容量要求。
- 了解如何查看槽建议和数据分析。