编排笔记本
如需针对笔记本编排提供反馈,请发送电子邮件至 bigquery-notebooks-scheduling-support@google.com。
本文档介绍了如何在 BigQuery 中编排 Colab Enterprise 笔记本,包括如何安排笔记本运行和检查安排的笔记本运行情况。
Notebooks 是由 Dataform 提供支持的代码资产。
您可以安排笔记本按指定的时间和频率自动运行,例如用于训练机器学习模型、调用外部 API 或运行 BigQuery DataFrames 代码。
您对笔记本进行的更改会自动保存,但只有您和有权访问笔记本的用户才能看到这些更改。如需使用笔记本的新版本更新时间表,您需要部署笔记本。通过部署笔记本,您可以使用笔记本的当前版本更新其时间表。时间表会运行笔记本的最新部署版本。
每个笔记本时间表都由自定义 Dataform 服务账号运行,您可以在创建时间表期间选择该账号。如需详细了解 Dataform 中的服务账号类型,请参阅 Dataform 中的服务账号简介。
Dataform 会将安排的笔记本运行的输出写入在创建时间表期间选择的 Cloud Storage 存储桶。
笔记本时间表使用标准 E2 运行时。适用 Colab Enterprise 运行时费用。您需要按照 E2 机器类型支付运行时处理费用。如需了解标准 E2 运行时的价格,请参阅 Colab Enterprise 价格。
准备工作
开始之前,请先创建一个笔记本。
启用笔记本时间安排
如需安排笔记本,您必须向计划用于笔记本时间表的 Dataform 自定义服务账号授予以下角色:
- Notebook Executor User (
roles/aiplatform.notebookExecutorUser
) - 请按照针对项目授予单个角色中的说明,针对所选项目向 Dataform 自定义服务账号授予 Notebook Executor User 角色。
- Storage Admin (
roles/storage.admin
) - 请按照将主账号添加到存储桶级层政策中中的说明,将您的自定义 Dataform 服务账号作为主账号添加到您计划用于存储安排的笔记本运行输出的 Cloud Storage 存储桶,并向此主账号授予 Storage Admin 角色。
- Service Account User (
roles/iam.serviceAccountUser
) - 请按照针对服务账号授予单个角色中的说明,将自定义 Dataform 服务账号添加为其主账号。换句话说,将自定义 Dataform 服务账号作为主账号添加到同一自定义 Dataform 服务账号。然后,向此主账号授予 Service Account User 角色。
此外,您还必须向默认 Dataform 服务账号授予以下角色:
- Service Account Token Creator(
roles/iam.serviceAccountTokenCreator
) - 请按照向自定义 Dataform 服务账号授予令牌创建访问权限中的说明,将默认 Dataform 服务账号作为主账号添加到自定义 Dataform 服务账号,并向此主账号授予 Service Account Token Creator 角色。
如需详细了解 Dataform 中的服务账号,请参阅 Dataform 中的服务账号简介。
所需权限
如需创建笔记本时间表,您需要拥有以下角色:
- Dataform Admin (
roles/dataform.admin
) - BigQuery Read Session User (
roles/bigquery.readSessionUser
) 或 BigQuery Studio User (roles/bigquery.studioUser
)
如需修改和删除笔记本时间表(预览版),您需要拥有 Dataform Editor (roles/dataform.editor
) 角色。
如需查看笔记本时间表(预览版),您需要拥有 Dataform Viewer (roles/dataform.viewer
) 角色。
如需详细了解 BigQuery IAM,请参阅使用 IAM 进行访问权限控制。
创建时间表
如需安排笔记本,请按以下步骤操作:
在 Google Cloud 控制台中,前往 BigQuery 页面。
在探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击您要安排的笔记本的名称。
点击安排。
在安排笔记本窗格中的时间表名称字段中,输入时间表的名称。
在运行时模板字段中,选择一个运行时。
在服务账号字段中,选择一个自定义 Dataform 服务账号。
在 Cloud Storage 存储桶字段中,点击浏览,然后选择或创建 Cloud Storage 存储桶。
所选的自定义 Dataform 服务账号必须在所选存储桶中获得 Storage Admin IAM 角色。如需了解详情,请参阅启用笔记本时间安排。
在时间表频率部分中,执行以下操作:
- 在重复频率下拉菜单中,选择安排的笔记本运行的频率。
- 在时间字段中,为安排的笔记本运行输入时间。
- 在时区下拉菜单中,选择时间表的时区。
点击创建时间表。
创建时间表后,系统会自动部署笔记本的当前版本。如需使用笔记本的新版本更新时间表,请部署笔记本。
笔记本的最新部署版本会按所选的时间和频率运行。
部署笔记本
部署笔记本操作会使用笔记本的当前版本更新其时间表。时间表会运行笔记本的最新部署版本。
如需部署笔记本,请按以下步骤操作:
在 Google Cloud 控制台中,前往 BigQuery 页面。
在探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。
点击部署。
相应的时间表会使用笔记本的当前版本进行更新。笔记本的最新部署版本会在安排的时间运行。
手动运行已部署的笔记本
当您手动运行按所选时间表部署的笔记本时,BigQuery 会独立于时间表执行已部署的笔记本一次。
如需手动运行已部署的笔记本,请按以下步骤操作:
在 Google Cloud 控制台中,前往编排页面。
点击所选笔记本时间表的名称。
在时间表详情页面上,点击运行。
查看所有时间表
如需查看项目中的所有笔记本时间表,请按以下步骤操作:
在 Google Cloud 控制台中,前往编排页面。
可选:如需显示包含记事本时间表详细信息的其他列,请点击
Column display options(列显示选项),然后选择列并点击 OK(确定)。
查看时间表详情
您可以在探索器窗格或编排页面中查看所选时间表的详细信息。
如需查看所选笔记本的时间表详情,请按以下步骤操作:
Explorer 窗格
在 Google Cloud 控制台中,前往 BigQuery 页面。
在探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。
点击查看时间表。
编排页面
在 Google Cloud 控制台中,前往编排页面。
点击所选笔记本时间表的名称。
查看过往的执行情况
您可以在 Explorer 窗格或 Orchestration 页面中查看所选笔记本时间表的过往执行情况。
如需查看所选笔记本时间表的过往的执行情况,请按以下步骤操作:
Explorer 窗格
在 Google Cloud 控制台中,前往 BigQuery 页面。
在探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。
点击查看时间表,然后点击查看过往的执行情况。
编排页面
在 Google Cloud 控制台中,前往编排页面。
点击所选笔记本时间表的名称。
在时间表详情页面的过往执行部分,检查过往执行。
可选:如需刷新过往执行作业的列表,请点击刷新。
停用时间表
如需对所选笔记本暂停安排的运行,而不删除时间表,您可以停用时间表。
如需为所选笔记本停用时间表,请按以下步骤操作:
在 Google Cloud 控制台中,前往 BigQuery 页面。
在探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。
点击查看时间表。
在时间表详情表格中的时间表状态行中,点击已启用时间表切换开关。
启用时间表
如需对停用的时间表恢复安排的运行,请按以下步骤操作:
在 Google Cloud 控制台中,前往 BigQuery 页面。
在探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。
点击查看时间表。
在时间表详情表格中的时间表状态行中,点击已停用时间表切换开关。
修改时间表
您可以在 Explorer 窗格或协调页面中修改时间表。
如需修改时间表,请按以下步骤操作:
Explorer 窗格
在 Google Cloud 控制台中,前往 BigQuery 页面。
在探索器窗格中,展开您的项目和笔记本文件夹,然后根据需要展开共享笔记本文件夹。点击所选笔记本的名称。
点击查看时间表,然后点击修改。
在安排笔记本对话框中,修改时间表,然后点击更新时间表。
编排页面
在 Google Cloud 控制台中,前往编排页面。
点击所选笔记本时间表的名称。
在时间表详情页面上,点击修改。
点击查看时间表,然后点击修改。
在安排笔记本对话框中,修改时间表,然后点击更新时间表。
删除时间表
如需永久删除所选笔记本的时间表,请按以下步骤操作:
在 Google Cloud 控制台中,前往编排页面。
执行以下其中一项操作:
点击所选时间表的名称,然后在时间表详情页面上点击删除。
在包含所选时间表的行中,点击操作列中的
查看操作,然后点击删除。
在随即显示的对话框中,点击删除。
后续步骤
- 详细了解 BigQuery 中的 Colab Enterprise 笔记本。
- 了解如何创建笔记本。