排定筆記本
本文說明如何在 BigQuery 中排定 Colab Enterprise 筆記本的執行時間,以及檢查排定的筆記本執行作業。
筆記本是由 Dataform 支援的程式碼資產。 不過,筆記本不會顯示在 Dataform 中。
您可以排定筆記本在指定時間和頻率自動執行,例如訓練機器學習模型、呼叫外部 API 或執行 BigQuery DataFrames 程式碼。
系統會自動儲存您對筆記本所做的變更,但只有您和有權存取筆記本的使用者可以查看。如要使用新版筆記本更新排程,請部署筆記本。 部署筆記本時,系統會使用目前版本的筆記本更新排程。排程會執行最新部署的筆記本版本。
每個筆記本排程都會使用您的 Google 帳戶使用者憑證或Dataform 服務帳戶執行,您可以在設定排程時選取。
Dataform 會將排定執行的筆記本輸出內容,寫入排程建立期間選取的 Cloud Storage 值區。
筆記本排程使用標準 E2 執行階段。 系統會收取 Colab Enterprise 執行階段費用。系統會根據 E2 機器類型,收取執行階段處理費用。如要瞭解標準 E2 執行階段的定價,請參閱 Colab Enterprise 定價。
事前準備
請先建立筆記本。
啟用筆記本排程
如要安排筆記本的執行時間,您必須將下列角色授予計畫用於筆記本排程的服務帳戶:
- Notebook Executor User (
roles/aiplatform.notebookExecutorUser
) - 按照「授予專案的單一角色」一文中的步驟,在所選專案中,將 Notebook Executor User 角色授予服務帳戶。
- 儲存空間管理員 (
roles/storage.admin
) - 按照「將主體新增至值區層級政策」一文的說明,將服務帳戶新增為主體,加入您打算用來儲存排定筆記本執行作業輸出內容的 Cloud Storage 值區,並將「Storage Admin」角色授予這個主體。
- 服務帳戶使用者 (
roles/iam.serviceAccountUser
) - 按照「為服務帳戶授予單一角色」一文中的步驟,將服務帳戶新增為自己的主體。換句話說,請將服務帳戶新增為同一服務帳戶的主體。然後將服務帳戶使用者角色授予這個主體。
此外,您必須將下列角色授予預設 Dataform 服務帳戶:
- 服務帳戶憑證建立者 (
roles/iam.serviceAccountTokenCreator
) - 按照「將憑證建立存取權授予自訂 Dataform 服務帳戶」一文的說明,將預設 Dataform 服務帳戶新增為服務帳戶的主體,並將「服務帳戶憑證建立者」角色授予這個主體。
如要進一步瞭解 Dataform 中的服務帳戶,請參閱「關於 Dataform 中的服務帳戶」。
所需權限
如要建立筆記本排程,您需要下列角色:
- Dataform 管理員 (
roles/dataform.admin
) - BigQuery 讀取工作階段使用者 (
roles/bigquery.readSessionUser
) 或 BigQuery Studio 使用者 (roles/bigquery.studioUser
) - 筆記本執行階段使用者 (
roles/aiplatform.notebookRuntimeUser
)
如要在安排筆記本執行時間時使用筆記本執行階段範本,您需要具備「筆記本執行階段使用者」(roles/aiplatform.notebookRuntimeUser
) 角色。
如要編輯及刪除筆記本排程,您必須具備
Dataform 編輯者 (roles/dataform.editor
)
角色。
如要查看筆記本排程,您需要「Dataform 檢視者」(roles/dataform.viewer
) 角色。
如要進一步瞭解 BigQuery IAM,請參閱「使用身分與存取權管理功能控管存取權」一文。
建立排程
如要建立筆記本排程,請按照下列步驟操作:
「Explorer」窗格
前往 Google Cloud 控制台的「BigQuery」頁面。
在「Explorer」窗格中,展開專案和「Notebooks」資料夾,以及視需要展開「Shared notebooks」資料夾。按一下要排程的筆記本名稱。
在「Notebook」(筆記本) 工具列中,按一下「Schedule」(排程)。
或者,按一下「時間表」
。在「排定筆記本」窗格的「排程名稱」欄位中,輸入排程名稱。
在「驗證」部分,使用 Google 帳戶使用者憑證或服務帳戶授權筆記本。
- 如要使用 Google 帳戶使用者憑證 (預覽),請選取「以我的使用者憑證執行」。
- 如要使用服務帳戶,請選取「以所選服務帳戶執行」,然後選取服務帳戶。
在「筆記本選項」部分,於「執行階段範本」欄位中,選取 Colab 筆記本執行階段範本或預設執行階段規格。如要進一步瞭解如何建立 Colab 筆記本執行階段範本,請參閱「建立執行階段範本」一文。
在「Cloud Storage bucket」(Cloud Storage 值區) 欄位中,按一下「Browse」(瀏覽),然後選取或建立 Cloud Storage 值區。
您必須在所選值區中,將Storage 管理員 (
roles/storage.admin
) IAM 角色授予所選服務帳戶。詳情請參閱「啟用筆記本排程」。在「排程頻率」部分執行下列操作:
- 在「Repeats」(重複頻率) 選單中,選取排定筆記本執行的頻率。
- 在「At time」(時間) 欄位中,輸入排定筆記本執行的時間。
- 在「時區」選單中,選取時間表的時區。
按一下「建立時間表」。如果驗證方法選取「使用我的使用者憑證執行」,您必須授權 Google 帳戶 (預覽)。
建立時間表時,系統會自動部署目前版本的筆記本。如要使用新版筆記本更新時間表,請部署筆記本。
系統會按照所選時間和頻率,執行最新部署的筆記本版本。
「排定時間」頁面
前往 Google Cloud 控制台的「Scheduling」頁面。
按一下「建立」,然後從選單中選取「筆記本排程」。
在「排程筆記本」窗格的「筆記本」欄位中,選取要排程的筆記本。
在「排程名稱」欄位中,輸入排程名稱。
在「驗證」部分,使用 Google 帳戶使用者憑證或服務帳戶授權筆記本。
- 如要使用 Google 帳戶使用者憑證 (預覽),請選取「以我的使用者憑證執行」。
- 如要使用服務帳戶,請選取「以所選服務帳戶執行」,然後選取服務帳戶。
在「筆記本選項」部分,於「執行階段範本」欄位中,選取 Colab 筆記本執行階段範本或預設執行階段規格。如要進一步瞭解如何建立 Colab 筆記本執行階段範本,請參閱「建立執行階段範本」一文。
在「Cloud Storage bucket」(Cloud Storage 值區) 欄位中,按一下「Browse」(瀏覽),然後選取或建立 Cloud Storage 值區。
您必須在所選值區中,將Storage 管理員 (
roles/storage.admin
) IAM 角色授予所選服務帳戶。詳情請參閱「啟用筆記本排程」。在「排程頻率」部分執行下列操作:
- 在「Repeats」(重複頻率) 選單中,選取排定筆記本執行的頻率。
- 在「At time」(時間) 欄位中,輸入排定筆記本執行的時間。
- 在「時區」選單中,選取時間表的時區。
按一下「建立時間表」。如果驗證方法選取「使用我的使用者憑證執行」,您必須授權 Google 帳戶 (預覽)。
建立時間表時,系統會自動部署目前版本的筆記本。如要使用新版筆記本更新時間表,請部署筆記本。
系統會按照所選時間和頻率,執行最新部署的筆記本版本。
授權給您的 Google 帳戶
如要使用Google 帳戶使用者憑證驗證資源,您必須手動授予 BigQuery 管道權限,才能取得 Google 帳戶的存取權杖,並代表您存取來源資料。您可以使用 OAuth 對話方塊介面手動核准。
您只需要授予 BigQuery 管道一次權限。
如要撤銷授予的權限,請按照下列步驟操作:
- 前往 Google 帳戶頁面。
- 按一下「BigQuery Pipelines」。
- 按一下 [移除存取權]。
如果新的 Google 帳戶擁有者從未建立時間表,更新憑證以變更筆記本時間表擁有者時,也需要手動核准。
部署筆記本
部署筆記本會使用目前版本的筆記本更新排程。 排程會執行最新部署的筆記本版本。
如果這個筆記本有排程,當您編輯筆記本時,BigQuery 會提示您部署變更,以更新排程。
如要部署筆記本,請按照下列步驟操作:
前往 Google Cloud 控制台的「BigQuery」頁面。
在「Explorer」窗格中,展開專案和「Notebooks」資料夾,如有需要,也請展開「Shared notebooks」資料夾。按一下所選筆記本的名稱。
按一下 [Deploy] (部署)。
系統會以目前版本的筆記本更新對應的排程。 系統會在排定的時間執行最新部署的筆記本版本。
手動執行已部署的筆記本
手動執行已部署的筆記本時,BigQuery 會執行一次已部署的筆記本,與排程無關。
如要手動執行已部署的筆記本,請按照下列步驟操作:
前往 Google Cloud 控制台的「Scheduling」頁面。
按一下所選筆記本排程的名稱。
在「排程詳細資料」頁面中,按一下「執行」。
查看所有時間表
如要查看專案中的所有筆記本排程,請按照下列步驟操作:
前往 Google Cloud 控制台的「Scheduling」頁面。
選用:如要顯示含有筆記本行程詳細資料的其他資料欄,請按一下「資料欄顯示選項」
,然後選取資料欄並按一下「確定」。
查看時間表詳細資料
您可以在「Explorer」窗格或「Scheduling」頁面中,查看所選排程的詳細資料。
如要查看所選筆記本的排程詳細資料,請按照下列步驟操作:
「Explorer」窗格
前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。
在「Explorer」窗格中,展開專案和「Notebooks」資料夾,以及視需要展開「Shared notebooks」資料夾。按一下所選筆記本的名稱。
在「Notebook」(筆記本) 工具列中,按一下「Schedule」(排程)。
或者,按一下「時間表」
。
「排定時間」頁面
前往 Google Cloud 控制台的「Scheduling」頁面。
按一下所選筆記本排程的名稱。
查看過往執行作業
您可以在「Explorer」(探索) 窗格或「Scheduling」(排程) 頁面中,查看所選筆記本排程的過往執行作業。
如要查看所選筆記本排程的過往執行作業,請按照下列步驟操作:
「Explorer」窗格
前往 Google Cloud 控制台的「BigQuery」頁面。
在「Explorer」窗格中,展開專案和「Notebooks」資料夾,以及視需要展開「Shared notebooks」資料夾。按一下所選筆記本的名稱。
按一下「時間表」,然後按一下「查看過去的執行作業」。
「排定時間」頁面
前往 Google Cloud 控制台的「Scheduling」頁面。
按一下所選筆記本排程的名稱。
在「排程詳細資料」頁面的「過去的執行作業」部分,檢查過去的執行作業。
選用:如要重新整理過往執行作業的清單,請按一下「重新整理」。
停用時間表
如要暫停所選筆記本的排定執行作業,但不想刪除排程,可以停用排程。
如要停用所選筆記本的排程,請按照下列步驟操作:
「Explorer」窗格
前往 Google Cloud 控制台的「BigQuery」頁面。
在「Explorer」窗格中,展開專案和「Notebooks」資料夾,如有需要,也請展開「Shared notebooks」資料夾。按一下所選筆記本的名稱。
在「Notebook」(筆記本) 工具列中,按一下「Schedule」(排程)。
或者,按一下「時間表」
。在排程詳細資料表格的「排程狀態」列中,按一下「已啟用排程」切換鈕。
「排定時間」頁面
前往 Google Cloud 控制台的「Scheduling」頁面。
按一下所選筆記本的名稱。
在「Schedule details」(排程詳細資料) 頁面中,按一下「Disable」(停用)。
啟用時間表
如要恢復已停用筆記本排程的排定執行作業,請按照下列步驟操作:
「Explorer」窗格
前往 Google Cloud 控制台的「BigQuery」頁面。
在「Explorer」窗格中,展開專案和「Notebooks」資料夾,如有需要,也請展開「Shared notebooks」資料夾。按一下所選筆記本的名稱。
在「Notebook」(筆記本) 工具列中,按一下「Schedule」(排程)。
或者,按一下「時間表」
。在排程詳細資料表格的「排程狀態」列中,點選「排程已停用」切換鈕。
「排定時間」頁面
前往 Google Cloud 控制台的「Scheduling」頁面。
按一下所選筆記本的名稱。
在「時間表詳細資料」頁面中,按一下「啟用」。
編輯時間表
您可以在「探索」窗格或「排程」頁面中編輯時間表。
如要編輯時間表,請按照下列步驟操作:
「Explorer」窗格
前往 Google Cloud 控制台的「BigQuery」頁面。
在「Explorer」窗格中,展開專案和「Notebooks」資料夾,以及視需要展開「Shared notebooks」資料夾。按一下所選筆記本的名稱。
按一下「排程」,然後按一下「編輯」。
在「排程詳細資料」對話方塊中編輯排程,然後按一下「更新排程」。
「排定時間」頁面
前往 Google Cloud 控制台的「Scheduling」頁面。
按一下所選筆記本排程的名稱。
在「排程詳細資料」頁面中,按一下「編輯」。
按一下「查看時間表」,然後按一下「編輯」。
在「排定筆記本時間」對話方塊中編輯排程,然後按一下「更新排程」。
刪除時間表
如要永久刪除所選筆記本的排程,請按照下列步驟操作:
前往 Google Cloud 控制台的「Scheduling」頁面。
執行下列其中一項操作:
按一下所選時間表的名稱,然後在「時間表詳細資料」頁面中,按一下「刪除」。
在包含所選時間表的資料列中,按一下「動作」欄中的「查看動作」
,然後按一下「刪除」。
在隨即顯示的對話方塊中,按一下「刪除」。
後續步驟
- 進一步瞭解 BigQuery 中的 Colab Enterprise 筆記本。
- 瞭解如何建立筆記本。