排定筆記本

本文說明如何在 BigQuery 中排定 Colab Enterprise 筆記本的執行時間,以及檢查排定的筆記本執行作業。

筆記本是由 Dataform 支援的程式碼資產。 不過,筆記本不會顯示在 Dataform 中。

您可以排定筆記本在指定時間和頻率自動執行,例如訓練機器學習模型、呼叫外部 API 或執行 BigQuery DataFrames 程式碼。

系統會自動儲存您對筆記本所做的變更,但只有您和有權存取筆記本的使用者可以查看。如要使用新版筆記本更新排程,請部署筆記本。 部署筆記本時,系統會使用目前版本的筆記本更新排程。排程會執行最新部署的筆記本版本。

每個筆記本排程都會使用您的 Google 帳戶使用者憑證或Dataform 服務帳戶執行,您可以在設定排程時選取。

Dataform 會將排定執行的筆記本輸出內容,寫入排程建立期間選取的 Cloud Storage 值區

筆記本排程使用標準 E2 執行階段。 系統會收取 Colab Enterprise 執行階段費用。系統會根據 E2 機器類型,收取執行階段處理費用。如要瞭解標準 E2 執行階段的定價,請參閱 Colab Enterprise 定價

事前準備

請先建立筆記本

啟用筆記本排程

如要安排筆記本的執行時間,您必須將下列角色授予計畫用於筆記本排程的服務帳戶:

Notebook Executor User (roles/aiplatform.notebookExecutorUser)
按照「授予專案的單一角色」一文中的步驟,在所選專案中,將 Notebook Executor User 角色授予服務帳戶。
儲存空間管理員 (roles/storage.admin)
按照「將主體新增至值區層級政策」一文的說明,將服務帳戶新增為主體,加入您打算用來儲存排定筆記本執行作業輸出內容的 Cloud Storage 值區,並將「Storage Admin」角色授予這個主體。
服務帳戶使用者 (roles/iam.serviceAccountUser)
按照「為服務帳戶授予單一角色」一文中的步驟,將服務帳戶新增為自己的主體。換句話說,請將服務帳戶新增為同一服務帳戶的主體。然後將服務帳戶使用者角色授予這個主體。

此外,您必須將下列角色授予預設 Dataform 服務帳戶:

服務帳戶憑證建立者 (roles/iam.serviceAccountTokenCreator)
按照「將憑證建立存取權授予自訂 Dataform 服務帳戶」一文的說明,將預設 Dataform 服務帳戶新增為服務帳戶的主體,並將「服務帳戶憑證建立者」角色授予這個主體。

如要進一步瞭解 Dataform 中的服務帳戶,請參閱「關於 Dataform 中的服務帳戶」。

所需權限

如要建立筆記本排程,您需要下列角色:

如要在安排筆記本執行時間時使用筆記本執行階段範本,您需要具備「筆記本執行階段使用者」(roles/aiplatform.notebookRuntimeUser) 角色。

如要編輯及刪除筆記本排程,您必須具備 Dataform 編輯者 (roles/dataform.editor) 角色。

如要查看筆記本排程,您需要「Dataform 檢視者」(roles/dataform.viewer) 角色。

如要進一步瞭解 BigQuery IAM,請參閱「使用身分與存取權管理功能控管存取權」一文。

建立排程

如要建立筆記本排程,請按照下列步驟操作:

「Explorer」窗格

  1. 前往 Google Cloud 控制台的「BigQuery」頁面。

    前往 BigQuery

  2. 在「Explorer」窗格中,展開專案和「Notebooks」資料夾,以及視需要展開「Shared notebooks」資料夾。按一下要排程的筆記本名稱。

  3. 在「Notebook」(筆記本) 工具列中,按一下「Schedule」(排程)

    或者,按一下「時間表」

  4. 在「排定筆記本」窗格的「排程名稱」欄位中,輸入排程名稱。

  5. 在「驗證」部分,使用 Google 帳戶使用者憑證或服務帳戶授權筆記本。

    • 如要使用 Google 帳戶使用者憑證 (預覽),請選取「以我的使用者憑證執行」
    • 如要使用服務帳戶,請選取「以所選服務帳戶執行」,然後選取服務帳戶。
  6. 在「筆記本選項」部分,於「執行階段範本」欄位中,選取 Colab 筆記本執行階段範本或預設執行階段規格。如要進一步瞭解如何建立 Colab 筆記本執行階段範本,請參閱「建立執行階段範本」一文。

  7. 在「Cloud Storage bucket」(Cloud Storage 值區) 欄位中,按一下「Browse」(瀏覽),然後選取或建立 Cloud Storage 值區。

    您必須在所選值區中,將Storage 管理員 (roles/storage.admin) IAM 角色授予所選服務帳戶。詳情請參閱「啟用筆記本排程」。

  8. 在「排程頻率」部分執行下列操作:

    1. 在「Repeats」(重複頻率) 選單中,選取排定筆記本執行的頻率。
    2. 在「At time」(時間) 欄位中,輸入排定筆記本執行的時間。
    3. 在「時區」選單中,選取時間表的時區。
  9. 按一下「建立時間表」。如果驗證方法選取「使用我的使用者憑證執行」,您必須授權 Google 帳戶 (預覽)。

建立時間表時,系統會自動部署目前版本的筆記本。如要使用新版筆記本更新時間表,請部署筆記本

系統會按照所選時間和頻率,執行最新部署的筆記本版本。

「排定時間」頁面

  1. 前往 Google Cloud 控制台的「Scheduling」頁面。

    前往「排程」

  2. 按一下「建立」,然後從選單中選取「筆記本排程」。

  3. 在「排程筆記本」窗格的「筆記本」欄位中,選取要排程的筆記本。

  4. 在「排程名稱」欄位中,輸入排程名稱。

  5. 在「驗證」部分,使用 Google 帳戶使用者憑證或服務帳戶授權筆記本。

    • 如要使用 Google 帳戶使用者憑證 (預覽),請選取「以我的使用者憑證執行」
    • 如要使用服務帳戶,請選取「以所選服務帳戶執行」,然後選取服務帳戶。
  6. 在「筆記本選項」部分,於「執行階段範本」欄位中,選取 Colab 筆記本執行階段範本或預設執行階段規格。如要進一步瞭解如何建立 Colab 筆記本執行階段範本,請參閱「建立執行階段範本」一文。

  7. 在「Cloud Storage bucket」(Cloud Storage 值區) 欄位中,按一下「Browse」(瀏覽),然後選取或建立 Cloud Storage 值區。

    您必須在所選值區中,將Storage 管理員 (roles/storage.admin) IAM 角色授予所選服務帳戶。詳情請參閱「啟用筆記本排程」。

  8. 在「排程頻率」部分執行下列操作:

    1. 在「Repeats」(重複頻率) 選單中,選取排定筆記本執行的頻率。
    2. 在「At time」(時間) 欄位中,輸入排定筆記本執行的時間。
    3. 在「時區」選單中,選取時間表的時區。
  9. 按一下「建立時間表」。如果驗證方法選取「使用我的使用者憑證執行」,您必須授權 Google 帳戶 (預覽)。

建立時間表時,系統會自動部署目前版本的筆記本。如要使用新版筆記本更新時間表,請部署筆記本

系統會按照所選時間和頻率,執行最新部署的筆記本版本。

授權給您的 Google 帳戶

如要使用Google 帳戶使用者憑證驗證資源,您必須手動授予 BigQuery 管道權限,才能取得 Google 帳戶的存取權杖,並代表您存取來源資料。您可以使用 OAuth 對話方塊介面手動核准。

您只需要授予 BigQuery 管道一次權限。

如要撤銷授予的權限,請按照下列步驟操作:

  1. 前往 Google 帳戶頁面
  2. 按一下「BigQuery Pipelines」
  3. 按一下 [移除存取權]

如果新的 Google 帳戶擁有者從未建立時間表,更新憑證以變更筆記本時間表擁有者時,也需要手動核准。

部署筆記本

部署筆記本會使用目前版本的筆記本更新排程。 排程會執行最新部署的筆記本版本。

如果這個筆記本有排程,當您編輯筆記本時,BigQuery 會提示您部署變更,以更新排程。

如要部署筆記本,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「BigQuery」頁面。

    前往 BigQuery

  2. 在「Explorer」窗格中,展開專案和「Notebooks」資料夾,如有需要,也請展開「Shared notebooks」資料夾。按一下所選筆記本的名稱。

  3. 按一下 [Deploy] (部署)

系統會以目前版本的筆記本更新對應的排程。 系統會在排定的時間執行最新部署的筆記本版本。

手動執行已部署的筆記本

手動執行已部署的筆記本時,BigQuery 會執行一次已部署的筆記本,與排程無關。

如要手動執行已部署的筆記本,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Scheduling」頁面。

    前往「排程」

  2. 按一下所選筆記本排程的名稱。

  3. 在「排程詳細資料」頁面中,按一下「執行」

查看所有時間表

如要查看專案中的所有筆記本排程,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Scheduling」頁面。

    前往「排程」

  2. 選用:如要顯示含有筆記本行程詳細資料的其他資料欄,請按一下「資料欄顯示選項」,然後選取資料欄並按一下「確定」

查看時間表詳細資料

您可以在「Explorer」窗格或「Scheduling」頁面中,查看所選排程的詳細資料。

如要查看所選筆記本的排程詳細資料,請按照下列步驟操作:

「Explorer」窗格

  1. 前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。

    前往 BigQuery

  2. 在「Explorer」窗格中,展開專案和「Notebooks」資料夾,以及視需要展開「Shared notebooks」資料夾。按一下所選筆記本的名稱。

  3. 在「Notebook」(筆記本) 工具列中,按一下「Schedule」(排程)

    或者,按一下「時間表」

「排定時間」頁面

  1. 前往 Google Cloud 控制台的「Scheduling」頁面。

    前往「排程」

  2. 按一下所選筆記本排程的名稱。

查看過往執行作業

您可以在「Explorer」(探索) 窗格或「Scheduling」(排程) 頁面中,查看所選筆記本排程的過往執行作業。

如要查看所選筆記本排程的過往執行作業,請按照下列步驟操作:

「Explorer」窗格

  1. 前往 Google Cloud 控制台的「BigQuery」頁面。

    前往 BigQuery

  2. 在「Explorer」窗格中,展開專案和「Notebooks」資料夾,以及視需要展開「Shared notebooks」資料夾。按一下所選筆記本的名稱。

  3. 按一下「時間表」,然後按一下「查看過去的執行作業」

「排定時間」頁面

  1. 前往 Google Cloud 控制台的「Scheduling」頁面。

    前往「排程」

  2. 按一下所選筆記本排程的名稱。

  3. 在「排程詳細資料」頁面的「過去的執行作業」部分,檢查過去的執行作業。

  4. 選用:如要重新整理過往執行作業的清單,請按一下「重新整理」

停用時間表

如要暫停所選筆記本的排定執行作業,但不想刪除排程,可以停用排程。

如要停用所選筆記本的排程,請按照下列步驟操作:

「Explorer」窗格

  1. 前往 Google Cloud 控制台的「BigQuery」頁面。

    前往 BigQuery

  2. 在「Explorer」窗格中,展開專案和「Notebooks」資料夾,如有需要,也請展開「Shared notebooks」資料夾。按一下所選筆記本的名稱。

  3. 在「Notebook」(筆記本) 工具列中,按一下「Schedule」(排程)

    或者,按一下「時間表」

  4. 在排程詳細資料表格的「排程狀態」列中,按一下「已啟用排程」切換鈕。

「排定時間」頁面

  1. 前往 Google Cloud 控制台的「Scheduling」頁面。

    前往「排程」

  2. 按一下所選筆記本的名稱。

  3. 在「Schedule details」(排程詳細資料) 頁面中,按一下「Disable」(停用)

啟用時間表

如要恢復已停用筆記本排程的排定執行作業,請按照下列步驟操作:

「Explorer」窗格

  1. 前往 Google Cloud 控制台的「BigQuery」頁面。

    前往 BigQuery

  2. 在「Explorer」窗格中,展開專案和「Notebooks」資料夾,如有需要,也請展開「Shared notebooks」資料夾。按一下所選筆記本的名稱。

  3. 在「Notebook」(筆記本) 工具列中,按一下「Schedule」(排程)

    或者,按一下「時間表」

  4. 在排程詳細資料表格的「排程狀態」列中,點選「排程已停用」切換鈕。

「排定時間」頁面

  1. 前往 Google Cloud 控制台的「Scheduling」頁面。

    前往「排程」

  2. 按一下所選筆記本的名稱。

  3. 在「時間表詳細資料」頁面中,按一下「啟用」

編輯時間表

您可以在「探索」窗格或「排程」頁面中編輯時間表。

如要編輯時間表,請按照下列步驟操作:

「Explorer」窗格

  1. 前往 Google Cloud 控制台的「BigQuery」頁面。

    前往 BigQuery

  2. 在「Explorer」窗格中,展開專案和「Notebooks」資料夾,以及視需要展開「Shared notebooks」資料夾。按一下所選筆記本的名稱。

  3. 按一下「排程」,然後按一下「編輯」

  4. 在「排程詳細資料」對話方塊中編輯排程,然後按一下「更新排程」

「排定時間」頁面

  1. 前往 Google Cloud 控制台的「Scheduling」頁面。

    前往「排程」

  2. 按一下所選筆記本排程的名稱。

  3. 在「排程詳細資料」頁面中,按一下「編輯」

  4. 按一下「查看時間表」,然後按一下「編輯」

  5. 在「排定筆記本時間」對話方塊中編輯排程,然後按一下「更新排程」

刪除時間表

如要永久刪除所選筆記本的排程,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Scheduling」頁面。

    前往「排程」

  2. 執行下列其中一項操作:

    • 按一下所選時間表的名稱,然後在「時間表詳細資料」頁面中,按一下「刪除」

    • 在包含所選時間表的資料列中,按一下「動作」欄中的「查看動作」,然後按一下「刪除」

  3. 在隨即顯示的對話方塊中,按一下「刪除」

後續步驟