管理運算設定檔

運算設定檔會指定管道執行的方式和地點。它會封裝管道實際執行環境設定及刪除所需的任何資訊。運算設定檔會指定供應者名稱和該供應者的設定。

每個運算設定檔都有範圍:系統使用者。您可以為其中的任何命名空間使用系統運算設定檔。使用者運算設定檔位於命名空間中,只有該命名空間中的管道可以使用使用者運算設定檔。運算設定檔可指派給批次管道。將運算設定檔指派給管道後,系統會使用設定檔中指定的供應器,建立管道執行的叢集。

舉例來說,管理員可以決定建立小型、中型和大型運算設定檔。他們會使用公司 Google Cloud 帳戶中建立及刪除 Dataproc 叢集所需的 Google Cloud憑證,設定每個設定檔。

  • 小型設定檔會設為建立 5 個節點的叢集。
  • 中等設定檔會設定為建立 20 個節點的叢集。
  • 大型設定檔會設定為建立 50 個節點的叢集。

管理員會將小型設定檔指派給管道,這些管道會在每小時執行一次,處理少量資料。他們將大型設定檔指派給排定每天執行大量資料的管道。

預設運算設定檔

根據預設,Cloud Data Fusion 會使用 Autoscale 做為運算設定檔。要為工作負載估算適當的叢集工作站 (節點) 數量並不容易,而且整個管道使用單一叢集的做法通常不理想。Dataproc 自動調度資源機制可讓您以自動化的模式管理叢集資源,進而自動新增及移除叢集工作站 VM。詳情請參閱「自動調度資源」。

在「Compute config」頁面上,您可以看到設定檔清單,其中有一個「Total cores」欄,其中包含設定檔可向上調整的最大 vCPU 數量,例如 Up to 84

系統和使用者運算設定檔

運算設定檔會指出建立叢集時要使用的佈建工具,並指定叢集設定。並指定建立叢集時應使用的佈建工具設定。

  • 如要建立系統運算設定檔,請前往 Cloud Data Fusion Studio 中的「系統管理員」頁面。此頁面會列出所有系統運算設定檔,並讓您建立新的系統運算設定檔。
  • 如要建立使用者運算設定檔,請前往 Cloud Data Fusion Studio 中的「命名空間管理」頁面,然後選取要建立設定檔的命名空間。接著,您可以建立僅存在於該命名空間內的設定檔。

運算設定檔指派

您可以透過下列方式將運算設定檔指派給批次管道:

  • 為 Cloud Data Fusion 執行個體指派預設設定檔。
  • 為特定命名空間指派預設設定檔。
  • 將設定檔指派給批次管道,以便用於手動啟動的執行作業。
  • 將設定檔指派給管道排程。

如果在觸發執行作業的排程中設定了設定檔,或是手動執行管道時已指派設定檔給該管道,Cloud Data Fusion 就會使用該計算設定檔。

如果未設定設定檔,Cloud Data Fusion 會使用命名空間的預設設定檔。如果未為命名空間設定預設設定檔,

Cloud Data Fusion 會使用系統預設設定檔。如果未設定系統預設值,系統會使用內建設定檔。

指派預設運算設定檔

如要將預設設定檔指派給 Cloud Data Fusion 命名空間或執行個體,請前往 Cloud Data Fusion Studio,然後依序點選「系統管理」>「設定」>「系統運算設定檔」。如要選取預設值,請按一下設定檔名稱旁的 星號。

選用:使用偏好設定微服務設定預設設定檔

  • 如要設定預設設定檔,請在 Cloud Data Fusion 執行個體上設定偏好設定,其中鍵為 system.profile.name,值為 system:<profile-name>
  • 如要為命名空間設定預設設定檔,請使用鍵 system.profile.name 和值 <scope>:<profile-name> 為所選命名空間設定偏好設定。

指派運算設定檔以便手動執行

如要指派要用於手動管道執行作業的設定檔,請按照下列步驟操作:

  1. 前往管道詳細資料頁面。
  2. 依序點選「Configure」>「Compute config」
  3. 選取所需個人資料,然後按一下「儲存」。每次手動執行管道時,系統都會使用所選設定檔。

或者,您也可以使用偏好設定微服務,為手動執行作業設定設定檔,方法是在 DataPipelineWorkflow 實體上設定偏好設定,鍵為 system.profile.name,值為 <scope>:<profile-name>

將運算設定檔指派給排程

每次為管道建立時間表時,您都可以指派設定檔。每當排程觸發管道執行作業時,系統就會使用該設定檔執行作業。這項規則適用於時間表和其他管道觸發的時間表。

覆寫運算設定檔設定

建立設定檔後,您可以將每個設定鎖定,使其無法變更。不過,如果未鎖定設定,則可在執行階段覆寫設定。如要覆寫設定檔設定,請按照下列步驟操作:

  1. 在「管道清單」頁面中,選取要執行的已部署管道。
  2. 在「管道詳細資料」頁面中,按一下「設定」
  3. 選擇運算設定檔,然後按一下「自訂」
  4. 變更任何設定,然後按一下「儲存」

您可以使用執行階段引數和排程屬性修改叢集大小和其他設定。

  • 如要覆寫所用設定檔,請使用鍵 system.profile.name 和值 <scope>:<profile-name> 設定執行階段引數。
  • 如要覆寫設定檔屬性,請設定執行階段引數,其中鍵為 system.profile.properties.<property-name>,值則等於該屬性的值。

舉例來說,如要將 numWorkerssetting 覆寫為 10 值,請設定偏好設定或執行階段引數,並使用鍵 system.profile.properties.numWorkers 和值 10

後續步驟