本頁面說明如何為 Cloud Data Fusion Dataproc 叢集啟用 Cloud Logging,並存取進階管道記錄。
啟用 Dataproc Cloud Logging
如要在 Cloud Logging 中查看管道和叢集問題,請在新的或現有的 Cloud Data Fusion 執行個體中啟用進階記錄。如要在現有執行個體中啟用進階記錄,請按照下列步驟操作:
前往 Google Cloud 控制台的 Cloud Data Fusion「Instances」(執行個體) 頁面。
按一下執行個體名稱。
在「進階監控和記錄」部分,針對「Dataproc Cloud Logging」,按一下
「編輯」。在「Cloud Logging」視窗中,勾選「Enable Cloud Logging」核取方塊。
按一下 [儲存]。
查看記錄
每個 Cloud Data Fusion 管道執行作業都會指派一組專屬的 RunID
。部署及執行管道後,請找出其 RunID
。接著,在「記錄」中使用 RunID
查看管道記錄。
取得管道的 RunID
- 前往您的執行個體:
在 Google Cloud 控制台中,前往 Cloud Data Fusion 頁面。
如要在 Cloud Data Fusion Studio 中開啟執行個體,請依序按一下「Instances」和「View instance」。
- 按一下「清單」。
- 按一下要取得執行 ID 的管道。
- 按一下「摘要」。
- 在「執行記錄」部分,按一下「表格」。
- 如要複製放送 ID,請在 RunID 上按一下滑鼠右鍵,然後點選「複製」。
在 Logs Explorer 中查看記錄檔
在 Google Cloud 控制台中,依序前往「Cloud Logging」>「Logs Explorer」頁面:
在「All resources」下拉式選單中,依序選取「Cloud Dataproc Cluster」
cdap-PIPELINE_NAME-YOUR_RUNID
。
選用:篩選記錄
使用篩選器選單篩選記錄。您可以依據各種記錄嚴重性等級或元件 (例如 datafusion-pipeline-logs
) 進行篩選。
選用步驟:下載記錄
按一下「下載記錄」。
詳情請參閱「下載記錄項目」。