本頁面說明建立 Cloud Data Fusion 執行個體時,預設會安裝的外掛程式類型。這些外掛程式可用於執行個體的預設命名空間,以及您建立的任何新命名空間。你可以從 Hub 下載其他外掛程式。
在 Cloud Data Fusion 中,外掛程式分為下列類別:這些資料會顯示在 Cloud Data Fusion「Studio」頁面的左側面板。
來源
來源外掛程式會連結至資料管道讀取資料的資料庫、檔案或即時串流。您可以使用網頁介面設定資料管道的來源,因此不必使用程式碼設定低層級連線。
轉換
轉換外掛程式會在資料從來源載入後進行變更。舉例來說,您可以使用這些外掛程式複製記錄、將檔案格式變更為 JSON,或使用 JavaScript 建立自訂轉換。
數據分析
數據分析外掛程式可執行匯總作業,例如從不同來源彙整資料,以及執行數據分析和機器學習作業。
接收器
接收器外掛程式會將資料寫入資源,例如 Cloud Storage、BigQuery、Spanner、關聯資料庫、檔案系統和大型主機。您可以使用 Cloud Data Fusion 網頁介面或 REST API 查詢寫入接收器的資料。
條件和動作
條件和動作外掛程式會排定工作流程期間要執行的動作,但不會直接操縱工作流程中的資料。
用途範例:
- 將資料庫動作外掛程式新增至管道,即可排定在管道結束時執行資料庫指令。
- 將檔案移動外掛程式新增至管道,觸發在 Cloud Storage 內移動檔案的動作。
錯誤處理常式和警示
管道階段遇到空值、邏輯錯誤或其他錯誤時,錯誤處理常式外掛程式會捕捉這些錯誤。使用這些外掛程式,即可在管道中轉換或分析外掛程式後的輸出內容中找出錯誤。您可以將錯誤寫入資料庫進行分析。