物件總覽

流程結構與物件

在 Cloud Dataprep by TRIFACTA® 之中,整理工作的基本單位是流程。下圖說明流程的元件物件及彼此間的關聯性:

圖:流程中的物件

流程

流程是一種容器,用來保存一或多個匯入的資料集、相關聯的方案及其他物件。這個容器是包裝 Cloud Dataprep 物件的一種方法,以便執行下列類型的動作:

  • 建立資料集、相關方案與其他資料集之間的關係。

  • 複製
  • 執行預先設定的作業

  • 建立方案與外部流程之間的參照

匯入的資料集

匯入至平台的資料會作為匯入資料集的參照。匯入的資料集只會參照原始資料,並且資料本身並不存在於平台內。匯入的資料集可以參照一個檔案、多個檔案、資料庫資料表或其他類型的資料。

注意:匯入的資料集是指向資料來源的指標,無法在 Cloud Dataprep by TRIFACTA 中修改或儲存。

  • 您可以在方案中參照匯入的資料集。
  • 您可以透過匯入資料頁面建立匯入的資料集。
  • 如要進一步瞭解相關處理程序,請參閱匯入基本資訊

建立匯入的資料集後,只要將它新增至流程,就可以使用該資料集。您可以在匯入程序中執行新增作業或稍後執行。

方案

方案是使用者定義的一序列步驟,套用這些步驟可以轉換資料集。

  • 方案物件的建立來源是匯入的資料集或另一個方案。您可以從某個方案中建立方案,將方案彼此鏈結在一起。
  • Cloud Dataprep by TRIFACTA 會解譯方案,然後轉換成可以對資料執行的指令。
  • 方案在最初建立時不含任何步驟。您可以使用轉換頁面中的各種視覺化工具來擴增和修改方案。
  • 如要進一步瞭解相關處理程序,請參閱轉換基本資訊

在流程中,下列物件與每個方案相關聯,說明如下:

  • 輸出
  • 參照

輸出及發佈目的地

輸出包含一或多個發佈目的地,這些目的地定義輸出格式、位置及其他發佈選項,這些選項可以套用至方案執行工作所產生的結果。

在流程中選取方案的輸出物件時,您可以:

  • 為執行方案時產生的輸出定義發佈目的地。發佈目的地可指定輸出格式、位置及其他發佈動作。單一方案可以有多個發佈目的地。
  • 使用指定的目的地,執行隨選工作。系統會立即將此工作加入執行佇列。

參照及參照資料集

參照可讓您在另一個資料集中建立方案步驟輸出的參照。參照不在上述圖例的說明中。

當您選取方案的參照物件時,可以將它新增至另一個流程。然後,這個物件就會作為參照資料集加入目標流程。參照資料集是因方案步驟執行而產生的輸出資料唯讀版本。

使用方案

您可以在轉換頁面中編輯方案,該頁面提供多種快速選取及建構方案步驟的方法。

樣本:在轉換頁面中,您可以依據資料集的「樣本」來建構方案步驟。

  • 樣本通常是整個資料集的子集。如果是小型資料集,樣本可以是整個資料集。
  • 當您建構或修改方案時,每次修改的結果都會立即反映在取樣的資料中。因此,您可以在相同介面中快速疊代方案步驟。
  • 必要時,您可以產生其他樣本,或許可以提供不同的資料觀點。
  • 請參閱轉換基本資訊
行工作:如果您對轉換頁面中建立的方案感到滿意,就可以執行工作。工作可以由下列一或多種工作類型組成:

  • 轉換工作:執行您針對樣本所定義的一組方案步驟,產生整個資料集的一組轉換結果。
  • 剖析工作:您可以選擇產生對於轉換工作結果的視覺化剖析。這個視覺化的剖析可提供有關資料品質的重要意見回饋,同時也是進一步修正方案的關鍵所在。
  • 工作完成時,您可以檢查結果資料並識別仍然需要修正的資料。請參閱工作詳細資料頁面
  • 如要進一步瞭解相關處理程序,請參閱執行工作基本資訊

流程範例

下圖說明流程中物件關係的靈活性。

圖:流程範例

類型資料集說明
標準工作執行方案 1/工作 1 (Recipe 1/Job 1)

工作結果是用來建立新的匯入資料集:I-資料集 2 (I-Dataset 2)。請參閱工作詳細資料頁面

從產生的結果建立資料集方案 2/工作 2 (Recipe 2/Job 2)

方案 2 是根據 I 資料集 2 所建立並加以修改。系統已指定此方案的工作,但不使用工作的結果。

鏈結資料集方案 3/工作 3 (Recipe 3/Job 3)

方案 3 與方案 2 相鏈結。方案 2 的工作執行結果會依照 I 資料集 1 (I Dataset 1)/方案 1 及 I 資料集 2/方案 2 的指定,併入所有上游變更。

參照資料集方案 4/工作 4 (Recipe 4/Job 4)建立的 I 資料集 4 (I-Dataset 4) 是方案 3 的參照。參照資料集可以有自己的方案、工作、目的地和結果。

您可以在流程頁面中建立流程。請參閱流程頁面

本頁內容對您是否有任何幫助?請提供意見:

傳送您對下列選項的寶貴意見...

這個網頁
Google Cloud Dataprep 說明文件
需要協助嗎?請前往我們的支援網頁