流程檢視頁面

透過流程檢視頁面,您可以存取並管理流程中的所有物件,也可對流程中的每個匯入的資料集、方案或其他物件執行各種動作,並透過 Cloud Dataprep 應用程式中的單一頁面,有效管理流程的開發和執行工作。

附註:如果其他協作者與您共用下面顯示的流程,那麼您將無法使用其中的某些選項。

圖:流程檢視頁面

流程中的匯入資料集或是新增至流程的參照資料集,均會列在螢幕左側。各個資料集可以和一個以上的方案建立關聯,方案會用來轉換原始資料。

附註:標示紅點的物件表示物件配置發生問題,請選取物件以開始調查錯誤。錯誤資訊會顯示在右側面板上。

資料集:

  • 若要開始使用匯入資料集,請於選取後按一下 [新增新方案],空白新方案將會與資料集建立關聯。若要在「轉換器」頁面中開啟,請按一下方案並選取 [Edit Recipe]。請參閱轉換頁面
  • 這些物件建立後,中間會以流線連接,顯示物件在流程中的關係。
  • 物件所依附的任何物件會顯示在該物件的左邊,位於延伸出去的流線的一端。

    提示:當您執行方案的工作時,所有用於處理資料集的工作步驟將視為工作的一部分而一併執行,且只會產生終端機資料集結果。

    • 在上述範例中,POS-01 方案會依附於流程中的所有物件。

    • 已與 POS-01 資料集整合但尚未為其建立方案的其他資料集。

方案:

方案是將來源資料轉換為您想要結果的一系列步驟。

  • 方案可從下列物件建立而成:
    • 如上述的匯入資料集。
    • 參照資料集。參照資料集是從其他流程提取至一個流程的物件。請見以下說明。
    • 其他方案。您可以將多個方案鏈結在一起,例如,您在開始轉換特定種類的資訊提供時,可能有一律適用的步驟。可將這項方案新增至每個流程中,做為鏈結至該資訊提供類型的匯入資料集的第一個方案。
  • 您可從方案建立下列物件:
    • 輸出物件是一組可以執行工作的發佈目標。
    • 參照物件是對於您其中一個流程方案的參照,且可用於其他流程上。當參照物件建立時,目標流程會接收執行方案的輸出。
      • 在目標流程中,這個物件會顯示為參照資料集
      • 當參照資料集用在流程中時,目標流程會接收到已執行方案的輸出結果。

若要進一步瞭解這些物件,請參閱物件總覽

從流程中選取物件,在螢幕右側開啟該物件特有的面板。

提示:您可以在流程檢視的任何物件上按一下滑鼠右鍵,檢視您選取時會顯示的可用動作清單,並從右側面板中選擇。

提示:在任何方案上按兩下即可編輯。請參閱轉換器頁面

動作:

[Rename] (重新命名)選取物件名稱以便在平台內重新命名。如果名稱存在於其他地方,則無法套用至物件來源。

[Add Datasets] (新增資料集)按一下這個選項以便將資料集新增至流程中。詳情請見下方說明。

從流程的內容選單:

[Schedule Flow] (排定流程)在流程中新增方案的排程執行:

  • 定義流程層級的排程時間和執行時間間隔。請參閱新增時間表對話方塊
    • 排程建立後,您可以透過時鐘圖示審查、編輯或刪除排程。
  • 透過方案輸出物件,定義使用於每個方案的排程目的地,這些目的地即為排程工作的目標,請參閱下方的輸出檢視。

[Share Flow] (共用流程)在同一個流程中與其他人協作。

您還可以將複本傳送給其他用使用者,以進行個別的工作。

請參閱共用流程對話方塊

當使用者被授予對流程的存取權時,除了編輯詳細資料和刪除流程之外,該使用者可以使用以下所有操作。

[Make a copy] (建立複本)建立流程的複本。

附註:複製流程為獨立的來源流程,不過與原始來源資料集仍有連結。

[Export Flow] (匯出流程)(僅限流程擁有者) 匯出流程,以供封存或轉移。詳情請參閱匯出流程

移至:將流程移至新資料夾或現有的資料夾。請參閱用資料夾來管理流程

[Edit Flow name and description](僅限流程擁有者) 變更流程名稱和說明。

[Delete Flow] (刪除流程)(僅限流程擁有者) 刪除流程。

刪除流程會移除所有流程所包含的方案。如果其他流程中存在物件複本,則這些物件不會受到影響,這個動作不會刪除匯入的資料集。

在流程中新增資料集

從流程檢視頁面中,您可以將匯入資料集或參照資料集新增至流程中。這些資料集會以獨立物件的形式新增到流程中,可在流程中由其他資料集彙整、聯集或參照。

圖:新增資料集至目前的流程

  • 搜尋或選取要新增的資料集。
    • 使用頁面檢視控制以便瀏覽其他資料集,或選取適當的分頁來篩選清單來匯入或參照資料集。
    • 若要從外部來源匯入新資料集,請按一下匯入資料集,請參閱匯入資料頁面
  • 當您選取項目完畢後,請按一下 [新增]
  • 流程檢視中將以新物件新增資料集。

檢視匯入資料集

當您選取匯入的資料集時,您可以從右側面板預覽它所包含的資料、取代來源物件,以及做出更多動作。

圖:匯入資料集檢視

關鍵欄位:

  • 「Data Preview」(資料預覽)在「資料預覽」視窗中,您可以看到被匯入資料集所包含資料的一小部分。這個視窗在驗證您是否在查看正確資料時非常實用。

    提示:您可以按一下預覽來開啟更大的對話方塊,並在其中選取和複製資料。

  • 「Type」(類型)指示取得資料的來源或檔案類型。
  • 「Location」(位置)被匯入資料庫的位置路徑。

  • 「File Size」(檔案尺寸)檔案的尺寸。單位不盡相同。
  • 欄資料類型推論:
    • enabled - 匯入期間套用至資料集的資料類型。
    • disabled - 匯入期間尚未全域套用的資料類型。不過,在匯入程序期間可能將已覆寫套用至部分欄位。請參閱匯入資料頁面
  • 「More details」查看使用資料流的流程的詳細資料。

動作:

  • [Replace]使用不同的資料集或參照資料集,來取代原本的資料集。
  • [Replace with dataset with Parameters]對於未參數化的資料集,您可以選擇將其取代為具有參數的資料集。

    提示:您可能會發現使用單一靜態資料集建立方案,稍後再以具有參數的資料集取代它是很有用的。

  • [Add new Recipe] (新增新方案)新增物件的新方案。如果物件中已存在一項方案,則此新方案將建立為流程的分支。
  • [Edit name and description] (編輯名稱和說明)(僅限流程擁有者) 變更物件的名稱和說明。
  • [Edit parameters] (編輯參數)如果資料集包含參數,您可以變更參數及其預設值。

  • [Remove structure] (移除結構)(若適用) 移除初始的剖析結構。當結構移除時:
    • 資料集會被轉換成非結構化資料集。非結構化資料集是轉換為一般檔案格式的來源資料。
    • 所有塑造資料集的步驟都會移除。在從物件所建立的任何方案中,您必須於手動步驟打散欄位。
    • 請參閱下面的查看非結構化資料集。
  • [View dataset details]請參閱資料集詳細資料頁面
  • [Remove from Flow] (從流程中移除)將資料集從流程中移除。
    • 所有相依的流程、輸出和參照不會從流程中移除。您可以視需求取代物件的來源。

      附註:對於其他流程中已刪除資料集的參照,直到資料集取代之前,參照仍為毀損的狀態。

具有參數的資料集檢視

對於任何包含具有參數之資料集的流程,流程檢視會有一些變化。如要進一步瞭解這些物件,請參閱參數化總覽

「參數」面板

除了流程的標準檢視外,「參數」面板還包含有關應用於流程中資料集的參數的資訊。

圖:流程檢視中的參數面板

變數覆寫:

以上資訊對於在執行時查看參數和指定覆寫非常有用。

對於每一個變數,預設的變數值或覆寫值 (如果有指定的話) 會被套用。變數可以具有空值。

發生以下情況時,變數會被套用:

  • 工作已執行
  • 工作已經按時間表執行
  • 樣本已收集

    提示:產生新樣本時也可以套用變數覆寫。請參閱樣本面板

若要在工作執行時更改要套用的值,您可以:

  • 按一下 [Edit all] (全部編輯)。指定流程中每一個變數的值。
  • 將滑鼠游標懸停在特定變數項目上方。按一下 [Edit] (編輯),並設定覆寫值。

    提示:您隨時可以還原為使用預設值。

「Parameters」(參數) 分頁標籤

在流程檢視中選擇具有參數的資料集時,可以在右側面板中查看所選取的資料集指定的參數。

圖:流程檢視中的參數分頁標籤

動作:

  • 若要編輯資料集的參數,請從右側面板的內容選單中選擇 [Edit parameters...] (編輯參數…)

方案檢視

對於每個方案,您可以檢視或編輯其步驟或建立新方案。您也可以建立方案的參照、修改輸出,以及從方案中建立新方案。

當您選取方案時:

  • 您可以建立輸出物件。
  • 您可以建立參照物件。
  • 下列為在內容面板中可用的選項:

圖:方案檢視

動作:

  • [Edit Recipe] (編輯方案)開啟方案並開始編輯。請參閱轉換器頁面
  • [Add new Recipe] (新增新方案)從方案中新增新方案。此新方案會在原始方案的輸出中運行。
  • [Edit name and description] (編輯名稱和說明)(僅限流程擁有者) 變更物件的名稱和說明。
  • [Assign Target to Recipe]:建立目標,並指派給此方案。詳情請參閱建立目標

  • [Remove Target]:將目前指派的目標從此方案中移除。

  • [Create Output to Run] (建立要執行的輸出)定義執行此方案時,一個或多個輸出格式的目標位置、格式和其他參數。請參閱下方的輸出檢視。
  • [Create Reference Dataset] (建立參照資料集)建立此方案輸出的參照。這個物件隨後可在其他流程中新增為參照資料集。請參閱下方的參照資料集檢視。

  • [Change input] (變更輸入)變更與方案相關聯的輸入資料集。

    附註:這個動作只能取代方案中的主要輸入,方案不包含從聯結、聯集、查詢或其他多個資料集選項整合的任何資料集。

    提示:若有需要,您可以將靜態資料集換成動態資料集。

  • [Make a copy] (建立複本)建立方案和相關物件的複本。您可以使用相同輸入或完全不使用輸入來建立複本。複製方案由複製該方案的使用者擁有。
  • [Move] (移動)將方案移動到不同的流程,或建立可包含該方案的新流程。
  • [Download Recipe] (下載方案)將 Wrangle 格式的方案下載到您的本機電腦。
  • [Delete] (刪除)刪除方案。

    提示:刪除方案時,還會移除與該方案關聯的所有樣本,這樣可能可以顯著降低您使用的儲存總量。

    這個步驟無法復原。

「Recipe」(方案) 分頁標籤

在方案中預覽第一個步驟。

關鍵欄位:

  • 步驟:方案中的步驟總數。

「Data」(資料) 分頁標籤

預覽方案所反映的資料。

附註:若要轉譯這個資料預覽,則必須載入部分資料,且必須執行方案中的所有步驟來產生預覽,可能會出數次延遲情況。

關鍵欄位:

  • 「尺寸」(Size)資料集中欄和資料類型的總數。

「Target」(目標) 分頁標籤

為此方案指派目標後,您可以在「Target」(目標) 分頁標籤中查看其結構定義資訊。此分頁只有在將目標指派給方案後才會出現。

若要移除目前的目標,請從內容選單選擇 [Remove Target] (移除目標)

欄:

  • 「Position」(位置)該欄在目標中由左到右的位置。
  • 「Name」(名稱)該欄在目標中的名稱。
  • 「Type」(類型)該欄在目標中的 Cloud Dataprep 資料類型。

輸出檢視

每一個方案都有一個或多個相關聯的輸出,這些輸出是發佈目的地。透過輸出,您可以執行相關方案的追蹤工作。

目的地分頁

目的地分頁包含所有與方案相關的已設定目的地。

  • 當工作透過應用程式介面運行時,就會執行手動目的地。
  • 當流程的排程被觸發,並成功執行目的地的方案時,就會填入排定的目的地。

圖:目的地分頁

關鍵欄位:

  • (動作)-(格式):
    • 欄位名稱說明輸出動作以及寫入結果時使用的檔案格式。
    • 欄位值是結果寫入的位置。
  • 「Profiling」如果為此目標啟用了剖析功能,則此值將設定為 yes

詳情請參閱執行工作頁面

排程目的地:

如果已經為方案定義了時間表,當排程被觸發,並成功執行關聯的方案時,就會填入這些目的地。如果遺失任何輸入資料集,則不會執行工作。

附註:流程協作者不能修改發佈目的地。

請參閱新增時間表對話方塊

詳情請參閱 Automator 總覽

動作:

  • [Run Job] (執行工作)按一下 [Run Job] (執行工作),以排隊立即執行手動目標的工作。您可以透過「Jobs」(工作) 分頁追蹤這項工作的進度和結果。

  • [Delete Output] (刪除輸出)將此輸出從流程中移除。這項操作無法復原。

    • 移除輸出不會一併移除與輸出相關聯的工作。您可以繼續使用這些已執行的工作。請參閱工作頁面

  • [Edit] (編輯)按一下這個連結來修改所選目的地的屬性。

工作分頁

圖:工作分頁

「Jobs」分頁標籤中的每一個項目都標識著已佇列待執行的工作。您可以追蹤執行的進度,以及是否成功或失敗。當工作執行完畢後,您可以查看結果。請按一下到該項工作的連結。詳情請參閱工作詳細資料頁面

動作:

您可針對工作執行下列操作:

檢視結果:按一下以從完成的工作中檢閱並下載結果。詳情請參閱工作詳細資料頁面

[View Dataflow Job]查看 Cloud Dataflow 上的工作。

[View Errors]如果工作失敗了,您可以透過 Cloud Dataflow 查看錯誤訊息。

[Export dependencies as Flow]對於任何工作,您可以匯出流程的快照,包括產生工作需要的所有依附元件。此匯出對於記錄工作執行的流程狀態非常有用。

參照檢視

選擇方案時,您可以選擇是否要從該方案中建立參照資料集。參照資料集是可以當做包含於其他流程方案所產生輸出的參照。每當上游方案和其輸出資料變更時,都會透過參照自動沿用為參照資料集。

附註:在您選取或使用任何參照資料集之前,必須先在來源流程 (來自於您要使用的方案) 中建立參照項目。

若要從方案建立參照資料集,請按一下迴紋針圖示。右側面板中會出現下列選項。

圖:參照檢視

關鍵欄位:

「Used In」(使用於)指示出現該參照的流程數目。如果數目大於一個,請點選 [More Details] (更多詳細資料) 以檢視流程。請參閱資料集詳細頁面

動作:

[Add to Flow] (新增至流程)按一下這個選項以便在新流程或現有流程中新增參照資料集。

[Edit name and description] (編輯名稱和說明)(僅限流程擁有者) 變更物件的名稱和說明。

[Delete Reference Dataset] (刪除參照資料集)從流程中移除嵾照資料集。

刪除來源流程中的參照資料集,會導致參照它的流程中所有的參照被破壞。損壞的參照應該透過交換新的來源來修復。

非結構化資料集檢視

非結構化資料集是不含任何初始剖析步驟的匯入資料集。所有的剖析步驟必須透過套用至資料集的方案新增。

提示:您可以在匯入期間或透過匯入資料集的內容選單移除初始的剖析。請參閱初始剖析步驟

圖:非結構化資料集檢視

關鍵欄位:

「Data Preview」(資料預覽)在「資料預覽」視窗中,您可以看到被匯入資料集所包含資料的一小部分。這個視窗在驗證您是否在查看正確資料時非常實用。

提示:您可以按一下預覽來開啟更大的對話方塊,並在其中選取和複製資料。

「Type」(類型)指示取得資料的來源或檔案類型。

「File Size」(檔案尺寸)檔案的尺寸。單位可能會不同。

「Location」(位置)被匯入資料庫的位置路徑。

動作:

  • [Add new Recipe] (新增新方案)新增物件的新方案。如果物件中已存在一項方案,則此新方案將建立為流程的分支。
  • [Edit name and description] (編輯名稱和說明)(僅限流程擁有者) 變更物件的名稱和說明。
  • [Remove from Flow] (從流程中移除)將資料集從流程中移除。所有相依的流程、輸出和參照會從流程中移除。

檢視參照資料集

參照資料集是對於不是方案所在位置的流程,而是在新增到其他流程方案輸出的參照。

附註:參照資料集在參照它的流程中是唯讀物件,在方案的來源流程建立以使用前,您不能選取或使用參照資料集。請檢視上方的檢視方案部分。

若要新增參照資料集,您可以:

從來源流程中為方案選取參照物件。在內容面板中,按一下 [新增至流程…]

從主要流程頁檢視頁面中按一下 [新增資料集] 並從不同流程中選取一個資料集。


圖:新流程中的參照資料集檢視

附註:以紅點標示的參照資料集在其他流程中已經不具有自己的來源資料集。應該要修正這些上游依附元件。請參閱修正相依性問題

當您在流程檢視中選取參照資料集時,右側面板有下項目可供使用。

關鍵欄位:

「Source Flow」(來源流程)包含此資料集的流程。選取連結以開啟該資料集的流程檢視頁面。

動作:

[Add new Recipe] (新增新方案)新增物件的新方案。如果物件中已存在一項方案,則此新方案將建立為流程的分支。

[Remove from Flow] (從流程中刪除)從流程中刪除參照資料集。在其他流程中的來源資料不會受到影響。

[Go to original reference]在流程檢視中開啟包含此參照的原始資料集的流程。

本頁內容對您是否有任何幫助?請提供意見:

傳送您對下列選項的寶貴意見...

這個網頁
Google Cloud Dataprep 說明文件
需要協助嗎?請前往我們的支援網頁