Dataplex 通用目錄總覽

Dataplex Universal Catalog 是統合式智慧治理解決方案,可管理 Google Cloud中的資料和 AI 資產。透過 Dataplex Universal Catalog,您可以使用 AI 簡化資料查詢、品質保證和業務洞察。

Dataplex Universal Catalog 可大規模執行治理作業。舉例來說,假設某間全球零售公司產生大量銷售、庫存和顧客資料,並儲存在 Cloud Storage、Spanner 和 Pub/Sub 中。資料分散在各個系統中,管理治理、確保品質及維持法規遵循可能相當複雜且耗時。Dataplex Universal Catalog 提供集中式檢視畫面,可探索、剖析、驗證、追蹤歷程及控管機構資料資產的存取權,簡化上述程序。

為什麼要使用 Dataplex Universal Catalog?

Dataplex Universal Catalog 可透過下列功能管理資料:

  • 中繼資料編目。擷取 Google Cloud 資源 (包括 BigQuery、Cloud SQL、Spanner、Vertex AI、Pub/Sub、Dataform、Dataproc Metastore) 的中繼資料,以及您帶入 Dataplex Universal Catalog 的第三方資源,以取得資料資產的快照。
  • 資料探索。掃描 Cloud Storage 值區中的結構化和非結構化資料,擷取並編目中繼資料。
  • 資料洞察:使用 AI 生成有關資料的自然語言問題,發掘模式、評估資料品質,以及執行統計分析。
  • 資料剖析:找出 BigQuery 資料表中資料欄資料的常見特徵,例如一般資料值、資料分布和空值計數,這些資訊可做為資料分類和品質保證的依據。
  • 資料品質:定義及評估 BigQuery 資料表中的資料品質,方法是根據機構政策驗證資料,並在資料不符合品質條件時記錄快訊。
  • 商務詞彙表:管理整個機構的業務相關術語和定義,並將術語附加至資料表欄,確保資料使用方式一致。
  • 資料沿襲。追蹤資料在系統中的移動方式,包括資料來源、傳遞至何處,以及套用的轉換。

Dataplex Universal Catalog 支援端對端資料生命週期,從分散式探索到商務洞察資料,您也可以透過 BigQuery 使用管理功能。

用途

您可以使用 Dataplex Universal Catalog 執行下列操作:

  • 發掘及解讀資料。Dataplex Universal Catalog 可讓您掌握整個機構的資料資源。可協助您尋找符合資料用量需求的相關資源。提供資料資源的背景資訊,協助您瞭解資料資源是否符合資料消費者需求。

  • 啟用資料管理和資料管理。Dataplex Universal Catalog 提供中繼資料,可做為資料治理和資料管理功能的資訊來源和動力。

  • 維護可擴充且全面的中繼資料存放區。 Dataplex Universal Catalog 會儲存並提供中繼資料的存取權,這些中繼資料是從 Google Cloud 資源自動收集而來。您可以整合非Google Cloud 系統的自有中繼資料。您可以透過額外的業務和技術中繼資料註解,充實所有中繼資料。

開始使用

如果您是第一次使用 Dataplex Universal Catalog,建議先參閱快速入門指南:

後續步驟