Data Catalog：資料探索

Data Catalog

具備高擴充性的全代管資料探索與中繼資料管理服務。

新客戶可以獲得 $300 美元的免費抵免額，在試用期間親自體驗 Google Cloud。所有客戶都能獲得多達 1 MiB 的商務儲存空間或擷取的中繼資料儲存量以及 100 萬次的 API 呼叫，且無須支付任何費用。

免費試用 Google Cloud

使用簡單但功能強大的多面向搜尋介面，找出所需的確切資料

自動同步處理技術中繼資料，並建立已設定結構定義的業務中繼資料標記

透過 Cloud Data Loss Prevention (DLP) 整合，自動標記機密資料

無須設定或管理基礎架構，便能立即取得存取權限，並接著進行擴充

網誌

Data Catalog 目前已在全球 23 個區域中全面推出

優點

簡化任何規模的資料探索作業

藉由和 Gmail 相同的搜尋技術打造而成的強大 UI，或透過 API 存取權限，協助團隊中的每一位使用者尋找或標記資料。Data Catalog 是一項全代管服務，因此您可以輕鬆不費力地開始使用並進行擴充。

集中查看所有資料集

瞭解 Google Cloud 及其他服務中的資料資產。與 BigQuery、Pub/Sub、Cloud Storage 及許多連接器整合後，更提供整合式資料檢視和標記機制，讓您輕鬆查看及標記技術和業務中繼資料。

為資料管理奠定基礎

與 Cloud IAM 和 Cloud DLP 整合後，即可確保讓對的人存取對的資料，並確實保護機密資料，如此一來便能強制執行資料安全性政策並持續遵循法規。

主要功能與特色

無伺服器

可擴充的全代管中繼資料管理服務，不必特別設定或管理基礎架構，讓您專注在業務上。

中繼資料式服務

由於中繼資料管理服務是透過自訂 API 及 UI 來分類資料資產，因此不論資料存放在何處，都能讓您以整合化的方式檢視這些資料。

集中式目錄

功能強大的彈性分類系統能 (自動) 擷取技術中繼資料，也能擷取結構化格式的業務中繼資料 (標記)。

查看所有功能與特色

25:14

影片

2020 年 Next 大會 OnAir：以 BlackRock 建構有效的中繼資料解決方案

說明文件

Data Catalog 總覽

瞭解您為何需要 Data Catalog，以及如何透過此功能有效利用資料。

快速入門導覽課程：為資料集加上標記

製作 BigQuery 資料集、建立具有結構定義的標記範本、查詢 Data Catalog 項目以找到您的資料表，然後將標記附加至資料表。

如何使用 Data Catalog 搜尋

使用 Data Catalog 搜尋資料資產，例如 Google Cloud 專案中的資料集、資料表、檢視表和 Pub/Sub 主題。

透過 BigQuery 資料欄層級的安全防護機制限制存取權

本頁說明如何使用 BigQuery 資料欄層級的安全防護機制，限制存取資料欄層級的 BigQuery 資料。

存取 GitHub 中的內部部署中繼資料連接器

Data Catalog 連接器所用的共用程式碼，以及連接器程式碼範例的連結。

用途

從地端部署 RDBMS 資產中擷取中繼資料

雖然您可以使用 Data Catalog API 建立自己的連接器，藉此從自選的資料來源擷取中繼資料，不過我們也提供許多「立即可用」的開放原始碼連接器，方便您從許多常見的資料來源擷取中繼資料，例如 MySQL、PostgreSQL、Hive、Teradata、Oracle、SQL Server、Redshift 等。進入 Data Catalog 後，就可以搜尋和標記所有資產。

Google Cloud 和開放原始碼連接器的 Data Catalog 整合情形：左側欄位有 3 個方塊，分別是 BigQuery、Pub/Sub 和 Cloud Storage。箭頭指向右側的 Data Catalog。右側的 Cloud Data Loss Prevention 則指回 Data Catalog。下方標有「其他資料資產」的灰色長方形列出 Hive、Oracle、SQL Server、Teradata、Redshift、MySQL、PostreSQL、Looker 和 Tableau。箭頭向上指向 Data Catalog。

模式

整合內部部署 RDBMS 中繼資料

從 MySQL、PostgreSQL、Teradata、Oracle、SQLServer、Redshift、Vertica 和 Greenplum 中擷取中繼資料的程式碼範例及最佳做法。

模式

與地端部署 Hive 伺服器保持同步

將地端部署 Hive 伺服器裡的中繼資料擷取至 Data Catalog 的程式碼範例及最佳做法。

模式

即時同步處理地端部署 Hive 伺服器中繼資料的變更

說明如何將地端部署 Hive 伺服器裡的中繼資料變更逐步擷取至 Data Catalog 的程式碼範例及最佳做法。

用途

從 BI 系統中擷取中繼資料

Data Catalog API 可用於擷取任何商業智慧資產的中繼資料。至於 Looker 和 Tableau，我們提供「立即可用」的開放原始碼連接器，讓您可以在 Data Catalog 中直接偵測這些連接器並加上標記。

模式

整合 Looker 中繼資料

從 Looker 資產中擷取中繼資料的程式碼範例及最佳做法。

模式

整合 Tableau 中繼資料

從 Tableau 資產擷取中繼資料的程式碼範例及最佳做法。

查看所有技術指南

所有功能與特色

無伺服器	可擴充的全代管中繼資料管理服務，不必特別設定或管理基礎架構，讓您專注在業務上。
中繼資料式服務	由於中繼資料管理服務是透過自訂 API 及 UI 來分類資料資產，因此不論資料存放在何處，都能讓您以整合化的方式檢視這些資料。
集中式目錄	功能強大的彈性分類系統能 (自動) 擷取技術中繼資料，也能擷取結構化格式的業務中繼資料 (標記)。
搜尋與探索	簡易好用的 UI 搭配結構化的強大搜尋功能，可幫助您快速輕鬆地找到資料資產；此服務採用支援 Gmail 和雲端硬碟的 Google 搜尋技術。
已設定結構定義的中繼資料	不僅支援純文字標記，還支援已設定結構定義的標記 (例如：Enum、Bool、DateTime)，為機構提供多元且有條理的業務中繼資料。
Cloud DLP 整合	探索機密資料並進行分類，進而提供智慧功能並協助簡化管理資料的程序。
內部部署連接器	可將非 Google Cloud 資料資產的技術中繼資料擷取至 Data Catalog，方便您以一致的方式查看所有資料資產。
Cloud IAM 整合	提供存取層級控管機制，且讀寫和搜尋資料資產時遵照來源 ACL 的規定，為您提供企業級的存取權控管。
管理	與 Cloud DLP 和 Cloud IAM 整合後，奠定安全性與法規遵循的堅實基礎。

定價

Data Catalog 費用分為兩個部分：中繼資料儲存空間和 API 呼叫，兩者都是以量計價。中繼資料儲存空間包含儲存在 Data Catalog 中的所有新中繼資料，包括：

• 企業中繼資料，例如 Data Catalog 標記範本和標記

• 附加至 Pub/Sub 主題的 Cloud Storage 檔案集結構定義

• 儲存在 Data Catalog 中的自訂類型中繼資料等

中繼資料儲存空間不含由其他 Google Cloud 服務儲存的技術中繼資料，像是儲存於 BigQuery 的資料集資料表和資料欄名稱。如需中繼資料儲存空間和 API 呼叫的範例與定價詳細資料，請參閱 Data Catalog 說明文件。

查看價格詳細資料

合作夥伴

合作夥伴與整合情形

我們建立策略合作夥伴關係，有助於打造強大的生態系統，讓客戶能在混合式雲端環境中使用自己選擇的平台，進而享有一致的資料探索體驗。