Dataplex Universal Catalog は、 Google Cloudのデータと AI アセット向けの統合されたインテリジェントなガバナンス ソリューションです。Dataplex Universal Catalog では、AI を使用してデータクエリ、品質保証、ビジネス分析情報を簡単に利用できます。
Dataplex Universal Catalog は、大規模なガバナンスを行います。たとえば、Cloud Storage、Spanner、Pub/Sub に保存される大量の販売データ、在庫データ、顧客データを生成するグローバル小売企業の場合を考えます。データが複数のシステムに分散していると、ガバナンスの管理や品質の確保、コンプライアンスの維持は複雑で時間のかかる作業になり得ます。Dataplex Universal Catalog は、組織のデータアセットのリネージの検出、プロファイリング、検証、追跡、アクセス制御を一元的なビューで提供することで、このプロセスを簡素化します。
Dataplex Universal Catalog を使用する理由
Dataplex Universal Catalog は、次の機能を使用してデータを管理します。
- メタデータのカタログ化。 Google Cloud リソース（BigQuery、Cloud SQL、Spanner、Vertex AI、Pub/Sub、Dataform、Dataproc Metastore 内）や Dataplex Universal Catalog にインポートするサードパーティ リソースのメタデータを取得して、データアセットのスナップショットを取得します。
- データの検出。Cloud Storage バケット内の構造化データと非構造化データをスキャンして、メタデータを抽出してカタログ化します。
- データ分析情報。AI を使用してデータに関する自然言語の質問を生成し、パターンの検出、データ品質の評価、統計分析を行います。
- データのプロファイリング。BigQuery テーブル内の列データの一般的な特性（一般的なデータ値、データ分散、NULL 数など）を特定します。これにより、データ分類と品質保証の情報が得られます。
- データ品質。組織のポリシーと照らし合わせてデータを検証し、データが品質基準を満たしていない場合はアラートをログに記録することにより、BigQuery テーブル内のデータの品質を定義して測定します。
- ビジネス用語集。ビジネス関連の用語と定義を組織全体で管理し、テーブルの列に用語を関連付けることで、データの使用を常に把握できるようにします。
- データリネージ。データがシステム内でどのように移動するのかを追跡します。具体的には、データの発生源、伝達先、そして加えられた変換処理を把握できます。
Dataplex Universal Catalog は、分散検出からビジネス分析情報まで、エンドツーエンドのデータ ライフサイクルをサポートします。ガバナンス機能は BigQuery からも利用できます。
ユースケース
Dataplex Universal Catalog を使用すると、次のことができます。
データを検出して把握する。Dataplex Universal Catalog を使用すると、組織全体のデータリソースを可視化できます。これにより、データ消費ニーズに関連したリソースを見つけることができます。データリソースのコンテキストが提供されるため、データ利用者のニーズに対するデータリソースの適合性を把握できます。
データ ガバナンスとデータ マネジメントを有効にする。Dataplex Universal Catalog が提供するメタデータによって、データ ガバナンス機能とデータ マネジメント機能への情報の付与と強化が可能です。
メタデータ用に拡張可能で包括的なリポジトリを維持する。Dataplex Universal Catalog により、 Google Cloud リソースから自動的に収集されたメタデータが保存され、メタデータへのアクセスが可能になります。Google Cloud 以外のシステムのユーザー独自のメタデータを統合できます。ビジネス メタデータとテクニカル メタデータの追加アノテーションを使用して、すべてのメタデータを拡充できます。
使ってみる
Dataplex Universal Catalog を初めて使用する場合は、クイックスタートを試すことをおすすめします。
次のステップ
- Dataplex Universal Catalog のメタデータ管理の詳細を確認する。
- データアセットを検索する方法を確認する。
- エントリの管理方法とカスタムソースを取り込む方法を学習する。
- Dataplex Universal Catalog にメタデータをインポートする方法を確認する。
- BigQuery のガバナンスの詳細を確認する。