Data Catalog は Dataplex の一部になりました。データの発見、管理、統制を 1 か所で簡単に行えるようになりました。詳細については、こちらをご覧ください。
ジャンプ先

Dataplex

Dataplex のインテリジェントなデータ ファブリックを使用して、データ サイロを解消します。これにより、組織は一貫性のある制御を備えて、データレイク、データ ウェアハウス、データマートの全体を対象にしたデータを一元的に検出、管理、モニタリング、統制できるようになり、信頼できるデータへのアクセスを提供し、大規模な分析を強化します。

  • データサイロ全体でデータを一括管理

  • セキュリティとガバナンスを一元化して、分散されたデータのオーナー権限をグローバルに管理

  • 分散データ全体で、ビジネス コンテキストに基づいた、統一された検索とデータ検出

  • データの信頼性を高め、情報分析にかかる時間を短縮する組み込みのデータ インテリジェンス

  • オープンソース ツールと堅牢なパートナー エコシステムをサポートするオープン プラットフォーム

利点

選択の自由

オープンソースやクラウド ネイティブの最適な分析ツールを自由に選択して、最適な価格とパフォーマンスを実現するデータを保存し、分析のライフサイクル全体を高速化できます。

インテリジェントな自動化

Google の最高水準の AI/ML 機能を使用した組み込みのデータ インテリジェンスで、データの検出、メタデータ収集、データ ライフサイクル管理、データ品質を自動化し、管理コストを削減します。

統合されたガバナンス

分散データ全体の一貫性を保つために、メタデータ、セキュリティ ポリシー、ガバナンス、データ分類の標準化と統合を可能にします。

主な機能

主な機能

一元化されたセキュリティとガバナンス

データサイロ全体で一元化されたポリシー管理、モニタリング、監査により、データを認証、分類できます。グローバルなモニタリングとガバナンスにより、ビジネス ドメインに基づくデータのオーナー権限の分散を容易にします。

Data Catalog によるメタデータ管理の統合

組み込みのデータ インテリジェンスを活用して、Google Cloud 内外に保存された構造化データ、半構造化データ、非構造化データの検出、分類、メタデータ拡張を自動化します。すべてのデータの技術、運用、ビジネス上のメタデータを、統合された、柔軟で強力な Data Catalog で管理します。

簡素化されたデータの検出と探索

Gmail と同じ検索テクノロジーを使用して、組み込みのファセット検索インターフェースでデータを簡単に検索、発見、把握できます。さまざまな分析ツールやデータ サイエンス ツールを使用して、このデータを探索、分析できます。  

データ品質とデータリネージ

分散データ全体にわたってデータ品質の管理を自動化し、信頼できるデータにアクセスできるようにします。自動的に収集されたデータリネージを使用して、データへの理解を深め、依存関係をトレースし、データの問題を効果的にトラブルシューティングできます。

データ編成とライフサイクル管理

Dataplex レイクとデータゾーンを使用して、複数のストレージ サービスにまたがるデータをビジネス固有のドメインに論理的に編成します。データの管理、キュレート、階層化、アーカイブをワンクリックで簡単に行えます。

Snap

「Google Cloud には数 PB のデータが格納されており、毎日数千人の内部ユーザーがアクセスしています。Dataplex を使用することで、データ所有権が分散されていてもガバナンスと表示設定が一元化され、分散データ全体でビジネス ドメイン固有のセルフサービス データ プラットフォームが実現されます。Dataplex を中央コンポーネントとして導入し、分析データ全体にわたる統合データメッシュを構築できることをとてもうれしく思います。」

Snap Inc. エンジニアリング担当ディレクター Saral Jain 氏

ドキュメント

ドキュメント

Google Cloud の基礎
Dataplex の仕組み

新しいデータソースが特定されると、Dataplex は組み込みのデータ品質チェックを使用して構造化データと非構造化データの両方のメタデータを収集し、整合性を高めます。

Google Cloud の基礎
Data Catalog の概要

Data Catalog を使ってデータを効率的に利用する方法を見つけます。

クイックスタート
Dataplex のスタートガイド

レイクとゾーンに保存されたデータを論理的に編成し、そのデータ全体にわたるデータ管理とガバナンスを自動化して、大規模な分析を強化します。

チュートリアル
Data Catalog での検索方法

Data Catalog を使用して、Google Cloud プロジェクト内のデータセット、テーブル、ビュー、Pub/Sub トピックなどのデータアセットを検索します。

ベスト プラクティス
Dataplex のベスト プラクティス

Dataplex エクスペリエンスを最適化するには、次のベスト プラクティスに従ってください。

API とライブラリ
Dataplex API

Dataplex API を使用して分散データを一元的に管理、統制します。

API とライブラリ
Data Catalog API

Data Catalog API を使用して、分散データのメタデータを一元管理して拡充します。

ユースケース

ユースケース

ユースケース
データメッシュ アーキテクチャを構築する

Dataplex を使用して、Cloud StorageBigQuery のデータ間でビジネス ドメイン固有のデータメッシュ アーキテクチャを構築します。データ所有権の分散を可能にしながらも、企業全体でデータを一元的に管理、モニタリング、統制して、さまざまな分析ツールやデータ サイエンス ツールでこのデータに安全にアクセスできるようにします。

ユースケース
Data Catalog でデータの分析情報を民主化

Dataplex 内でフルマネージドのサーバーレスの Data Catalog を使用することで、データサイロ全体でデータアセットを簡単に検索、検出できます。Data Catalog には、技術的なメタデータを自動的に取り込み、関連するビジネス コンテキストでメタデータを拡充し、組織内のすべてのユーザーが強力なファセット検索インターフェースを使用して簡単にデータを見つけて把握できるようにする機能が組み込まれています。

料金

料金

Dataplex の料金は、以下の従量課金制に基づいて計算されます。

- Dataplex の処理。Dataplex でのデータ検出機能が対象

- Data Catalog のメタデータ ストレージ

- Data Catalog の読み取り、書き込み、検索 API 呼び出し

パートナー

業界のリーダーと連携

Google は業界をリードするデータ分析プロバイダと協力して、Dataplex が既存のデータ分析への投資にすばやく統合できるように努めています。