Dataplex
Dataplex のインテリジェントなデータ ファブリックを使用して、データ サイロを解消します。これにより、組織は一貫性のある制御を備えて、データレイク、データ ウェアハウス、データマートの全体を対象にしたデータを一元的に検出、管理、モニタリング、統制できるようになり、信頼できるデータへのアクセスを提供し、大規模な分析を強化します。
-
データサイロ全体でデータを一括管理
-
セキュリティとガバナンスを一元化して、分散されたデータのオーナー権限をグローバルに管理
-
分散データ全体で、ビジネス コンテキストに基づいた、統一された検索とデータ検出
-
データの信頼性を高め、情報分析にかかる時間を短縮する組み込みのデータ インテリジェンス
-
オープンソース ツールと堅牢なパートナー エコシステムをサポートするオープン プラットフォーム
利点
選択の自由
オープンソースやクラウド ネイティブの最適な分析ツールを自由に選択して、最適な価格とパフォーマンスを実現するデータを保存し、分析のライフサイクル全体を高速化できます。
インテリジェントな自動化
Google の最高水準の AI/ML 機能を使用した組み込みのデータ インテリジェンスで、データの検出、メタデータ収集、データ ライフサイクル管理、データ品質を自動化し、管理コストを削減します。
統合されたガバナンス
分散データ全体の一貫性を保つために、メタデータ、セキュリティ ポリシー、ガバナンス、データ分類の標準化と統合を可能にします。
主な機能
主な機能
簡素化されたデータ検出
組み込みのデータ インテリジェンスを活用して、Google Cloud 内外に保存された構造化データ、半構造化データ、非構造化データの検出、分類、メタデータ拡張を自動化します。すべてのデータの技術、運用、ビジネス上のメタデータを、統合された、柔軟で強力な Data Catalog で管理します。 Gmail と同じ検索テクノロジーを使用して、組み込みのファセット検索インターフェースでデータを簡単に検索、発見、把握できます。
データ編成とライフサイクル管理
Dataplex レイクとデータゾーンを使用して、複数のストレージ サービスにまたがるデータをビジネス固有のドメインに論理的に編成します。データの管理、キュレート、階層化、アーカイブをワンクリックで簡単に行えます。
一元化されたセキュリティとガバナンス
データサイロ全体で一元化されたポリシー管理、モニタリング、監査により、データを認証、分類できます。グローバルなモニタリングとガバナンスにより、ビジネス ドメインに基づくデータのオーナー権限の分散を容易にします。
組み込みのデータ品質とデータリネージ
分散データ全体にわたってデータ品質の管理を自動化し、信頼できるデータにアクセスできるようにします。自動的に収集されたデータリネージを使用して、データへの理解を深め、依存関係をトレースし、データの問題を効果的にトラブルシューティングできます。
サーバーレスのデータ探索
サーバーレス データ探索ワークベンチと、Spark SQL スクリプトと Jupyter ノートブックへのワンクリック アクセスを使用して、完全に管理された高品質なデータをインタラクティブにクエリします。組み込みのパブリッシュ、共有、検索機能により、チーム間で簡単に共同作業できます。ワークベンチからワンクリックで行えるスケジュール設定で作業を運用化します。
「Google Cloud には数 PB のデータが格納されており、毎日数千人の内部ユーザーがアクセスしています。Dataplex を使用することで、データ所有権が分散されていてもガバナンスと表示設定が一元化され、分散データ全体でビジネス ドメイン固有のセルフサービス データ プラットフォームが実現されます。Dataplex を中央コンポーネントとして導入し、分析データ全体にわたる統合データメッシュを構築できることをとてもうれしく思います。」
Snap Inc. エンジニアリング担当ディレクター Saral Jain 氏
ドキュメント
ドキュメント
Dataplex の仕組み
新しいデータソースが特定されると、Dataplex は組み込みのデータ品質チェックを使用して構造化データと非構造化データの両方のメタデータを収集し、整合性を高めます。
Data Catalog の概要
Data Catalog を使ってデータを効率的に利用する方法を見つけます。
Dataplex のスタートガイド
レイクとゾーンに保存されたデータを論理的に編成し、そのデータ全体にわたるデータ管理とガバナンスを自動化して、大規模な分析を強化します。
Data Catalog での検索方法
Data Catalog を使用して、Google Cloud プロジェクト内のデータセット、テーブル、ビュー、Pub/Sub トピックなどのデータアセットを検索します。
Dataplex のベスト プラクティス
Dataplex エクスペリエンスを最適化するには、次のベスト プラクティスに従ってください。
Dataplex API
Dataplex API を使用して分散データを一元的に管理、統制します。
Data Catalog API
Data Catalog API を使用して、分散データのメタデータを一元管理して拡充します。
ユースケース
ユースケース
Dataplex を使用して、Cloud Storage と BigQuery のデータ間でビジネス ドメイン固有のデータメッシュ アーキテクチャを構築します。データ所有権の分散を可能にしながらも、企業全体でデータを一元的に管理、モニタリング、統制して、さまざまな分析ツールやデータ サイエンス ツールでこのデータに安全にアクセスできるようにします。
Dataplex 内でフルマネージドのサーバーレスの Data Catalog を使用することで、データサイロ全体でデータアセットを簡単に検索、検出できます。Data Catalog には、技術的なメタデータを自動的に取り込み、関連するビジネス コンテキストでメタデータを拡充し、組織内のすべてのユーザーが強力なファセット検索インターフェースを使用して簡単にデータを見つけて把握できるようにする機能が組み込まれています。
料金
料金
Dataplex の料金は、以下の従量課金制に基づいて計算されます。
- Dataplex の処理。Dataplex でのデータ検出機能が対象
- Data Catalog のメタデータ ストレージ
- Data Catalog の読み取り、書き込み、検索 API 呼び出し
パートナー
業界のリーダーと連携
Google は業界をリードするデータ分析プロバイダと協力して、Dataplex が既存のデータ分析への投資にすばやく統合できるように努めています。
Cloud AI プロダクトは、Google の SLA ポリシーに準拠しています。これらの SLA ポリシーで保証されているレイテンシや可用性は、他の Google Cloud サービスと異なる場合があります。