Data Catalog
フルマネージドでスケーラビリティの高いデータ検出およびメタデータ管理サービス。
新規のお客様には、無料トライアルの期間中に Google Cloud で使える無料クレジット $300 分を差し上げます。すべてのお客様は、最大 1 MiB 分のビジネスまたは取り込み用のメタデータ ストレージと 100 万回の API 呼び出しを無料で利用できます。
-
シンプルで強力なファセット検索インターフェースでデータを特定
-
テクニカル メタデータを自動的に同期し、ビジネス メタデータ用にスキーマ化されたタグを作成
-
Cloud Data Loss Prevention（DLP）との統合により、機密データを自動的にタグ付け
-
すぐにアクセスでき、簡単にスケール。インフラストラクチャの設定や管理も不要
利点
あらゆる規模のデータ検出を簡易化
Gmail でも使用されている検索テクノロジーで構築された強力な UI や API アクセスを使用することで、チームの誰もがデータの検索とタグ付けをできるようになります。Data Catalog はフルマネージドであるため、最初から簡単にスケールできます。
すべてのデータセットをまとめて表示
Google Cloud 内だけでなく、Google Cloud 外のデータアセットも把握できます。BigQuery、Pub/Sub、Cloud Storage など、多数のコネクタと統合することで、テクニカル メタデータとビジネス メタデータをまとめて表示し、自動的にタグ付けできます。
主な機能
主な機能
サーバーレス
フルマネージドでスケーラブルなメタデータ管理サービス。インフラストラクチャの設定や管理が不要なので、本来の業務に専念できます。
サービスとしてのメタデータ
カスタム API と UI でデータアセットをカタログ化できるメタデータ管理サービス。データの場所を問わず、すべてのデータをまとめて確認できます。
一元的なカタログ
柔軟で強力なカタログ化システム。テクニカル メタデータ（自動）とビジネス メタデータ（タグ）を構造化された形式でキャプチャできます。
ドキュメント
ドキュメント
Data Catalog の概要
Data Catalog が必要な理由と、それによってデータを効率的に利用する方法を見つけます。
データセットのタグ付けについてのクイックスタート
BigQuery データセットの作成、スキーマを使ったタグ テンプレートの作成、テーブルの Data Catalog エントリの検索、テーブルのタグ付けを行います。
Data Catalog での検索方法
Data Catalog を使用して、Google Cloud プロジェクト内のデータセット、テーブル、ビュー、Pub/Sub トピックなどのデータアセットを検索します。
BigQuery の列レベルのセキュリティによるアクセス制限
このページでは、BigQuery の列レベルのセキュリティを使用して、BigQuery データへのアクセスを列レベルで制限する方法について説明します。
GitHub でオンプレミス メタデータ コネクタを参照する
Data Catalog コネクタで使用されている一般的なコードと、コネクタのサンプルコードへのリンク。
ユースケース
ユースケース
Data Catalog API を使用して任意のデータソースからメタデータを取り込むコネクタを作成できますが、MySQL、PostgreSQL、Hive、Teradata、Oracle、SQL Server、Redshift など、多数の一般的なデータソースからメタデータを取り込むことができるコネクタが Google からオープンソースで提供されており、すぐに利用できます。アセットを Data Catalog に取り込むと、すべて検索とタグ付けができるようになります。
Data Catalog API を使用すると、ビジネス インテリジェンス アセットからメタデータを取り込むことができます。Looker と Tableau については、直接 Data Catalog で検出とタグ付けが可能になるコネクタがオープンソースで提供されており、すぐに使用できます。
すべての機能
すべての機能
| サーバーレス | フルマネージドでスケーラブルなメタデータ管理サービス。インフラストラクチャの設定や管理が不要なので、本来の業務に専念できます。 |
| サービスとしてのメタデータ | カスタム API と UI でデータアセットをカタログ化できるメタデータ管理サービス。データの場所を問わず、すべてのデータをまとめて確認できます。 |
| 一元的なカタログ | 柔軟で強力なカタログ化システム。テクニカル メタデータ（自動）とビジネス メタデータ（タグ）を構造化された形式でキャプチャできます。 |
| 検索と検出 | 強力な構造化検索機能を備えた、シンプルで使いやすい UI でデータアセットをすばやく簡単に検索。Gmail と Google ドライブで使用されているものと同じ Google 検索テクノロジーを活用しています。 |
| スキーマ化されたメタデータ | 単純なテキストタグだけでなく、スキーマ化されたタグ（Enum、Bool、DateTime など）をサポートし、整理された豊富なビジネス メタデータを組織に提供します。 |
| Cloud DLP との統合 | 機密データを検出および分類して情報を提供し、データ ガバナンスのプロセスを簡易化します。 |
| オンプレミス コネクタ | Google Cloud 以外のデータアセットのテクニカル メタデータを Data Catalog に取り込むことで、すべてのデータアセットの全体像を確認できます。 |
| Cloud IAM との統合 | アクセスレベル制御を備え、データアセットの読み取り、書き込み、検索にソース ACL を適用。エンタープライズ クラスのアクセス制御を提供します。 |
| ガバナンス | Cloud DLP と Cloud IAM の統合により、強固なセキュリティとコンプライアンスの基盤を提供します。 |
料金
料金
Data Catalog の料金は、メタデータ ストレージと API 呼び出しに分割されます。どちらも使用量に基づいています。メタデータ ストレージには、Data Catalog に保存されている以下の新しいメタデータがすべて含まれます。
• ビジネス メタデータ（Data Catalog タグ テンプレートとタグなど）
• Pub/Sub トピックにアタッチされた Cloud Storage ファイルセットのスキーマ
• Data Catalog などに保存されているカスタムタイプのメタデータ
メタデータ ストレージには、他の Google Cloud サービスによって保存されるテクニカル メタデータ（BigQuery に保存されるデータセット テーブルと列名など）は含まれません。メタデータ ストレージと API 呼び出しの詳しい料金設定と例については、Data Catalog のドキュメントをご覧ください。
パートナー
パートナーと統合
Google の戦略的パートナーシップにより、強力なエコシステムが構築されています。お客様は各自のニーズに合ったプラットフォームを使用したハイブリッド クラウド環境で、一元化されたデータ検出を実現できます。
