データメッシュのコンセプト

Google Cloud Cortex Framework で Data Mesh をデプロイする詳細なガイドに進む前に、このページでは、関連する Data Mesh コンセプトが一般にプロダクト内でどのように実装されているか、特に Cortex Framework のコンテキストでどのように実装されているかについて説明します。 Google Cloud Data Mesh のコンセプトを理解したら、Cortex Framework Data Foundation の Data Mesh ユーザーガイドをご覧ください。

注: 一般的なデータメッシュのコンセプトについて詳しくは、Google Cloud での最新の分散型データメッシュの構築をご覧ください。

Dataplex

次の表に、Dataplex 内のデータメッシュのコンセプトを定義します。

コンセプト	説明	Cortex Framework のコンテキスト
湖	Data Mesh 内でデータを整理するための最上位の単位。Dataplex - Lakes を管理します。	データソース（SAP ECC、Salesforce、Google Ads など）。
ゾーン	レイク内のデータを整理するための 2 番目のレベルのユニット。	データソース内の特定の処理レイヤ（元データと CDC など）。
Dataplex アセット	ゾーンに関連付けられている Cloud Storage または BigQuery に保存されているデータへの参照。これはデータアセットへの参照であり、データ自体ではありません。	ゾーンに登録されている BigQuery データセットへの参照。
ラベル	レイクまたはゾーンに適用できる任意の Key-Value ペア。	テーブルや列ではなく、レイクまたはゾーン全体にメタデータをラベル付けします。このメタデータは、Dataplex で表示したり、カスタム アプリケーションで使用したりできます。
Data Catalog	ウェアハウス内のデータアセットの検出、理解、管理に使用できるテクニカル ビジネス メタデータ。	テーブルまたは列（レイクまたはゾーンではなく）に、Dataplex 検索またはカスタム アプリケーションで使用できるリッチ メタデータタグをアノテーションします。
カタログ タグ テンプレート	タグで使用可能なフィールドとそのタイプを定義するテンプレート。Dataplex - タグ テンプレートを管理します。	データアセットにビジネスラインのタグ付けなどの用途に使用する一連のテンプレートを定義します。
カタログタグ	テーブルまたは列に適用されるメタデータを含む一連のフィールドとその値。タグ テンプレートのインスタンス。	テーブルまたは列にアノテーションを付け、そのアセットに関連するメタデータ値（特定の事業部門など）を追加します。
カタログ用語集	定義して BigQuery 列に関連付けることができる用語の辞書。Dataplex - 用語集を管理します。	BigQuery アセットで使用される用語や頭字語を定義します。これは今後の予定であり、現在はサポートされていません。
データリネージ	BigQuery アセットの依存関係を表すグラフ。	これらは Cortex Data Mesh によって定義されていませんが、ユーザーが BigQuery アセット データソースを見つけるのに役立つ関連する Dataplex ツールです。
リネージ イベント	BigQuery アセット間でデータを移動するオペレーションが発生した時点。リンクのリストが含まれます。	サポートされている BigQuery オペレーションと Composer オペレーション用に自動的に作成されます。
リネージ リンク	リネージ イベントの一部としてソースアセットからターゲット アセットに流れるデータを表すエッジ。	コンソールに表示されるリネージ可視化グラフ以外のユースケースをサポートするように分析できます。

BigQuery

次の表に、BigQuery 内の Data Mesh のコンセプトを定義します。

コンセプト	説明	Cortex Framework のコンテキスト
ポリシー分類	ポリシータグの階層。BigQuery - ポリシータグを管理します。	アクセス制御に使用できる関連するポリシータグを、継承された権限を持つ階層に整理します。
ポリシータグ	BigQuery のテーブルまたはビュー内の特定の列に適用されるタグ。階層の任意のレベルでポリシータグを適用できます。特定の列に適用できるポリシータグは 1 つのみです。	列レベルのアクセス制御に使用されるタグを使用して列にアノテーションを付けます。ポリシータグのプリンシパルは、元の列データを表示できる「きめ細かい」または「マスクなし」の読み取りを定義します。
データ ポリシー	ポリシータグに適用されるポリシー。マスクされた列データを表示する方法と表示できるユーザーを定義します。	データポリシーのプリンシパルは、マスクされた列データを表示できる「マスクされた読み取りユーザー」を定義します。マスクされた読者権限またはマスク解除された読者権限がないユーザーは、列をクエリできません。
マスキング ルール	データ ポリシーに適用されるルール。データのマスキング方法（ハッシュ化、デフォルト値の表示、最後の 4 文字など）を定義します。	機密性の高い列に状況に応じて適用されます。
行アクセス ポリシー	特定の列値に基づいてテーブル内の行をクエリできるグループを定義する SQL ステートメント。	アセットと列レベルの制御が不十分な場合に、行レベルのアクセス制御に使用されます。

Cortex Data Mesh のコンセプト

次の表に、Cortex Framework 内の特定のデータメッシュのコンセプトを定義します。

コンセプト	説明	Cortex Framework のコンテキスト
メタデータ リソース	複数の BigQuery アセットで再利用できるメタデータ エンティティ。たとえば、レイク、カタログタグ テンプレート、ポリシー分類などです。これは、BigQuery 自体のデータではなく、メタデータです。	再利用可能なリソースを定義して、Cortex Data Mesh の一貫した管理を可能にします。
BigQuery アセット	BigQuery テーブルまたはビュー。	Data Mesh で管理されている既存の Cortex BigQuery オブジェクト。
BigQuery アセット アノテーション	特定の BigQuery テーブルまたはビューに適用されるメタデータ。これには、説明、アクセス ポリシー、メタデータ リソースへのマッピングが含まれます。	メタデータを BigQuery アセットに関連付けて、検出とアクセス制御を有効にします。
リソース仕様（spec）	メタデータ リソースまたは BigQuery アセット アノテーションを定義する YAML ファイル。	リソース仕様の完全なセットは、デプロイする Data Mesh 構成をコード化します。