データメッシュとは

データメッシュは、新しいツールやテクノロジーのセットではありません。これはデータについての企業の考え方の変化です。データメッシュ アプローチを導く 4 つの基本原則があります。これらの原則により、従来の一元的なデータ アーキテクチャの問題を解決するうえで、このアプローチが非常に効果的になります。

従来のデータ アーキテクチャでは、IT チームやデータ エンジニアリング チームなど、単一の中央チームがすべてのデータを管理します。データメッシュでは、データの所有権は、データを作成するビジネス ドメインに分散されます。たとえば、セールスチームは自分たちが生成する顧客データを所有し、マーケティング チームは自分たちが作成するキャンペーン データを所有します。これにより、チームは自分たちが生成するデータに対する責任や説明責任が大きくなります。

ドメイン指向の所有権では、データを作成するチームは、データをプロダクトのように扱う必要があります。企業が顧客に高品質なプロダクトを提供するのと同じように、データドメイン チームは、データを必要とする他のチームに高品質なデータを提供する必要があります。つまり、データを検出、理解、使用しやすくします。また、データは信頼性が高く、安全で、適切に文書化されている必要があります。また、アクセス制御を組み込んで、適切なユーザーのみが、自分のユースケースに適したデータにアクセスできるようにする必要があります。

データをプロダクトとして扱えるように、データメッシュはセルフサービス プラットフォームを使用します。このプラットフォームは、データ ドメイン チームが、中央データチームによる支援を必要とせずにデータ プロダクトを簡単に作成、管理できるようにするツールとサービスのセットです。これはシンプルで使いやすいプラットフォームで、データ ストレージ、セキュリティ、ガバナンスなど、データ管理に伴う多くの技術的タスクを自動化します。

データは分散化されてさまざまなチーム全体に広がっているため、全員が同じルールに従うようにする方法が必要です。そこで役立つのが、連携型コンピューティング ガバナンスです。このモデルでは、小規模な中央チームがすべてのデータに関するグローバルなルールと基準を設定します。ただし、これらのルールの適用は、それぞれのデータドメイン チーム自身によって行われます。これにより、ポリシーの一元化と実行の分散化の両方の利点を活かすことができます。

データメッシュ アプローチは、従来のデータ アーキテクチャで発生するいくつかの一般的な問題を解決するために作成されました。個々の部門やチームが所有するデータ ウェアハウスやデータレイクなどのモデルは、特に企業の成長に伴って、データサイロやガバナンスのリスクを生み出す可能性があります。データメッシュはこれらの問題に対処するために、所有権を分散して個々のチームを強化しながらも一元管理を維持し、ドメインを横断してデータを統制、モニタリングします。

Dataplex Universal Catalog は統合データ ファブリックとして機能し、データメッシュ全体に中央ガバナンス レイヤを提供します。これはさまざまな環境に分散されたデータを検出、管理、統制するのに役立ち、メタデータとポリシーの信頼できる唯一の情報源を確保できます。開始するには、Dataplex レイクを作成する必要があります。Dataplex レイクは、データを保持する最上位のコンテナーであり、通常はビジネス ドメインにマッピングされます。

レイクを作成する手順は次のとおりです。

1. Google Cloud コンソールで、Dataplex Universal Catalog Lakes ページに移動します。
2. [作成] をクリックした後、新しいレイクに「Sales Data Domain」や「Marketing Data Mesh」などのわかりやすい名前を付けます。
3. レイクのリージョンを選択します。
4. レイクを作成したら、ゾーンを追加できます。ゾーンはレイク内のサブドメインで、特定のチームやデータ契約を表します。たとえば、「Sales Data Domain」レイク内に、未処理データ用の「Raw」ゾーンと、クリーンアップされたプロダクション レディなデータ用の「Curated」ゾーンを作成できます。
5. ゾーンを作成したら、そのゾーンにアセットをアタッチできます。アセットとは、Cloud Storage や BigQuery などのサービスに保存される実際のデータです。Dataplex ゾーンをデータの場所に指定するだけです。

Dataplex はこれらのアセットを自動的にスキャンし、メタデータを検出してカタログ化します。

「プロダクトとしてのデータ」原則の重要な要素は、データを簡単に見つけられるようにすることです。BigQuery のデータ共有により、データ プロダクト マーケットプレイスを構築できます。これにより、ドメイン チームは、データをコピーまたは移動することなく、データ プロダクトを他のチームと安全に共有できます。これはデータ利用者が必要なデータを見つけるのに役立ち、データ利用者は明確で適切に定義されたインターフェースを使用してデータにアクセスできます。

Google Cloud のサーバーレス サービスにより、ドメインチームは最小限のオーバーヘッドで独自のデータ プロダクトを作成および管理できます。BigQuery は、チームが大規模なデータセットを迅速かつ効率的に分析できるようにする強力なサーバーレス データ ウェアハウスです。Dataflow は、データ プロダクトのデータ パイプラインを構築および自動化するために使用できるサーバーレス データ処理サービスです。これらのサービスにより、中央のデータ エンジニアリング チームがインフラストラクチャを管理する必要性が軽減され、ドメイン チームの自律性と俊敏性が向上します。

連携型コンピューティング ガバナンスとは、中央チームがグローバル ルールを定義し、ドメイン チームがそれを適用するという原則です。Google Cloud の Identity and Access Management（IAM）条件は、これを実装するためのツールを提供します。IAM 条件を使用すると、属性ベースのアクセス制御 (ABAC) が可能になり、データ属性に基づいてきめ細かな権限を設定できます。たとえば、ユーザーが特定のリージョンの顧客データにのみアクセスできるようにするポリシーを作成して、GDPR などのデータ主権に関する規制を確実に遵守することができます。