メタデータ連携は、1 つのエンドポイントから複数のメタデータ ソースにアクセスできるようにするサービスです。
連携を設定するには、連携サービスを作成し、メタデータ ソースを構成します。その後、サービスはすべてのメタデータにアクセスするために使用する 1 つの gRPC エンドポイントを公開します。
たとえば、連携を使用すると、単一のエンドポイントを介して複数の Dataproc Metastore サービスを公開する Dataproc クラスタを作成できます。その後、Spark や Hive などのオープンソース ソフトウェア(OSS)エンジンを使用してビッグデータ ジョブを実行し、複数のメタストアのメタデータにアクセスできます。
連携の仕組み
Spark または Hive で実行される OSS ビッグデータ ワークロードは、Hive Metastore API にリクエストを送信して、実行時にメタデータを取得します。
- Hive Metastore インターフェースでは、読み取りと書き込みの両方のメソッドがサポートされています。連携サービスは、Hive Metastore インターフェースの gRPC バージョンを公開します。
- 実行時に、連携サービスはリクエストを受信すると、ソースの順序を確認して適切なメタデータを取得します。
メタデータの入手先
連携サービスを作成するときに、メタデータ ソースを追加する必要があります。バックエンド メタストアとして次のソースを使用できます。
- Dataproc Metastore インスタンス。
- 1 つ以上の BigQuery データセットを含むプロジェクト。
- Dataplex レイク(プレビュー)。
ソースの制限
次のセクションでは、さまざまなメタデータのソースを使用する際に遵守する必要がある制限を示します。
ソース総数
すべてのメタデータソースには、次の制限が適用されます。
- 連携サービスには独自のデータは含まれません。代わりに、連携サービスはメタデータ ソースの一つからのみメタデータを提供します。
- 連携サービスは、別の連携サービスのメタデータのソースにはなりません。
Dataproc Metastore
Dataproc Metastore をソースとして使用している場合は、次の制限が適用されます。
- 連携サービスは、gRPC エンドポイントを介してのみ利用できます。連携で Dataproc Metastore を使用するには、gRPC エンドポイントを使用してメタストアを作成します。
- 連携サービスは、任意の単一リージョンで単一リージョンの Dataproc Metastore サービスに接続できます。連携サービスは、マルチリージョンの Dataproc Metastore サービスをサポートしていません。
BigQuery
BigQuery データセットをソースとして含むプロジェクトを使用している場合は、次の条件を満たす必要があります。
- BigQuery データセットを含むプロジェクトにアクセスするための適切な IAM ロールを付与します。
- BigQuery データセットとともに、少なくとも 1 つの Dataproc Metastore サービスをソースとして追加します。
Dataplex レイク
dataplex.lakes.get
権限を含む IAM ロールを付与します。- Dataplex レイクとともに、少なくとも 1 つの Dataproc Metastore サービスをソースとして追加します。
ソースの順序付け
連携サービスは、優先順位に従ってメタデータ リクエストを処理します。このコンセプトはソースの順序付けと呼ばれます。実行時に、連携サービスはリクエストを受信すると、ソースの順序を確認し、次のいずれかのアクションを完了します。
- リクエストにデータベース名が含まれている場合。リクエストは、データベース名を含むバックエンド メタストアに転送されます。複数のメタストアに同じデータベース名が含まれている場合、リクエストはランクが最も低いメタストアに転送されます。
- リクエストでデータベースが作成または削除された場合。リクエストは、ランクが最も低いメタストアに転送されます。
- リクエストにデータベース名が含まれておらず、データベースの作成または削除が行われない場合。リクエストは、ランクが最も低い Dataproc Metastore インスタンスに転送されます。データベースを指定しない場合の Hive メタストア リクエストの例には、
set_ugi
とcreate_database
があります。 - どのメタストアにもデータベースが含まれていない場合。OSS エンジンが、notFound エラーと同等のレスポンスを返します。