Kerberos が Dataproc Metastore と連携する仕組み

このページでは、Dataproc Metastore が Kerberos プロトコルをサポートする方法について説明します。

Kerberos は、秘密鍵暗号を使用してクライアントとサーバーのアプリケーションに強力な認証を提供するネットワーク認証プロトコルです。このプロトコルは、Hadoop スタックでソフトウェアエコシステム全体にわたる認証によく使用されています。

Kerberos は、次の Dataproc Metastore サービスで構成できます。

Kerberos を構成するプロセスは、サービスの種類ごとに異なります。

必要な Kerberos アセット

次のセクションでは、Dataproc Metastore サービス用に Kerberos を構成するために必要な Kerberos アセットに関する一般的な情報を提供します。

Kerberos KDC

Kerberos KDC が必要です。Dataproc クラスタのローカル KDC を使用するか、独自のものを作成してホストできます。

Kerberos プリンシパル

Dataproc Metastore サービス用に Kerberos を構成する場合は、Dataproc クラスタを使用してプリンシパルファイルを生成します。

Keytab ファイル

keytab ファイルには、Kerberos KDC でサービスプリンシパルを認証するために使用される Kerberos プリンシパルと暗号化されたキーのペアが含まれています。

Dataproc Metastore サービス用に Kerberos を構成する場合は、Dataproc クラスタを使用して keytab ファイルを生成します。

生成された keytab ファイルには、Hive メタストアサービスプリンシパルの名前とロケーションが含まれています。
生成された keytab ファイルは、Google Cloud Secret Manager に自動的に保存されます。

提供される Secret Manager の Secret は、特定の Secret バージョンに固定する必要があります。使用する Secret バージョンを指定する必要があります。Dataproc Metastore では、最新バージョンは自動的に選択されません。

krb5.conf ファイル

有効な krb5.conf ファイルには、KDC IP、ポート、レルム名などの Kerberos 構成情報が含まれています。

Dataproc Metastore サービス用に Kerberos を構成する場合は、Dataproc クラスタを使用して keytab ファイルを生成します。

krb5.conf ファイルを構成するときは、ピアリングされるネットワークからアクセス可能な KDC IP を指定します。KDC FQDN は指定しないでください。
Thrift エンドポイントを使用している場合は、Cloud Storage バケットにファイルを保存する必要があります。既存のバケットを使用することも、新しいものを作成することもできます。