Kerberos 如何与 Dataproc Metastore 协同工作

本页面介绍了 Dataproc Metastore 如何支持 Kerberos 协议。

Kerberos 是一种网络身份验证协议,旨在使用密钥加密技术为客户端和服务器应用提供强有力的身份验证。它通常用在 Hadoop 堆栈中,用于在整个软件生态系统中进行身份验证。

您可以在以下 Dataproc Metastore 服务上配置 Kerberos:

每种服务的配置 Kerberos 的流程各不相同。

必需的 Kerberos 资源

以下部分提供了有关为 Dataproc Metastore 服务配置 Kerberos 时所需的 Kerberos 资源的一般信息。

Kerberos KDC

需要 Kerberos KDC。 您可以使用 Dataproc 集群的本地 KDC,或创建并托管您自己的 KDC。

Kerberos 主帐号

在为 Dataproc Metastore 服务配置 Kerberos 时,您可以使用 Dataproc 集群生成主账号文件。

Keytab 文件

keytab 文件包含 Kerberos 主帐号和加密密钥对,它们用于通过 Kerberos KDC 对服务主帐号进行身份验证。

在为 Dataproc Metastore 服务配置 Kerberos 时,您可以使用 Dataproc 集群生成 keytab 文件。

  • 生成的 keytab 文件包含 Hive Metastore 服务主账号的名称和位置。

  • 生成的 keytab 文件会自动存储在 Google Cloud Secret Manager 中。

    提供的 Secret Manager Secret 必须固定到特定的 Secret 版本。您需要指定要使用的 Secret 版本,Dataproc Metastore 不会自动选择最新版本。

krb5.conf 文件

有效的 krb5.conf 文件包含 Kerberos 配置信息,例如 KDC IP、端口和领域名称。

在为 Dataproc Metastore 服务配置 Kerberos 时,您可以使用 Dataproc 集群生成 keytab 文件。

  • 配置 krb5.conf 文件时,请指定可从对等互连网络访问的 KDC IP。请勿指定 KDC FQDN。
  • 如果您使用的是 Thrift 端点,则必须将文件存储在 Cloud Storage 存储桶中。您可以使用现有存储桶,也可以创建新存储桶。

后续步骤