为 Dataproc Metastore Thrift 端点配置 Kerberos

本页介绍了如何为 Google Cloud 控制台配置 Kerberos 使用 Thrift 端点协议的 Dataproc Metastore 服务。 如果您的 Dataproc Metastore 服务使用 gRPC 端点协议，请参阅 为 gRPC 端点配置 Kerberos。

准备工作

  • 了解 Kerberos。

    在以下说明中，您将使用 Dataproc 集群来创建 以下 Kerberos 资产：

    • Keytab 文件。
    • krb5.conf 文件。
    • Kerberos 正文。

    有关这些 Kerberos 资产如何与 Dataproc Metastore 服务，请参阅关于 Kerberos。

  • 创建并托管您自己的 Kerberos KDC，或了解如何使用 Dataproc 集群的本地 KDC。

  • 创建 Cloud Storage 存储桶或访问现有存储分区。您 必须将您的 krb5.conf 文件存储在此存储桶中。

网络注意事项

在配置 Kerberos 之前，请考虑以下网络 设置：

  • 在您的 VPC 网络和 KDC 之间设置 IP 连接。您必须执行此操作才能 使用 Dataproc Metastore 服务对您的 KDC 文件进行身份验证。

  • 在您的服务器上设置任何必要的防火墙规则 KDC。 这些规则对于允许来自 Dataproc Metastore 的流量至关重要。如需了解详情，请参阅服务的防火墙规则。

  • 如果您使用 VPC Service Controls，则 Secret Manager Secret 和 krb5.conf 个 Cloud Storage 对象 所属的项目必须与 Dataproc Metastore 服务。

  • 确定您要使用的 VPC 对等互连网络。您必须配置 Dataproc 集群和 Dataproc Metastore 连接到同一 VPC 对等互连网络。

所需的角色

如需获得使用 Kerberos 创建 Dataproc Metastore 所需的权限，请让您的管理员根据最小特权原则为您授予项目的以下 IAM 角色：

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

此预定义角色包含 metastore.services.create 权限 需要 创建启用了 Kerberos 的 Dataproc Metastore。

您也可以使用自定义角色或其他预定义角色来获取此权限。

如需详细了解特定 Dataproc Metastore 角色和权限，请参阅使用 IAM 管理访问权限。

如需了解详情，请参阅 Dataproc Metastore IAM 和访问权限控制。

为 Dataproc Metastore 启用 Kerberos

以下说明介绍了如何为 Dataproc Metastore 配置 Kerberos 连接到 Dataproc 集群的 Google Cloud 服务。

创建 Dataproc 集群并启用 Kerberos

gcloud

如需设置使用 Kerberos 的 Dataproc 集群，请执行以下操作： 运行以下 gcloud dataproc clusters create 命令：

gcloud dataproc clusters create CLUSTER_NAME \
    --image-version=2.0 \
    --enable-kerberos \
    --scopes 'https://www.googleapis.com/auth/cloud-platform'

替换以下内容：

  • CLUSTER_NAME：Dataproc 集群的名称。

为 kerberos 配置 Dataproc 集群

以下说明介绍了如何使用 SSH 连接到主 Dataproc 与 Dataproc Metastore 服务关联的集群。

然后，修改 hive-site.xml 文件并为服务配置 Kerberos。

  1. 在 Google Cloud 控制台中，前往虚拟机实例页面。

  2. 在虚拟机实例列表中，点击虚拟机实例所在行中的 SSH Dataproc 主节点 (your-cluster-name-m)。

    节点上的主目录中将打开一个浏览器窗口。

  3. 打开 /etc/hive/conf/hive-site.xml 文件。

    sudo vim /etc/hive/conf/hive-site.xml

    您将看到类似如下所示的输出：

    <property>
<name>hive.metastore.kerberos.principal</name>
<value>PRINCIPAL_NAME</value>
</property>
<property>
<name>hive.metastore.kerberos.keytab.file</name>
<value>METASTORE_PRINCPAL_KEYTAB</value>
</property>

    您需要将其中的：

    • PRINCIPAL_NAME：主账号名称，格式为 primary/instance@REALM。例如 hive/test@C.MY-PROJECT.INTERNAL。
    • METASTORE_PRINCIPAL_KEYTAB：您的 Hive Metastore keytab 文件。请使用以下值 /etc/security/keytab/metastore.service.keytab。

创建密钥文件

以下说明介绍了如何创建 keytab 文件。

keytab 文件包含一对 Kerberos 正文和一对加密密钥。这是 用于通过 Kerberos KDC 对服务正文进行身份验证。

创建 keytab 文件

  1. 在 Dataproc SSH 会话中，创建 keytab 和主账号。

    sudo kadmin.local -q "addprinc -randkey PRINCIPAL_NAME"
sudo kadmin.local -q "ktadd -k /etc/security/keytab/metastore.service.keytab PRINCIPAL_NAME"

  2. 在 Dataproc SSH 会话中，创建并上传 keytab 文件 Secret Manager

    gcloud secrets create SECRET_NAME --replication-policy automatic
sudo gcloud secrets versions add SECRET_NAME --data-file /etc/security/keytab/metastore.service.keytab

    替换以下内容：

    • SECRET_NAME：Secret 的名称。

更新 krb5.conf 文件

接下来，您必须更新 krb5.conf 文件，将其与 Dataproc 集群相关联。

  1. 确定 Dataproc 的主要内部 IP 地址 主实例

    gcloud compute instances list

    例如，运行此命令会产生以下类似输出：

    ~$ gcloud compute instances list --project kerberos-project
NAME                                                 ZONE           MACHINE_TYPE   PREEMPTIBLE  INTERNAL_IP    EXTERNAL_IP     STATUS
cluster-236-m                                        us-central1-c  n2-standard-4               192.0.2.2      *.*.*.*         RUNNING
...

    在此示例中，集群的内部 IP 地址为 192.0.2.2。

  2. 打开 krb5.conf 文件。

    sudo vim /etc/krb5.conf

  3. 在文件中，替换现有的 KDC 参数和 admin_server 参数 替换为 Dataproc 集群的内部 IP 地址。

    例如，使用前面步骤中的 IP 地址值， 输出。

    [realms]
US-CENTRAL1-A.C.MY-PROJECT.INTERNAL = {
   kdc = 192.0.2.2
   admin_server = 192.0.2.2
}

  4. 从 Dataproc 主实例上传 /etc/krb5.conf 文件 复制到您的 Cloud Storage 存储桶

    gcloud storage cp /etc/krb5.conf gs://PATH_TO_KRB5

    您需要将其中的：

    • PATH_TO_KRB5：包含以下内容的 Cloud Storage URI 您的 krb5.conf 文件。

    上传完成后，复制上传路径。 您在创建 Dataproc Metastore 服务时需要使用它。

授予 IAM 角色和权限

  1. 为 Dataproc Metastore 服务账号提供权限 访问 keytab 文件此账号由 Google 管理，通过选择包括 Google 提供的角色授权列在 IAM 权限界面页面上。

      gcloud projects add-iam-policy-binding PROJECT_ID \
      --member serviceAccount:service-PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com \
      --role roles/secretmanager.secretAccessor

  2. 为 Dataproc Metastore 服务账号提供 访问 krb5.conf 文件的权限。

      gcloud projects add-iam-policy-binding PROJECT_ID \
      --member serviceAccount:service-PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com \
      --role roles/storage.objectViewer

创建使用 Kerberos 的 Dataproc Metastore 服务

创建使用 Kerberos 文件。

请务必在 VPC 网络中创建服务作为 Dataproc 集群。

gcloud metastore services create SERVICE \
   --location=LOCATION \
   --instance-size=medium \
   --network=VPC_NETWORK \
   --kerberos-principal=KERBEROS_PRINCIPAL \
   --krb5-config=KRB5_CONFIG \
   --keytab=CLOUD_SECRET

替换以下内容：

  • SERVICE：您的 Dataproc Metastore 服务的名称。
  • LOCATION：Dataproc Metastore 服务的位置。
  • VPC_NETWORK：您的 VPC 网络的名称。使用相同的 在您的 Dataproc 集群中配置的网络。
  • KERBEROS_PRINCIPAL：您之前创建的 Kerberos 主体的名称。
  • KRB5_CONFIG：krb5.config 文件的位置。 使用指向文件的 Cloud Storage 对象 URI。
  • CLOUD_SECRET：相对资源 Secret Manager 的名称 Secret 版本。

在您创建集群后，Dataproc Metastore 会尝试连接 使用提供的主账号、keytab 和 krb5.conf 输入您的 kerberos 凭据 文件。如果连接失败，则 Dataproc Metastore 创建也会失败。

创建 Dataproc Metastore 服务后， 找到您的 Thrift 端点 URI 和仓库目录。

  1. 通过 SSH 连接到主实例 Dataproc 集群的配置。

  2. 在 SSH 会话中，打开 /etc/hive/conf/hive-site.xml 文件。

    sudo vim /etc/hive/conf/hive-site.xml

  3. 在 Dataproc 集群上修改 /etc/hive/conf/hive-site.xml。

    <property>
<name>hive.metastore.uris</name>
<!-- Update this value. -->
<value>ENDPOINT_URI</value>
</property>
<!-- Add this property entry. -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>WAREHOUSE_DIR</value>
</property>

  4. 重启 HiveServer2：

    sudo systemctl restart hive-server2.service

在提交作业之前配置 Dataproc

如需运行 Dataproc 作业，请执行以下操作： 必须将 hive 用户添加到 allowed.system.users Hadoop container-executor.cfg 文件。这样，用户就可以运行查询来访问数据，例如 select * from。

  1. 在 SSH 会话中，打开 Hadoop container-executor.cfg 文件。

    sudo vim /etc/hadoop/conf/container-executor.cfg

    在每个 Dataproc 节点上添加以下行。

    allowed.system.users=hive

获取 kerberos 票券

  1. 在连接到 Dataproc Metastore 实例之前，请先获取 kerberos 票证。

    sudo klist -kte /etc/security/keytab/metastore.service.keytab
sudo kinit -kt /etc/security/keytab/metastore.service.keytab PRINCIPAL_NAME
sudo klist # gets the ticket information.
sudo hive

    替换以下内容：

    • PRINCIPAL_NAME：您的主账号的名称。

后续步骤