为 Dataproc Metastore Thrift 端点配置 Kerberos

本页介绍了如何为 Google Cloud 控制台配置 Kerberos 使用 Thrift 端点协议的 Dataproc Metastore 服务。 如果您的 Dataproc Metastore 服务使用 gRPC 端点协议，请参阅 为 gRPC 端点配置 Kerberos。

准备工作

  • 了解 Kerberos。

    在以下说明中，您将使用 Dataproc 集群来创建 以下 Kerberos 资产：

    • Keytab 文件。
    • krb5.conf 文件。
    • Kerberos 正文。

    有关这些 Kerberos 资产如何与 Dataproc Metastore 服务，请参阅关于 Kerberos。

  • 创建并托管您自己的 Kerberos KDC 或了解如何使用 Dataproc 集群。

  • 创建 Cloud Storage 存储桶或访问现有存储分区。您 必须将您的 krb5.conf 文件存储在此存储桶中。

网络注意事项

在配置 Kerberos 之前，请考虑以下网络 设置：

  • 在您的 VPC 网络和 KDC 之间设置 IP 连接。您必须执行此操作才能 使用 Dataproc Metastore 服务对您的 KDC 文件进行身份验证。

  • 在您的服务器上设置任何必要的防火墙规则 KDC。 必须设置这些规则，才能允许来自 Dataproc Metastore。如需了解详情，请参阅防火墙规则 供您的 服务。

  • 如果您使用 VPC Service Controls，则 Secret Manager Secret 和 krb5.conf 个 Cloud Storage 对象 所属的项目与 Dataproc Metastore 服务。

  • 确定您要使用的 VPC 对等互连网络。您必须配置 Dataproc 集群和 Dataproc Metastore 连接到同一 VPC 对等互连网络。

所需的角色

要获得使用 Kerberos 创建 Dataproc Metastore 所需的权限， 请让管理员向您授予 基于最小权限原则，为您的项目分配以下 IAM 角色：

如需详细了解如何授予角色，请参阅管理访问权限。

此预定义角色包含 metastore.services.create 权限，也就是 创建 Dataproc Metastore 时需要使用 Kerberos。

您也可以使用自定义角色或其他预定义角色来获取此权限。

如需详细了解特定 Dataproc Metastore 角色和权限，请参阅使用 IAM 管理访问权限。

如需了解详情，请参阅 Dataproc Metastore IAM 和访问权限控制。

为 Dataproc Metastore 启用 Kerberos

以下说明介绍了如何为 Dataproc Metastore 配置 Kerberos 连接到 Dataproc 集群的 Google Cloud 服务。

创建 Dataproc 集群并启用 Kerberos

gcloud

如需设置使用 Kerberos 的 Dataproc 集群，请执行以下操作： 运行以下 gcloud dataproc clusters create 命令：

gcloud dataproc clusters create CLUSTER_NAME \
    --image-version=2.0 \
    --enable-kerberos \
    --scopes 'https://www.googleapis.com/auth/cloud-platform'

替换以下内容：

  • CLUSTER_NAME：您的 Dataproc 集群的名称。

为 kerberos 配置 Dataproc 集群

以下说明介绍了如何使用 SSH 连接到主 Dataproc 与 Dataproc Metastore 服务关联的集群。

然后，修改 hive-site.xml 文件并为服务配置 Kerberos。

  1. 在 Google Cloud 控制台中，前往虚拟机实例页面。

  2. 在虚拟机实例列表中，点击虚拟机实例所在行中的 SSH Dataproc 主节点 (your-cluster-name-m)。

    节点上的主目录中将打开一个浏览器窗口。

  3. 打开 /etc/hive/conf/hive-site.xml 文件。

    sudo vim /etc/hive/conf/hive-site.xml

    您将看到类似于以下内容的输出：

    <property>
<name>hive.metastore.kerberos.principal</name>
<value>PRINCIPAL_NAME</value>
</property>
<property>
<name>hive.metastore.kerberos.keytab.file</name>
<value>METASTORE_PRINCPAL_KEYTAB</value>
</property>

    您需要将其中的：

    • PRINCIPAL_NAME：主账号名称，请使用以下格式 格式：primary/instance@REALM。例如 hive/test@C.MY-PROJECT.INTERNAL。
    • METASTORE_PRINCIPAL_KEYTAB：您的 Hive Metastore keytab 文件。请使用以下值 /etc/security/keytab/metastore.service.keytab。

创建 keytab 文件

以下说明介绍了如何创建 keytab 文件。

keytab 文件包含一对 Kerberos 正文和一对加密密钥。这是 用于通过 Kerberos KDC 对服务正文进行身份验证。

创建 keytab 文件

  1. 在 Dataproc SSH 会话中，创建 keytab 和主账号。

    sudo kadmin.local -q "addprinc -randkey PRINCIPAL_NAME"
sudo kadmin.local -q "ktadd -k /etc/security/keytab/metastore.service.keytab PRINCIPAL_NAME"

  2. 在 Dataproc SSH 会话中，创建并上传 keytab 文件 Secret Manager

    gcloud secrets create SECRET_NAME --replication-policy automatic
sudo gcloud secrets versions add SECRET_NAME --data-file /etc/security/keytab/metastore.service.keytab

    替换以下内容：

    • SECRET_NAME：您的 Secret 的名称。

更新 krb5.conf 文件

接下来，您必须更新 krb5.conf 文件，将其与您的 Dataproc 集群。

  1. 确定 Dataproc 的主要内部 IP 地址 集群主实例

    gcloud compute instances list

    例如，运行此命令会产生以下类似输出：

    ~$ gcloud compute instances list --project kerberos-project
NAME                                                 ZONE           MACHINE_TYPE   PREEMPTIBLE  INTERNAL_IP    EXTERNAL_IP     STATUS
cluster-236-m                                        us-central1-c  n2-standard-4               192.0.2.2      *.*.*.*         RUNNING
...

    在这种情况下，集群的内部 IP 地址为 192.0.2.2。

  2. 打开 krb5.conf 文件。

    sudo vim /etc/krb5.conf

  3. 在文件中，替换现有的 KDC 参数和 admin_server 参数 替换为 Dataproc 集群的内部 IP 地址。

    例如，使用前面步骤中的 IP 地址值， 输出。

    [realms]
US-CENTRAL1-A.C.MY-PROJECT.INTERNAL = {
   kdc = 192.0.2.2
   admin_server = 192.0.2.2
}

  4. 从 Dataproc 主实例上传 /etc/krb5.conf 文件 复制到您的 Cloud Storage 存储桶

    gcloud storage cp /etc/krb5.conf gs://PATH_TO_KRB5

    您需要将其中的：

    • PATH_TO_KRB5：包含以下内容的 Cloud Storage URI 您的 krb5.conf 文件。

    上传完成后，复制上传路径。 您在创建 Dataproc Metastore 服务时需要使用它。

授予 IAM 角色和权限

  1. 为 Dataproc Metastore 服务账号提供权限 访问 keytab 文件此账号由 Google 管理，通过选择包括 Google 提供的角色授权列在 IAM 权限界面页面上。

      gcloud projects add-iam-policy-binding PROJECT_ID \
      --member serviceAccount:service-PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com \
      --role roles/secretmanager.secretAccessor

  2. 为 Dataproc Metastore 服务账号提供 访问 krb5.conf 文件的权限。

      gcloud projects add-iam-policy-binding PROJECT_ID \
      --member serviceAccount:service-PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com \
      --role roles/storage.objectViewer

创建使用 Kerberos 的 Dataproc Metastore 服务

创建使用 Kerberos 文件。

请务必在 VPC 网络中创建服务作为您的 Dataproc 集群。

gcloud metastore services create SERVICE \
   --location=LOCATION \
   --instance-size=medium \
   --network=VPC_NETWORK \
   --kerberos-principal=KERBEROS_PRINCIPAL \
   --krb5-config=KRB5_CONFIG \
   --keytab=CLOUD_SECRET

替换以下内容：

  • SERVICE：您的 Dataproc Metastore 服务的名称。
  • LOCATION：Dataproc Metastore 服务的位置。
  • VPC_NETWORK：您的 VPC 网络的名称。使用相同的 在您的 Dataproc 集群中配置的网络。
  • KERBEROS_PRINCIPAL：kerberos 主账号的名称 创建的新实例
  • KRB5_CONFIG：krb5.config 文件的位置。 使用指向文件的 Cloud Storage 对象 URI。
  • CLOUD_SECRET：相对资源 Secret Manager 的名称 Secret 版本。

在您创建集群后，Dataproc Metastore 会尝试连接 使用提供的主账号、keytab 和 krb5.conf 输入您的 kerberos 凭据 文件。如果连接失败，则 Dataproc Metastore 创建也会失败。

创建 Dataproc Metastore 服务后， 找到您的 Thrift 端点 URI 和仓库目录。

  1. 通过 SSH 连接到主实例 Dataproc 集群的配置。

  2. 在 SSH 会话中，打开 /etc/hive/conf/hive-site.xml 文件。

    sudo vim /etc/hive/conf/hive-site.xml

  3. 在 Dataproc 集群上修改 /etc/hive/conf/hive-site.xml。

    <property>
<name>hive.metastore.uris</name>
<!-- Update this value. -->
<value>ENDPOINT_URI</value>
</property>
<!-- Add this property entry. -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>WAREHOUSE_DIR</value>
</property>

  4. 重启 HiveServer2：

    sudo systemctl restart hive-server2.service

在提交作业之前配置 Dataproc

如需运行 Dataproc 作业，请执行以下操作： 必须将 hive 用户添加到 allowed.system.users Hadoop container-executor.cfg 文件。这样，用户就可以运行查询来访问数据 例如 select * from。

  1. 在 SSH 会话中，打开 Hadoop container-executor.cfg 文件。

    sudo vim /etc/hadoop/conf/container-executor.cfg

    在每个 Dataproc 节点上添加以下行。

    allowed.system.users=hive

获取 kerberos 票券

  1. 在连接到 Dataproc Metastore 实例之前，请先获取 kerberos 票证。

    sudo klist -kte /etc/security/keytab/metastore.service.keytab
sudo kinit -kt /etc/security/keytab/metastore.service.keytab PRINCIPAL_NAME
sudo klist # gets the ticket information.
sudo hive

    替换以下内容：

    • PRINCIPAL_NAME：您的主账号的名称。

后续步骤