创建管理员集群

在 GKE on Bare Metal 中，您可以设置管理员集群来安全地管理其他集群。您可以通过管理员集群创建、更新、升级或删除用户集群。用户集群独立于管理运行工作负载，因此敏感信息受到保护。

管理多集群工作负载的管理员集群可以提供高可用性 (HA) 的可靠性。在高可用性集群中，如果一个控制层面节点发生故障，其他节点将继续工作。

多集群环境中的管理员集群可提供最佳的基本安全性。由于管理数据的访问权限与工作负载无关，因此访问用户工作负载的人员无权访问 SSH 密钥和服务账号数据等敏感的管理数据。因此，需要在安全性与所需的资源之间进行权衡取舍，因为单独的管理员集群意味着您需要将专用资源用于管理和工作负载。

您可以使用 bmctl 命令创建管理员集群。创建管理员集群后，需要创建用户集群来运行工作负载。

前提条件：

  • 从 Cloud Storage 下载了最新的 bmctl (gs://anthos-baremetal-release/bmctl/1.15.11/linux-amd64/bmctl)。
  • 运行 bmctl 的工作站与目标用户集群中的所有节点之间有网络连接。
  • 运行 bmctl 的工作站与集群 API 服务器（控制层面 VIP）之间有网络连接。
  • 用于创建管理员集群的 SSH 密钥可供 root 用户使用，或者 SUDO 用户可以访问目标管理员集群中的所有节点。
  • Connect-register 服务账号配置为与 Connect 一起使用。

如需查看创建混合集群的更多分步说明，请参阅 GKE on Bare Metal quickstart。创建管理员集群与创建混合集群类似，不同之处在于管理员集群不运行工作负载。

启用 SELinux

如果要启用 SELinux 来保护容器，则必须确保在所有宿主机上以 Enforced 模式启用 SELinux。从 GKE on Bare Metal 1.9.0 版或更高版本开始，您可以在创建集群或升级集群之前或之后启用或停用 SELinux。Red Hat Enterprise Linux (RHEL) 和 CentOS 上默认启用 SELinux。如果宿主机上停用了 SELinux，或者不确定，请参阅使用 SELinux 保护容器，了解如何启用 SELinux。

GKE on Bare Metal 仅支持 RHEL 和 CentOS 系统中的 SELinux。

登录 gcloud CLI 并创建管理员集群配置文件

  1. 使用以下命令设置 GKE on Bare Metal 可用于创建集群的默认凭据：

    gcloud auth application-default login

  2. 如需在本页面中使用自动 API 启用和服务账号创建功能，请向该主账号授予 Project Owner 角色。如果主账号不能拥有 Project Owner 角色，请完成下一步。

  3. 如需确保在不授予 Project Owner 角色的情况下成功创建集群，请向主账号添加以下 IAM 角色：

    • Service Account Admin
    • Service Account Key Admin
    • Project IAM Admin
    • Compute Viewer
    • Service Usage Admin

    如果主账号是拥有这些角色的服务账号，则可以运行以下命令：

    export GOOGLE_APPLICATION_CREDENTIALS=JSON_KEY_FILE

    将 JSON_KEY_FILE 替换为服务账号的 JSON 密钥文件的路径。

  4. 获取 Google Cloud 项目的 ID，并将其存储在环境变量中，以用于创建集群：

    export CLOUD_PROJECT_ID=$(gcloud config get-value project)

使用 bmctl 创建管理员集群配置

登录 gcloud 并设置项目后，您可以使用 bmctl 命令创建集群配置文件。

在以下示例中，所有服务账号都由 bmctl create config 命令自动创建：

bmctl create config -c ADMIN_CLUSTER_NAME --enable-apis \
    --create-service-accounts --project-id=CLOUD_PROJECT_ID

替换以下内容：

  • ADMIN_CLUSTER_NAME：新集群的名称。
  • CLOUD_PROJECT_ID：您的 Google Cloud 项目 ID 或 $CLOUD_PROJECT_ID 环境变量。

以下示例展示了如何为与项目 ID my-gcp-project 关联且名为 admin1 的管理员集群创建配置文件：

bmctl create config -c admin1 --create-service-accounts --enable-apis --project-id=my-gcp-project

该文件将写入 bmctl-workspace/admin1/admin1.yaml。

除了自动启用 API 和创建服务账号外，您还可以为现有服务账号提供适当的 IAM 权限。也就是说，您可以在上一个示例中跳过 bmctl 命令中的自动创建服务账号部分：

bmctl create config -c admin1

修改集群配置文件

现在您有了集群配置文件，请对其进行修改以做出以下更改：

  1. 提供 SSH 私钥以访问管理员集群节点：

    # bmctl configuration variables. Because this section is valid YAML but not a valid Kubernetes
# resource, this section can only be included when using bmctl to
# create the initial admin/admin cluster. Afterwards, when creating user clusters by directly
# applying the cluster and node pool resources to the existing cluster, you must remove this
# section.
gcrKeyPath: bmctl-workspace/.sa-keys/my-gcp-project-anthos-baremetal-gcr.json
sshPrivateKeyPath: /path/to/your/ssh_private_key
gkeConnectAgentServiceAccountKeyPath: bmctl-workspace/.sa-keys/my-gcp-project-anthos-baremetal-connect.json
gkeConnectRegisterServiceAccountKeyPath: bmctl-workspace/.sa-keys/my-gcp-project-anthos-baremetal-register.json
cloudOperationsServiceAccountKeyPath: bmctl-workspace/.sa-keys/my-gcp-project-anthos-baremetal-cloud-ops.json

  2. 向舰队注册集群。您在 bmctl create config 命令中指定的项目 ID 会自动添加到集群配置文件中的 gkeConnect.projectID 字段。此项目即为舰队宿主项目。

    • 如果您使用自动 API 启用和服务账号创建功能创建了配置文件，则可以跳过此步骤。
    • 如果您创建配置文件时未使用自动 API 启用和服务账号创建功能，请在集群配置文件的相应 gkeConnectAgentServiceAccountKeyPath 和 gkeConnectRegisterServiceAccountKeyPath 字段中引用下载的服务账号 JSON 密钥。

  3. 检查配置，确保指定 admin 的集群类型（默认值）：

    spec:
  # Cluster type. This can be:
  #   1) admin:  to create an admin cluster. This can later be used to create user clusters.
  #   2) user:   to create a user cluster. Requires an existing admin cluster.
  #   3) hybrid: to create a hybrid cluster that runs admin cluster components and user workloads.
  #   4) standalone: to create a cluster that manages itself, runs user workloads, but does not manage other clusters.
  type: admin

  4. 更改配置文件以指定多节点、高可用性的控制层面。指定奇数个节点，以通过多数仲裁实现高可用性：

      # Control plane configuration
  controlPlane:
    nodePoolSpec:
      nodes:
      # Control plane node pools. Typically, this is either a single machine
      # or 3 machines if using a high availability deployment.
      - address: 10.200.0.4
      - address: 10.200.0.5
      - address: 10.200.0.6

  5. 指定集群节点的 pod 密度：

    ....
# NodeConfig specifies the configuration that applies to all nodes in the cluster.
nodeConfig:
  # podDensity specifies the pod density configuration.
  podDensity:
    # maxPodsPerNode specifies at most how many pods can be run on a single node.
    maxPodsPerNode: 250
....

    对于管理员集群，允许的 maxPodsPerNode 值为 32-250（HA 集群）和 64-250（非 HA 集群）。如果未指定，则默认值为 110。集群创建后，此值无法更新。

    pod 密度也受集群的可用 IP 资源的限制。如需了解详情，请参阅 pod 网络。

使用集群配置创建管理员集群

使用 bmctl 命令部署集群：

bmctl create cluster -c ADMIN_CLUSTER_NAME

ADMIN_CLUSTER_NAME 指定在上一部分中创建的集群名称。

以下示例命令创建名为 admin1 的集群：

bmctl create cluster -c admin1

管理员集群配置示例

如需查看管理员集群配置示例，请参阅集群配置示例中的管理员集群。