配置适用于 Kubernetes 的 OpenStack Cloud Provider

本指南介绍了如何在 Google Distributed Cloud 集群中配置适用于 Kubernetes 的 OpenStack Cloud Provider。OpenStack Cloud Provider 必须配置为使用 OpenStack LBaaS 公开 Kubernetes Service。

前提条件

本指南假定您有一个在 OpenStack 环境中运行的 Google Distributed Cloud 集群，其设置类似于在 OpenStack 上部署 Google Distributed Cloud 指南中所述。请先按照该指南操作，然后再尝试这些步骤。

警告： 下文所有命令都假定 OpenStack 中的 Google Distributed Cloud 环境使用此 Terraform 脚本进行设置。因此，命令中使用的名称（虚拟机名称、网络名称和根用户等）是 Terraform 脚本使用的名称。如果您手动配置了 OpenStack 环境，请根据您的设置调整这些命令。

配置 Provider

以下部分假定您从本地工作站的终端窗口开始。

1. 对 OpenStack 客户端配置 (openrc) 文件执行 source 命令。您可以从 OpenStack 网页界面下载该文件。

   source PATH_TO_OPENRC_FILE/openrc
   

2. 为 OpenStack Kubernetes Cloud Provider 创建配置文件。

   cat > cloud.conf << EOF
   [Global]
   auth-url=${OS_AUTH_URL}
   username=${OS_USERNAME}
   password=${OS_PASSWORD}
   region=RegionOne
   tenant-name=admin
   domain-id=default
   # this is for using a self-signed cert if your using a CA then comment this line
   # and point to the CA certificate using the "ca-file" arg
   tls-Insecure=true 
   
   [LoadBalancer]
   use-octavia=true
   # this is generally the public network on OpenStack
   floating-network-id=PUBLIC_NETWORK_ID
   # this should be private network subnet where vip is allocated for the ABM nodes
   subnet-id=ABM_NETWORK_SUBNET_ID
   
   [BlockStorage]
   bs-version=v2
   EOF
   

   替换以下内容：

   • OS_AUTH_URL、OS_USERNAME、OS_PASSWORD：这些变量应该已经通过对 openrc 文件执行 source 命令在环境设置好。因此，它们将自动被提取。
   • PUBLIC_NETWORK_ID：这是 OpenStack 部署中可公开访问的网络，浮动 IP 地址从此网络分配。Kubernetes Service 的 LoadBalancer IPs 将从此网络分配。您可以使用一行命令从 OpenStack 环境中提取此 IP。
   • ABM_NETWORK_SUBNET_ID：这是 OpenStack 部署中专用网络上的子网，从此网络为运行 Google Distributed Cloud 的虚拟机分配 IP。您可以使用类似于获取 OpenStack 中公共网络的 ID 的命令从 OpenStack 环境中提取此 IP。
   注意：请修改 cloud.conf 文件以满足您的需求和环境。此处显示的只是示例。如需详细了解所有配置参数，请参阅 OpenStack Cloud Provider 文档。

3. 提取 abm-ws 虚拟机的公共浮动 IP 地址。

   export OPENSTACK_IPS=$(openstack floating ip list --tags=abm_ws_floatingip -f json)
   export FLOATING_IP=$(jq -c '.[]."Floating IP Address"' <<< $OPENSTACK_IPS | tr -d '"')
   

4. 将 cloud.conf 文件复制到 OpenStack 中的 abm-ws 虚拟机。

   scp ./cloud.conf ubuntu@$FLOATING_IP:~
   

   注意：如果您已为虚拟机配置公钥验证，请在 SCP/SSH 命令中使用 "-o IdentitiesOnly=yes -i <PATH_TO_KEY>" 标志。

5. 使用 SSH 安全地连接到 abm-ws 虚拟机，并以 root 用户身份登录。

   Terraform 脚本abm配置的 root 用户为 。

   ssh ubuntu@$FLOATING_IP
   sudo -u abm -i
   

6. 将 cloud.conf 文件复制到 root 用户的 $HOME 目录中。

   cp /home/ubuntu/cloud.conf $HOME
   

7. 使用该配置创建 Kubernetes Secret。

   # make sure the kubectl client is pointing towards your cluster
   export KUBECONFIG=~/bmctl-workspace/CLUSTER_NAME/CLUSTER_NAME-kubeconfig
   
   # store the provider configurations as a Kubernetes secret
   kubectl create secret -n kube-system generic cloud-config --from-file=cloud.conf
   

8. 安装适用于 Kubernetes 的 OpenStack Cloud Provider。

   # create the necessary roles for the OpenStack provider
   kubectl apply -f https://raw.githubusercontent.com/kubernetes/cloud-provider-openstack/master/manifests/controller-manager/cloud-controller-manager-roles.yaml
   
   # create the required role-bindings for the OpenStack provider
   kubectl apply -f https://raw.githubusercontent.com/kubernetes/cloud-provider-openstack/master/manifests/controller-manager/cloud-controller-manager-role-bindings.yaml
   
   # create the OpenStack controller manager
   kubectl apply -f https://raw.githubusercontent.com/kubernetes/cloud-provider-openstack/master/manifests/controller-manager/openstack-cloud-controller-manager-ds.yaml
   

验证 OpenStack 集成

1. 部署示例销售终端应用。

   kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/anthos-samples/master/anthos-bm-openstack-terraform/resources/point-of-sales.yaml
   

2. 验证应用 pod 是否正在运行。

   kubectl get pods
   

   预期输出：

   NAME                          READY   STATUS    RESTARTS   AGE
   api-server-7db4777f7f-zflk5   1/1     Running   0          74s
   inventory-58c6fb5568-dqk2x    1/1     Running   0          74s
   payments-68d5d65d5c-5mjl6     1/1     Running   0          74s
   

3. 通过 LoadBalancer 类型的服务公开应用。

   kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/anthos-samples/master/anthos-bm-openstack-terraform/resources/point-of-sales-service.yaml
   

4. 尝试从浏览器访问该服务。

   # wait for the external IP to be assigned
   kubectl get service api-server-lb
   
   NAME            TYPE           CLUSTER-IP      EXTERNAL-IP      PORT(S)        AGE
   api-server-lb   LoadBalancer   10.203.77.215   172.29.249.159   80:32378/TCP   4m12s
   

   使用 EXTERNAL-IP 访问的销售终端应用。

   

   通过访问 OpenStack 网页界面，您可以发现 OpenStack 中创建了一个新的 OpenStack 负载均衡器。