使用 Compute Engine 永久性磁盘 CSI 驱动程序

Google Kubernetes Engine (GKE) 为您在集群中自动部署和管理 Compute Engine 永久性磁盘容器存储接口 (CSI) 驱动程序提供了一种简单的方法。

Compute Engine 永久性磁盘 CSI 驱动程序版本与 GKE 版本号相关联。Compute Engine 永久性磁盘 CSI 驱动程序版本通常是发布 GKE 版本时可用的最新驱动程序。当集群升级到最新的 GKE 补丁程序时，驱动程序会自动更新。

优势

使用 Compute Engine 永久性磁盘 CSI 驱动程序具有以下优势：

它可以自动部署和管理永久性磁盘驱动程序，而不必手动进行设置。
您可以使用客户管理的加密密钥 (CMEK)。这些密钥用于对加密您的数据的数据加密密钥进行加密。如需详细了解 GKE 上的 CMEK，请参阅使用 CMEK。
您可以将卷快照与 Compute Engine 永久性磁盘 CSI 驱动程序结合使用。通过卷快照，您可以在特定时间点创建卷的副本。您可以使用此副本将卷恢复到之前的状态或预配新卷。
Bug 修复和功能更新独立于次要的 Kubernetes 版本而发布。此发布时间表通常会加快发布节奏。

要求

如需使用 Compute Engine 永久性磁盘 CSI 驱动程序，您的集群必须使用以下版本：

Linux 集群：GKE 1.14 或更高版本。
Windows 集群：GKE 1.18 或更高版本。

在 1.21 及更高版本中，已移除树内 gcePersistentDisk 卷插件。使用 gce-pd 提供商的现有卷将转为通过 CSI 驱动程序进行通信。无需对任何 StorageClass 进行更改。gce-pd 提供商依然不支持 CMEK 或卷快照等功能。您必须使用 StorageClass 中的 pd.csi.storage.gke.io 提供商来启用这些功能。

如需将 Compute Engine 永久性磁盘 CSI 驱动程序与 Workload Identity 搭配使用，您的集群必须使用以下版本：

Linux 集群：GKE 1.16 或更高版本。
Windows 集群：GKE 1.20.8-gke.900 或更高版本。

在新集群上启用 Compute Engine 永久性磁盘 CSI 驱动程序

如需使用未自动启用 Compute Engine 永久性磁盘 CSI 驱动程序的版本创建集群，您可以使用 gcloud 命令行工具或 Google Cloud Console。

如需在创建集群时启用该驱动程序，请完成以下步骤：

gcloud

gcloud container clusters create CLUSTER-NAME \
    --addons=GcePersistentDiskCsiDriver \
    --cluster-version=VERSION

替换以下内容：

CLUSTER-NAME：您的集群的名称。
VERSION：GKE 版本号。您必须选择 1.14 或更高版本才能使用此功能。

如需查看完整的标志列表，请参阅 gcloud container clusters create 文档。

控制台

转到 Cloud Console 中的 Google Kubernetes Engine 页面。

转到 Google Kubernetes Engine
点击创建。
在标准部分中，点击配置。
根据需要配置集群。
在导航窗格的集群下，点击功能。
选中启用 Compute Engine 永久性磁盘 CSI 驱动程序复选框。
点击创建。

启用 Compute Engine 永久性磁盘 CSI 驱动程序后，您可以使用驱动程序和预配工具名称 pd.csi.storage.gke.io 在 Kubernetes 卷中使用该驱动程序。

在现有集群上启用 Compute Engine 永久性磁盘 CSI 驱动程序

如需在现有标准集群中启用 Compute Engine 永久性磁盘 CSI 驱动程序，请使用 gcloud 命令行工具或 Google Cloud Console。

如需在现有集群上启用该驱动程序，请完成以下步骤：

gcloud

gcloud container clusters update CLUSTER-NAME \
   --update-addons=GcePersistentDiskCsiDriver=ENABLED

将 CLUSTER-NAME 替换为现有集群的名称。

控制台

转到 Cloud Console 中的 Google Kubernetes Engine 页面。

转到 Google Kubernetes Engine
在集群列表中，点击您要修改的集群的名称。
在功能下，点击 Compute Engine 永久性磁盘 CSI 驱动程序字段旁边的 修改 Compute Engine CSI 驱动程序。
选中启用 Compute Engine 永久性磁盘 CSI 驱动程序复选框。
点击保存更改。

停用 Compute Engine 永久性磁盘 CSI 驱动程序

您可以使用 gcloud 命令行工具或 Google Cloud Console 为标准集群停用 Compute Engine 永久性磁盘 CSI 驱动程序。

如果您停用该驱动程序，则当前使用该驱动程序所拥有的 PersistentVolume 的任何 Pod 都将无法终止。尝试使用这些 PersistentVolume 的所有新 Pod 也将无法启动。

如需在现有标准集群上停用该驱动程序，请完成以下步骤：

gcloud

gcloud container clusters update CLUSTER-NAME \
    --update-addons=GcePersistentDiskCsiDriver=DISABLED

将 CLUSTER-NAME 替换为现有集群的名称。

控制台

转到 Cloud Console 中的 Google Kubernetes Engine 页面。

转到 Google Kubernetes Engine
在集群列表中，点击您要修改的集群的名称。
在功能下，点击 Compute Engine 永久性磁盘 CSI 驱动程序字段旁边的 修改 Compute Engine CSI 驱动程序。
取消选中启用 Compute Engine Persistent Disk CSI 驱动程序复选框。
点击保存更改。

使用适用于 Linux 集群的 Compute Engine 永久性磁盘 CSI 驱动程序

以下几个部分介绍了在 GKE 中使用 CSI 驱动程序支持的 Kubernetes 卷的典型过程。这些部分针对使用 Linux 的集群。

创建一个 StorageClass

启用 Compute Engine 永久性磁盘 CSI 驱动程序后，GKE 会自动安装以下 StorageClass：

standard-rwo（使用平衡永久性磁盘）
premium-rwo（使用 SSD 永久性磁盘）

1.17 及更低版本的一些旧式集群可能改用 singlewriter-standard 或 standard-singlewriter StorageClass，后者使用标准永久性磁盘。

对于 Autopilot 集群，默认 StorageClass 是 standard-rwo，它使用 Compute Engine 永久性磁盘 CSI 驱动程序。对于标准集群，默认 StorageClass 使用 Kubernetes 树内 gcePersistentDisk 卷插件。

您可以通过运行以下命令找到已安装的 StorageClass 的名称：

kubectl get sc

您还可以通过在预配工具字段中添加 pd.csi.storage.gke.io 来安装其他使用 Compute Engine 永久性磁盘 CSI 驱动程序的 StorageClass。

例如，您可以使用以下名为 pd-example-class.yaml 的文件创建一个 StorageClass：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: pd-example
provisioner: pd.csi.storage.gke.io
volumeBindingMode: WaitForFirstConsumer
allowVolumeExpansion: true
parameters:
  type: pd-balanced

任何永久性磁盘类型均可在 type 参数中指定（例如 pd-ssd、pd-standard 或 pd-balanced）。

创建 pd-example-class.yaml 文件后，请运行以下命令：

kubectl create -f pd-example-class.yaml

创建一个 PersistentVolumeClaim

您可以创建一个引用 Compute Engine 永久性磁盘 CSI 驱动程序的 StorageClass 的 PersistentVolumeClaim。

以下名为 pvc-example.yaml 的文件使用预安装的存储类别 standard-rwo：

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: podpvc
spec:
  accessModes:
  - ReadWriteOnce
  storageClassName: standard-rwo
  resources:
    requests:
      storage: 6Gi

创建 PersistentVolumeClaim 清单后，请运行以下命令：

kubectl create -f pvc-example.yaml

在预安装的 StorageClass (standard-rwo) 中，将 volumeBindingMode 设置为 WaitForFirstConsumer。如果将 volumeBindingMode 设置为 WaitForFirstConsumer，则在调度引用 PersistentVolumeClaim 的 Pod 之前，系统不会预配 PersistentVolume。如果将 StorageClass 中的 volumeBindingMode 设置为 Immediate（或者将其省略），则在创建 PersistentVolumeClaim 后，系统会预配基于永久性磁盘的 PersistentVolume。

创建使用该卷的 Pod

将 Pod 与 PersistentVolume 搭配使用时，我们建议您使用工作负载控制器（例如 Deployment 或 StatefulSet）。虽然您通常不会使用一个独立的 Pod，但以下示例为简单起见使用了一个 Pod。

以下示例将使用您在上一部分中创建的卷：

apiVersion: v1
kind: Pod
metadata:
  name: web-server
spec:
  containers:
   - name: web-server
     image: nginx
     volumeMounts:
       - mountPath: /var/lib/www/html
         name: mypvc
  volumes:
   - name: mypvc
     persistentVolumeClaim:
       claimName: podpvc
       readOnly: false

使用适用于 Windows 集群的 Compute Engine 永久性磁盘 CSI 驱动程序

以下几个部分介绍了在 GKE 中使用 CSI 驱动程序支持的 Kubernetes 卷的典型过程。这些部分针对使用 Windows 的集群。

确保：

集群版本为 1.19.7-gke.2000、1.20.2-gke.2000 或更高版本。
节点版本为 1.18.12-gke.1203、1.19.6-gke.800 或更高版本。

创建一个 StorageClass

创建适用于 Windows 的 StorageClass 的过程与 Linux 非常相似。请注意，默认安装的 StorageClass 并不适用于 Windows，因为文件系统类型不同。适用于 Windows 的 Compute Engine 永久性磁盘 CSI 驱动程序需要以 NTFS 作为文件系统类型。

例如，您可以使用以下名为 pd- windows-class.yaml 的文件创建一个 StorageClass。请务必将 csi.storage.k8s.io/fstype: NTFS 添加到参数列表中：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: pd-sc-windows
provisioner: pd.csi.storage.gke.io
volumeBindingMode: WaitForFirstConsumer
allowVolumeExpansion: true
parameters:
  type: pd-balanced
  csi.storage.k8s.io/fstype: NTFS

创建一个 PersistentVolumeClaim

创建适用于 Windows 的 StorageClass 后，您便可以创建引用该 StorageClass 的 PersistentVolumeClaim：

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: podpvc-windows
spec:
  accessModes:
  - ReadWriteOnce
  storageClassName: pd-sc-windows
  resources:
    requests:
      storage: 6Gi

创建使用该卷的 Pod

以下示例将使用您在上一任务中创建的卷：

apiVersion: v1
kind: Pod
metadata:
  name: web-server
spec:
  nodeSelector:
    kubernetes.io/os: windows
  containers:
    - name: iis-server
      image: mcr.microsoft.com/windows/servercore/iis
      ports:
      - containerPort: 80
      volumeMounts:
      - mountPath: /var/lib/www/html
        name: mypvc
  volumes:
    - name: mypvc
      persistentVolumeClaim:
        claimName: podpvc-windows
        readOnly: false

使用具有非默认文件系统类型的 Compute Engine 永久性磁盘 CSI 驱动程序

GKE 中 Compute Engine 永久性磁盘的默认文件系统类型为 ext4。只要节点映像支持该类型，您也可以使用 xfs 存储类型。如需查看节点映像支持的驱动程序列表，请参阅存储驱动程序支持。

以下示例展示了如何将 xfs（而非 ext4）用作 Compute Engine 永久性磁盘 CSI 驱动程序的默认文件系统类型。

创建一个 StorageClass

将以下清单保存为名为 pd-xfs-class.yaml 的 YAML 文件：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: xfs-class
provisioner: pd.csi.storage.gke.io
parameters:
  type: pd-standard
  csi.storage.k8s.io/fstype: xfs
volumeBindingMode: WaitForFirstConsumer

应用清单：
```
kubectl apply -f pd-xfs-class.yaml
```

创建一个 PersistentVolumeClaim

将以下清单保存为 pd-xfs-pvc.yaml：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: xfs-pvc
spec:
  storageClassName: xfs-class
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi

应用清单：
```
kubectl apply -f pd-xfs-pvc.yaml
```

创建使用该卷的 Pod

将以下清单保存为 pd-xfs-pod.yaml：

apiVersion: v1
kind: Pod
metadata:
  name: pd-xfs-pod
spec:
  containers:
  - name: cloud-sdk
    image: google/cloud-sdk:slim
    args: ["sleep","3600"]
    volumeMounts:
    - mountPath: /xfs
      name: xfs-volume
  volumes:
  - name: xfs-volume
    persistentVolumeClaim:
      claimName: xfs-pvc

应用清单：
```
kubectl apply -f pd-xfs-pod.yaml
```

验证卷是否已正确装载

在 Pod 中打开 shell 会话：

kubectl exec -it pd-xfs-pod -- /bin/bash

查找 xfs 分区：

df -aTh --type=xfs

输出应类似如下所示：

Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/sdb       xfs    30G   63M   30G   1% /xfs

已知问题

由于 CSI 节点 ID 规范中设定 128 个字符限制以及 GKE 生成实例名称的方式，则在某些节点池的新 GKE 集群或现有 GKE 集群上安装 Compute Engine 永久性磁盘 CSI 驱动程序可能会失败。如需了解详情，请参阅该 GitHub 问题。

此问题已在以下版本中得到修复：

1.16.15-gke.1700 及更高版本
1.17.9-6300 及更高版本
1.18.6-4801 及更高版本

如果您使用的是较低版本的集群，请将其升级到所列的某一版本以解决该问题。

使用 Compute Engine 永久性磁盘 CSI 驱动程序

优势

要求

在新集群上启用 Compute Engine 永久性磁盘 CSI 驱动程序

gcloud

控制台

在现有集群上启用 Compute Engine 永久性磁盘 CSI 驱动程序

gcloud

控制台

停用 Compute Engine 永久性磁盘 CSI 驱动程序

gcloud

控制台

使用适用于 Linux 集群的 Compute Engine 永久性磁盘 CSI 驱动程序

创建一个 StorageClass

创建一个 PersistentVolumeClaim

创建使用该卷的 Pod

使用适用于 Windows 集群的 Compute Engine 永久性磁盘 CSI 驱动程序

创建一个 StorageClass

创建一个 PersistentVolumeClaim

创建使用该卷的 Pod

使用具有非默认文件系统类型的 Compute Engine 永久性磁盘 CSI 驱动程序

创建一个 StorageClass

创建一个 PersistentVolumeClaim

创建使用该卷的 Pod

验证卷是否已正确装载

已知问题

后续步骤