使用费用和可靠性政策限制条件
Policy Controller 附带了一个默认的限制条件模板库，可与费用和可靠性政策包一起使用，有助于采用最佳实践来运行经济实惠的 GKE 集群，而不会影响工作负载的性能或可靠性。
费用和可靠性政策包限制条件
| 限制条件名称 | 限制条件说明 |
|---|---|
| cost-reliability-v2023-pod-disruption-budget | 需要 Deployment、ReplicaSet、StatefulSet 和 ReplicationController 的 PodDisruptionBudget 配置。 |
| cost-reliability-v2023-pod-resources-best-practices | 要求容器设置资源请求并遵循最佳实践。 |
| cost-reliability-v2023-required-labels | 要求所有 Pod 和控制器（ReplicaSet、Deployment、StatefulSet 和 DaemonSet）具有所需的标签：环境、团队和应用。 |
| cost-reliability-v2023-restrict-repos | 将容器映像限制为允许的代码库列表，以利用 Artifact Registry 进行映像流式传输。 |
| cost-reliability-v2023-spotvm-termination-grace | 对于具有 gke-spot 的 nodeSelector 或 nodeAfffinty 的 Pod 和 Pod 模板，需要 15 秒或更短的 terminationGracePeriodSeconds。 |
准备工作
- 安装并初始化 Google Cloud CLI，它提供了以下说明中使用的
gcloud和kubectl命令。如果您使用 Cloud Shell，则系统会预安装 Google Cloud CLI。 - 在集群上安装 Policy Controller v1.15.3 或更高版本以及默认的限制条件模板库。您还必须启用对参照限制条件的支持，因为此捆绑包包含参照限制条件。
为参照限制条件配置政策控制器
在文件中，将以下 YAML 清单保存为
policycontroller-config.yaml。清单将政策控制器配置为监视特定种类的对象。apiVersion: config.gatekeeper.sh/v1alpha1 kind: Config metadata: name: config namespace: "gatekeeper-system" spec: sync: syncOnly: - group: "" version: "v1" kind: "Service" - group: "policy" version: "v1" kind: "PodDisruptionBudget"应用
policycontroller-config.yaml清单：kubectl apply -f policycontroller-config.yaml
配置集群和工作负载
service选择的任何pod都必须包含就绪性探测。- 所有
deployment、replicaset、statefulset和replicationcontroller都必须包含poddisruptionbudget。 - 所有容器都应包括
cpu和memory请求，并且memory限制等于遵循最佳实践的memory请求。 - 向所有 Pod 和 Pod 模板添加
environment、team和app标签。 - 使用与集群相同的区域中的 Artifact Registry 托管容器映像，以启用映像流式传输。按照
cost-reliability-v2023-restrict-repos中的示例允许相关的 Artifact Registry。 - 所有使用
gke-spot的 Pod 和 Pod 模板都必须包含不超过 15 秒的terminationGracePeriodSeconds。
审核费用和可靠性政策包
政策控制器允许您为 Kubernetes 集群强制执行政策。为了帮助测试您的工作负载及其对上表中列出的费用与可靠性政策的合规性，您可以在“审核”模式下部署这些限制条件以发现违规行为，更重要的是让您有机会在 Kubernetes 集群上强制执行之前处理这些违规行为。
您可以在 spec.enforcementAction 设置为 dryrun 的情况下，使用 kubectl、kpt 或 Config Sync 应用这些政策。
kubectl
（可选）使用 kubectl 预览政策限制条件：
kubectl kustomize https://github.com/GoogleCloudPlatform/gke-policy-library.git/anthos-bundles/cost-reliability-v2023
使用 kubectl 应用政策限制条件：
kubectl apply -k https://github.com/GoogleCloudPlatform/gke-policy-library.git/anthos-bundles/cost-reliability-v2023
输出如下所示：
gkespotvmterminationgrace.constraints.gatekeeper.sh/cost-reliability-v2023-spotvm-termination-grace created k8sallowedrepos.constraints.gatekeeper.sh/cost-reliability-v2023-restrict-repos created k8spoddisruptionbudget.constraints.gatekeeper.sh/cost-reliability-v2023-pod-disruption-budget created k8spodresourcesbestpractices.constraints.gatekeeper.sh/cost-reliability-v2023-pod-resources-best-practices created k8srequiredlabels.constraints.gatekeeper.sh/cost-reliability-v2023-required-labels created
验证政策限制条件是否已安装，并检查集群中是否存在违规行为：
kubectl get constraints -l policycontroller.gke.io/bundleName=cost-reliability-v2023
输出类似于以下内容：
NAME ENFORCEMENT-ACTION TOTAL-VIOLATIONS gkespotvmterminationgrace.constraints.gatekeeper.sh/cost-reliability-v2023-spotvm-termination-grace dryrun 0 NAME ENFORCEMENT-ACTION TOTAL-VIOLATIONS k8spodresourcesbestpractices.constraints.gatekeeper.sh/cost-reliability-v2023-pod-resources-best-practices dryrun 0 NAME ENFORCEMENT-ACTION TOTAL-VIOLATIONS k8spoddisruptionbudget.constraints.gatekeeper.sh/cost-reliability-v2023-pod-disruption-budget dryrun 0 NAME ENFORCEMENT-ACTION TOTAL-VIOLATIONS k8sallowedrepos.constraints.gatekeeper.sh/cost-reliability-v2023-restrict-repos dryrun 0 NAME ENFORCEMENT-ACTION TOTAL-VIOLATIONS k8srequiredlabels.constraints.gatekeeper.sh/cost-reliability-v2023-required-labels dryrun 0
kpt
安装并设置 kpt。
在这些说明中，kpt 用于自定义和部署 Kubernetes 资源。
使用 kpt 从 GitHub 下载 PCI-DSS v3.2.1 政策捆绑包：
kpt pkg get https://github.com/GoogleCloudPlatform/gke-policy-library.git/anthos-bundles/cost-reliability-v2023
运行
set-enforcement-actionkpt 函数将政策的强制执行操作设置为dryrun：kpt fn eval cost-reliability-v2023 -i gcr.io/kpt-fn/set-enforcement-action:v0.1 \ -- enforcementAction=dryrun
使用 kpt 初始化工作目录，此操作会创建一个资源来跟踪更改：
cd cost-reliability-v2023 kpt live init
使用 kpt 应用政策限制条件：
kpt live apply
验证政策限制条件是否已安装，并检查集群中是否存在违规行为：
kpt live status --output table --poll-until current
状态为
CURRENT，即表示限制条件成功安装。
Config Sync
安装并设置 kpt。
在这些说明中，kpt 用于自定义和部署 Kubernetes 资源。
使用 Config Sync 将政策部署到其集群的运维人员可以按照以下说明操作：
更改为 Config Sync 的同步目录：
cd SYNC_ROOT_DIR
创建
resourcegroup.yaml或将其附加到.gitignore：echo resourcegroup.yaml >> .gitignore
创建一个专用的
policies目录：mkdir -p policies
使用 kpt 从 GitHub 下载费用和可靠性政策包：
kpt pkg get https://github.com/GoogleCloudPlatform/gke-policy-library.git/anthos-bundles/cost-reliability-v2023 policies/cost-reliability-v2023
运行
set-enforcement-actionkpt 函数将政策的强制执行操作设置为dryrun：kpt fn eval policies/cost-reliability-v2023 -i gcr.io/kpt-fn/set-enforcement-action:v0.1 -- enforcementAction=dryrun
（可选）预览待创建的政策限制条件：
kpt live init policies/cost-reliability-v2023 kpt live apply --dry-run policies/cost-reliability-v2023
如果 Config Sync 的同步目录使用 Kustomize，请将
policies/cost-reliability-v2023添加到根kustomization.yaml。否则，请移除policies/cost-reliability-v2023/kustomization.yaml文件：rm SYNC_ROOT_DIR/policies/cost-reliability-v2023/kustomization.yaml
将更改推送到 Config Sync 代码库：
git add SYNC_ROOT_DIR/policies/cost-reliability-v2023 git commit -m 'Adding Cost and Reliability policy audit enforcement' git push
验证安装状态：
watch gcloud beta container fleet config-management status --project PROJECT_ID
状态
SYNCED用于确认政策的安装情况。
查看违规问题
在审核模式下安装政策限制条件后，您可以使用 Policy Controller 信息中心在界面中查看集群的违规问题。
您还可以使用 kubectl 来通过以下命令查看针对集群的违规行为：
kubectl get constraint -l policycontroller.gke.io/bundleName=cost-reliability-v2023 -o json | jq -cC '.items[]| [.metadata.name,.status.totalViolations]'
如果存在违规行为，您可以使用以下命令查看每个限制条件的违规消息列表：
kubectl get constraint -l policycontroller.gke.io/bundleName=cost-reliability-v2023 -o json | jq -C '.items[]| select(.status.totalViolations>0)| [.metadata.name,.status.violations[]?]'
更改费用和可靠性政策包的强制执行操作
查看集群上的政策违规情况后，您可以考虑更改强制执行模式，以便准入控制器发出 warn，甚至 deny 屏蔽不合规资源应用于集群。
kubectl
使用 kubectl 将政策的强制执行操作设置为
warn：kubectl get constraints -l policycontroller.gke.io/bundleName=cost-reliability-v2023 -o name | xargs -I {} kubectl patch {} --type='json' -p='[{"op":"replace","path":"/spec/enforcementAction","value":"warn"}]'验证政策限制条件强制执行措施是否已更新：
kubectl get constraints -l policycontroller.gke.io/bundleName=cost-reliability-v2023
kpt
运行
set-enforcement-actionkpt 函数将政策的强制执行操作设置为warn：kpt fn eval -i gcr.io/kpt-fn/set-enforcement-action:v0.1 -- enforcementAction=warn
应用政策限制条件：
kpt live apply
Config Sync
使用 Config Sync 将政策部署到其集群的运维人员可以按照以下说明操作：
更改为 Config Sync 的同步目录：
cd SYNC_ROOT_DIR
运行
set-enforcement-actionkpt 函数将政策的强制执行操作设置为warn：kpt fn eval policies/cost-reliability-v2023 -i gcr.io/kpt-fn/set-enforcement-action:v0.1 -- enforcementAction=warn
将更改推送到 Config Sync 代码库：
git add SYNC_ROOT_DIR/policies/cost-reliability-v2023 git commit -m 'Adding Cost and Reliability policy bundle warn enforcement' git push
验证安装状态：
gcloud alpha anthos config sync repo list --project PROJECT_ID
SYNCED列中显示您的代码库即表示政策安装成功。
测试政策执行情况
使用以下命令在集群上创建不合规的资源：
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
namespace: default
name: wp-non-compliant
labels:
app: wordpress
spec:
containers:
- image: wordpress
name: wordpress
ports:
- containerPort: 80
hostPort: 80
name: wordpress
EOF
准入控制器应生成一个警告列表，其中列出了此资源违反政策的行为，如以下示例所示：
Warning: [cost-reliability-v2023-pod-resources-best-practices] Container <wordpress> must set <cpu> request. Warning: [cost-reliability-v2023-pod-resources-best-practices] Container <wordpress> must set <memory> request. Warning: [cost-reliability-v2023-required-labels] This app is missing one or more required labels: `environment`, `team`, and `app`. Warning: [cost-reliability-v2023-restrict-repos] container <wordpress> has an invalid image repo <wordpress>, allowed repos are ["gcr.io/gke-release/", "gcr.io/anthos-baremetal-release/", "gcr.io/config-management-release/", "gcr.io/kubebuilder/", "gcr.io/gkeconnect/", "gke.gcr.io/"] pod/wp-non-compliant created
移除费用和可靠性政策包
如果需要，您可以从集群中移除费用和可靠性政策包。
kubectl
使用 kubectl 移除政策：
kubectl delete constraint -l policycontroller.gke.io/bundleName=cost-reliability-v2023
kpt
移除政策：
kpt live destroy
Config Sync
使用 Config Sync 将政策部署到其集群的运维人员可以按照以下说明操作：
将更改推送到 Config Sync 代码库：
git rm -r SYNC_ROOT_DIR/policies/cost-reliability-v2023 git commit -m 'Removing Cost and Reliability policies' git push
验证状态：
gcloud alpha anthos config sync repo list --project PROJECT_ID
SYNCED列中显示您的代码库即表示政策移除成功。