本頁面說明如何在 Google Distributed Cloud (GDC) 實體隔離方案中,將容器工作負載隔離在專屬節點集區,進一步控管 Pod。工作負載隔離可帶來以下優點:
- 降低 Kubernetes 叢集發生權限提升攻擊的風險。
- 進一步控管需要額外資源的 Pod。
在這些情況下,建議您隔離容器工作負載,以便進一步控管及最佳化。
為什麼要隔離工作負載?
您不一定要將工作負載隔離到專屬節點集區,但為了避免潛在問題,建議採取這項謹慎的行動。但請注意,管理專屬節點集區需要更多監督,而且通常是不必要的。
Kubernetes 叢集會使用 GDC 管理的具備特殊權限的工作負載,啟用特定叢集功能和特性,例如收集指標。這些工作負載會獲得特殊權限,可在叢集中正確執行。
部署至節點的工作負載可能會遭到惡意實體入侵。如果這些工作負載與具備權限的 GDC 管理工作負載一起執行,表示攻擊者只要從遭入侵的容器中脫逃,就能使用節點上具備權限的工作負載憑證,在叢集中提升權限。
當您要排程的 pod 比其他 pod 需要更多資源 (例如更多記憶體或更多本機磁碟空間) 時,專屬節點集區也十分實用。
您可以使用下列機制,在專屬節點集區中排定工作負載:
- 節點 taint - https://cloud.google.com/kubernetes-engine/docs/how-to/node-taints
- 節點親和性 - https://kubernetes.io/docs/tasks/configure-pod-container/assign-pods-nodes-using-node-affinity/
節點 taint 會通知 Kubernetes 叢集,避免在這些節點上排定沒有相應容許條件的工作負載,例如 GDC 管理的工作負載。自有工作負載的節點親和性會告知叢集,將 Pod 排程至專屬節點。
節點隔離的限制
攻擊者仍可從遭入侵的節點發動阻斷服務 (DoS) 攻擊。
遭入侵的節點仍可讀取許多資源,包括叢集中的所有 Pod 和命名空間。
遭入侵的節點可以存取在該節點上執行的每個 Pod 所使用的密鑰和憑證。
使用個別節點集區隔離工作負載可能會影響成本效益、自動調度資源和資源用量。
遭入侵的節點仍可略過輸出網路政策。
部分 GDC 管理的工作負載必須在叢集中的每個節點上執行,且設定為可容許所有汙點。
如果您部署具有提升權限且可容忍任何汙染的
DaemonSet
資源,這些 Pod 可能會成為遭入侵節點的權限提升路徑。
節點隔離的運作方式
如要為工作負載實作節點隔離,請完成下列步驟:
為工作負載汙染節點集區並加上標籤。
使用對應的容許度和節點親和性規則更新工作負載。
本指南假設您從叢集中的一個節點集區開始。除了節點汙染之外,使用節點親和性並非必要,但我們建議您這麼做,因為這樣可以更有效控管排程。
事前準備
開始之前,請確認你已完成下列工作:
為要用於專屬節點集區的節點汙點和節點標籤選擇特定名稱。例如
workloadType=untrusted
。如有需要,請要求機構 IAM 管理員授予您「使用者叢集開發人員」角色 (
user-cluster-developer
),這個角色不會繫結至命名空間。
汙染並標記新的節點集區
將汙點或標籤套用至新的節點集區時,所有節點 (包括稍後新增的節點) 都會自動取得指定的汙點和標籤。
如要為新的節點集區新增汙點和標籤,請完成下列步驟:
建立節點集區時,直接編輯自訂資源的
nodePools
區段:Cluster
nodePools: ... - machineTypeName: n2-standard-2-gdc name: nodepool-1 nodeCount: 3 taints: TAINT_KEY=TAINT_VALUE:TAINT_EFFECT labels: LABEL_KEY=LABEL_VALUE
更改下列內容:
TAINT_KEY=TAINT_VALUE
:與排程TAINT_EFFECT
相關聯的鍵/值組合。例如:workloadType=untrusted
。TAINT_EFFECT
:下列其中一個效果值:NoSchedule
:系統不會把無法容許此 taint 的 Pod 排程到節點上,也不會將現有的 Pod 自節點中移除。PreferNoSchedule
:Kubernetes 會避免將無法容忍此 taint 的 Pod 排程到節點上。NoExecute
:如果 Pod 已在節點上執行,系統會移除節點中的 Pod。如果尚未在節點上執行,也不會將 Pod 排程到節點上。
LABEL_KEY=LABEL_VALUE
: 節點標籤的鍵/值組合,對應至您在工作負載資訊清單中指定的選取器。
套用
Cluster
資源,建立新的節點集區:kubectl apply -f cluster.yaml \ --kubeconfig MANAGEMENT_API_SERVER
將
MANAGEMENT_API_SERVER
替換為 Kubernetes 叢集所在區域 API 伺服器的 kubeconfig 路徑。如果您尚未在目標區域中為 API 伺服器產生 kubeconfig 檔案,請參閱「登入」一文瞭解詳情。
汙染及標記現有節點集區
如要將汙點或標籤套用至現有節點集區,您必須對每個現有節點套用變更。您無法動態更新節點集區設定。
如要在現有節點集區中新增汙點和標籤,請完成下列步驟:
列出專屬節點集區中的節點:
kubectl get node --kubeconfig KUBERNETES_CLUSTER_KUBECONFIG \ -l baremetal.cluster.gke.io/node-pool=NODE_POOL_NAME
請替換下列變數:
KUBERNETES_CLUSTER_KUBECONFIG
:Kubernetes 叢集的 kubeconfig 路徑。NODE_POOL_NAME
:專屬節點集區的名稱。
從輸出內容中記下節點集區中所有節點的節點 ID。
針對節點集區中的每個節點,套用以下 taint:
kubectl taint nodes NODE_ID \ TAINT_KEY=TAINT_VALUE:TAINT_EFFECT \ --kubeconfig KUBERNETES_CLUSTER_KUBECONFIG
請替換下列變數:
NODE_ID
:專屬節點集區中的工作站節點 ID。TAINT_KEY=TAINT_VALUE
:與排程相關聯的鍵/值組合。TAINT_EFFECT
例如:workloadType=untrusted
。TAINT_EFFECT
:下列其中一個效果值:NoSchedule
:系統不會把無法容許此 taint 的 Pod 排程到節點上,也不會將現有的 Pod 自節點中移除。PreferNoSchedule
:Kubernetes 會避免將無法容忍此 taint 的 Pod 排程到節點上。NoExecute
:如果 Pod 已在節點上執行,系統會移除節點中的 Pod。如果尚未在節點上執行,也不會將 Pod 排程到節點上。
KUBERNETES_CLUSTER_KUBECONFIG
:Kubernetes 叢集的 kubeconfig 路徑。
針對節點集區中的每個節點,套用與您在容器工作負載中定義的選取器相應的標籤:
kubectl label NODE_ID \ LABEL_KEY:LABEL_VALUE \ --kubeconfig KUBERNETES_CLUSTER_KUBECONFIG
請替換下列變數:
NODE_ID
:專屬節點集區中的工作站節點 ID。LABEL_KEY:LABEL_VALUE
:節點標籤的鍵/值組合,對應至您在工作負載資訊清單中指定的選取器。KUBERNETES_CLUSTER_KUBECONFIG
:Kubernetes 叢集的 kubeconfig 路徑。
新增容許度和節點親和性規則
為專屬節點集區設定污點後,除非工作負載具有與您新增污點相應的容許條件,否則無法排程至該節點集區。在工作負載的規格中新增容許條件,讓這些 Pod 在受汙染的節點集區中排程。
如果您已為專屬節點集區加上標籤,也可以新增節點親和性規則,告知 GDC 只在該節點集區中排定工作負載。
如要設定容器工作負載,使其在專屬節點集區中執行,請完成下列步驟:
在容器工作負載的
.spec.template.spec
區段中新增下列區段:kind: Deployment apiVersion: apps/v1 ... spec: ... template: spec: tolerations: - key: TAINT_KEY operator: Equal value: TAINT_VALUE effect: TAINT_EFFECT affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: LABEL_KEY operator: In values: - "LABEL_VALUE" ...
更改下列內容:
TAINT_KEY
:您套用至專屬節點集區的汙點鍵。TAINT_VALUE
:您套用至專屬節點集區的汙點值。TAINT_EFFECT
:下列其中一個效果值:NoSchedule
:系統不會把無法容許此 taint 的 Pod 排程到節點上,也不會將現有的 Pod 自節點中移除。PreferNoSchedule
:Kubernetes 會避免將無法容忍此 taint 的 Pod 排程到節點上。NoExecute
:如果 Pod 已在節點上執行,系統會移除節點中的 Pod。如果尚未在節點上執行,也不會將 Pod 排程到節點上。
LABEL_KEY
:您套用至專屬節點集區的節點標籤鍵。LABEL_VALUE
:您套用至專屬節點集區的節點標籤值。
舉例來說,下列
Deployment
資源會新增workloadType=untrusted:NoExecute
taint 的容許度,以及workloadType=untrusted
節點標籤的節點親和性規則:kind: Deployment apiVersion: apps/v1 metadata: name: my-app namespace: default labels: app: my-app spec: replicas: 1 selector: matchLabels: app: my-app template: metadata: labels: app: my-app spec: tolerations: - key: workloadType operator: Equal value: untrusted effect: NoExecute affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: workloadType operator: In values: - "untrusted" containers: - name: my-app image: harbor-1.org-1.zone1.google.gdc.test/harborproject/my-app ports: - containerPort: 80 imagePullSecrets: - name: SECRET
更新部署作業:
kubectl apply -f deployment.yaml -n NAMESPACE \ --kubeconfig KUBERNETES_CLUSTER_KUBECONFIG
請替換下列變數:
NAMESPACE
:容器工作負載的專案命名空間。KUBERNETES_CLUSTER_KUBECONFIG
:Kubernetes 叢集的 kubeconfig 路徑。
GDC 會重新建立受影響的 Pod。節點親和性規則會強制將 Pod 放到您建立的專屬節點集區。容許度只允許這些 Pod 放置在節點上。
確認分離功能是否正常運作
如要確認排程是否正常運作,請執行下列指令,並檢查工作負載是否位於專屬節點集區:
kubectl get pods -o=wide -n NAMESPACE \
--kubeconfig KUBERNETES_CLUSTER_KUBECONFIG
建議做法與最佳做法
設定節點隔離後,建議您採取下列做法:
- 建立新節點集區時,請在這些節點集區中新增自己的汙染,防止大多數 GDC 管理的工作負載在這些節點上執行。
- 每當您將新工作負載部署至叢集時 (例如安裝第三方工具),請稽核 Pod 要求的權限。盡可能避免將使用提升權限的工作負載部署至共用節點。