버전 1.6. 이 버전은 더 이상 지원되지 않습니다. 자세한 내용은 버전 지원 정책을 참조하세요. 버전 1.7로 업그레이드하는 방법에 대한 자세한 내용은 1.7 문서의 베어메탈용 Anthos 업그레이드를 참조하세요.

사용 가능한 지원되는 버전: 1.14 | 1.13 | 1.12

베어메탈용 Anthos 클러스터의 알려진 문제

설치

Control group v2 비호환성

Control group v2(cgroup v2)는 베어메탈용 Anthos 클러스터 1.6와 호환되지 않습니다. Kubernetes 1.18은 cgroup v2를 지원하지 않습니다. 또한 Docker는 20.10부터 실험용 지원만 제공합니다. systemd는 기본적으로 버전 247.2-2에서 cgroup v2로 전환되었습니다. /sys/fs/cgroup/cgroup.controllers가 있으면 시스템이 cgroup v2를 사용한다는 의미입니다.

베어메탈용 Anthos 클러스터 1.6.2부터 실행 전 검사로 cgroup v2가 클러스터 머신에서 사용되고 있지 않은지 확인합니다.

설치 중 무해한 오류 메시지

고가용성(HA) 클러스터를 설치하는 동안 etcdserver leader change에 대한 오류가 발생할 수 있습니다. 이러한 오류 메시지는 무해하며 무시해도 됩니다.

클러스터 설치에 bmctl을 사용하면 create-cluster.log의 맨 끝에 Log streamer failed to get BareMetalMachine 로그 메시지가 표시될 수 있습니다. 이 오류 메시지는 무해하며 무시해도 됩니다.

클러스터 생성 로그를 검사할 때 클러스터 등록 또는 웹훅 호출과 관련된 일시적인 실패가 발생할 수 있습니다. 설치 시 해당 작업을 성공할 때까지 재시도하므로 이러한 오류는 무시해도 안전합니다.

실행 전 검사 및 서비스 계정 사용자 인증 정보

관리자 또는 하이브리드 클러스터에 의해 트리거된 설치(즉, 사용자 클러스터와 같이 bmctl로 생성되지 않은 클러스터)의 경우 실행 전 검사는 Google Cloud Platform 서비스 계정 사용자 인증 정보 또는 연결된 권한을 확인하지 않습니다.

애플리케이션 기본 사용자 인증 정보 및 `bmctl`

bmctl은 global로 설정되지 않은 경우 애플리케이션 기본 사용자 인증 정보(ADC)를 사용하여 cluster spec에서 클러스터 작업의 위치 값을 검사합니다.

ADC가 작동하려면 GOOGLE_APPLICATION_CREDENTIALS 환경 변수가 서비스 계정 사용자 인증 정보 파일을 가리키거나 gcloud auth application-default login을 실행해야 합니다.

Docker 서비스

클러스터 노드 머신에서 Docker 실행 파일이 PATH 환경 변수에 있지만 Docker 서비스가 활성 상태가 아닌 경우 실행 전 검사가 실패하고 Docker service is not active가 보고됩니다. 이 오류를 해결하려면 Docker를 삭제하거나 Docker 서비스를 사용 설정합니다.

업그레이드 및 업데이트

베어메탈용 Anthos 클러스터 1.6x 출시 버전으로 업그레이드할 수 없습니다.

`.manifests` 디렉터리가 없으면 `bmctl update cluster`가 실패함

bmctl update cluster를 실행하기 전에 .manifests 디렉터리가 삭제되면 다음과 유사한 오류가 표시되며 명령어가 실패합니다.

Error updating cluster resources.: failed to get CRD file .manifests/1.9.0/cluster-operator/base/crd/bases/baremetal.cluster.gke.io_clusters.yaml: open .manifests/1.9.0/cluster-operator/base/crd/bases/baremetal.cluster.gke.io_clusters.yaml: no such file or directory

bmctl check cluster를 먼저 실행하여 이 문제를 해결할 수 있습니다. 그러면 .manifests 디렉터리가 다시 생성됩니다.

이 문제는 Anthos clusters on bare metal 1.10 이하에 적용되며 버전 1.11 이상에서 해결되었습니다.

`bmctl update`가 유지보수 블록을 삭제하지 않음

bmctl update 명령어는 클러스터 리소스 구성에서 maintenanceBlocks 섹션을 삭제하거나 수정할 수 없습니다. 유지보수 모드에서 노드를 삭제하는 방법 등 자세한 내용은 유지보수 모드로 노드 배치를 참조하세요.

작업

kubeconfig 보안 비밀을 덮어씀

bmctl check cluster 명령어는 사용자 클러스터에서 실행될 때 사용자 클러스터 kubeconfig 보안 비밀을 관리자 클러스터 kubeconfig로 덮어씁니다. 파일을 덮어쓰면 업데이트 및 업그레이드와 같은 표준 클러스터 작업이 영향을 받는 사용자 클러스터에 실패합니다. 이 문제는 베어메탈용 Anthos 클러스터 버전 1.11.1 이하에 적용됩니다.

사용자 클러스터가 이 문제의 영향을 받는지 확인하려면 다음 명령어를 실행합니다.

kubectl --kubeconfig ADMIN_KUBECONFIG get secret -n cluster-USER_CLUSTER_NAME \
    USER_CLUSTER_NAME -kubeconfig  -o json  | jq -r '.data.value'  | base64 -d

다음을 바꿉니다.

ADMIN_KUBECONFIG: 관리자 클러스터 kubeconfig 파일의 경로
USER_CLUSTER_NAME: 확인할 사용자 클러스터의 이름

출력의 클러스터 이름(다음 샘플 출력의 contexts.context.cluster 참조)이 관리자 클러스터 이름인 경우 지정된 사용자 클러스터가 영향을 받습니다.

user-cluster-kubeconfig  -o json  | jq -r '.data.value'  | base64 -d
apiVersion: v1
clusters:
- cluster:
    certificate-authority-data:LS0tLS1CRU...UtLS0tLQo=
    server: https://10.200.0.6:443
  name: ci-aed78cdeca81874
contexts:
- context:
    cluster: ci-aed78cdeca81874
    user: ci-aed78cdeca81874-admin
  name: ci-aed78cdeca81874-admin@ci-aed78cdeca81874
current-context: ci-aed78cdeca81874-admin@ci-aed78cdeca81874
kind: Config
preferences: {}
users:
- name: ci-aed78cdeca81874-admin
  user:
    client-certificate-data: LS0tLS1CRU...UtLS0tLQo=
    client-key-data: LS0tLS1CRU...0tLS0tCg==

다음 단계에서는 영향을 받는 사용자 클러스터(USER_CLUSTER_NAME)로 함수를 복원합니다.

사용자 클러스터 kubeconfig 파일을 찾습니다.

클러스터를 만들면 베어메탈용 Anthos 클러스터이 관리자 워크스테이션에 kubeconfig 파일을 생성합니다. 기본적으로 이 파일은 bmctl-workspace/USER_CLUSTER_NAME 디렉터리에 있습니다.
kubeconfig가 올바른 사용자 클러스터 kubeconfig인지 확인하세요.
```
kubectl get nodes --kubeconfig PATH_TO_GENERATED_FILE
```
PATH_TO_GENERATED_FILE를 사용자 클러스터 kubeconfig 파일의 경로로 바꿉니다. 응답으로 사용자 클러스터의 노드에 대한 세부정보가 반환됩니다. 클러스터의 머신 이름이 올바른지 확인합니다.
다음 명령어를 실행하여 관리자 클러스터에서 손상된 kubeconfig 파일을 삭제합니다.
```
kubectl delete secret -n USER_CLUSTER_NAMESPACE USER_CLUSTER_NAME-kubeconfig
```

다음 명령어를 실행하여 올바른 kubeconfig 보안 비밀을 관리자 클러스터에 다시 저장합니다.

kubectl create secret generic -n USER_CLUSTER_NAMESPACE USER_CLUSTER_NAME-kubeconfig \
    --from-file=value=PATH_TO_GENERATED_FILE

재설정/삭제

사용자 클러스터 사용자 인증 정보

bmctl reset 명령어는 클러스터 구성 파일의 최상위 사용자 인증 정보 섹션을 사용합니다. 사용자 클러스터의 경우 사용자 인증 정보 섹션을 추가하려면 파일을 수동으로 업데이트해야 합니다.

마운트 지점 및 `fstab`

재설정해도 /mnt/anthos-system 및 /mnt/localpv-share/의 마운트 지점이 마운트 해제되지 않습니다. 또한 /etc/fstab의 해당 항목을 삭제하지 않습니다.

네임스페이스 삭제

네임스페이스를 삭제하면 머신을 재설정하기 위한 작업을 포함하여 해당 네임스페이스에 새 리소스가 생성되지 않습니다. 사용자 클러스터를 삭제할 때는 먼저 클러스터 객체를 삭제한 후 네임스페이스를 삭제해야 합니다. 그렇지 않으면 머신 재설정 작업을 생성할 수 없으며 삭제 프로세스는 머신 삭제 단계를 건너뜁니다.

보안

업그레이드 중에 클러스터 CA 인증서가 순환됩니다. 온디맨드 순환 지원은 현재 제공되지 않습니다.

베어메탈용 Anthos 클러스터는 kubelet 제공 인증서를 자동으로 순환합니다. 인증서가 만료될 때 각 kubelet 노드 에이전트가 인증서 서명 요청(CSR)을 전송할 수 있습니다. 관리자 클러스터의 컨트롤러가 CSR을 검사하고 승인합니다.

네트워킹

번들 레이어 2 부하 분산이 있는 클라이언트 소스 IP

외부 트래픽 정책을 Local로 설정하면 번들 레이어 2 부하 분산에 라우팅 오류(예: No route to host)가 발생할 수 있습니다. 외부 트래픽 정책은 기본적으로 Cluster(externalTrafficPolicy: Cluster)로 설정됩니다. 이 설정을 사용하면 Kubernetes가 클러스터 전체의 트래픽을 처리합니다. LoadBalancer 또는 NodePort 유형의 서비스는 externalTrafficPolicy: Local를 사용하여 클라이언트 소스 IP 주소를 보존할 수 있습니다. 그러나 이 설정을 사용하면 Kubernetes가 노드 로컬 트래픽만 처리합니다.

클라이언트 소스 IP 주소를 보존하려는 경우 서비스 IP에 도달할 수 있도록 추가 구성이 필요할 수 있습니다. 구성에 대한 자세한 내용은 번들 부하 분산 구성의 클라이언트 소스 IP 주소 유지를 참조하세요.

포드 연결 실패 및 역방향 경로 필터링

베어메탈용 Anthos 클러스터은 노드에서 역방향 경로 필터링을 구성하여 소스 검증(net.ipv4.conf.all.rp_filter=0)을 사용 중지합니다. rp_filter 설정이 1 또는 2로 변경되면 노드 외부 통신 제한 시간으로 인해 포드가 실패합니다.

역방향 경로 필터링은 IPv4 구성 폴더(net/ipv4/conf/all)의 rp_filter 파일로 설정됩니다. 이 값은 /etc/sysctl.d/60-gce-network-security.conf와 같은 네트워크 보안 구성 파일에 역방향 경로 필터링 설정을 저장하는 sysctl로 재정의될 수도 있습니다.

포드 연결을 복원하려면 net.ipv4.conf.all.rp_filter를 다시 0으로 수동 설정하거나 anetd 포드를 다시 시작하여 net.ipv4.conf.all.rp_filter를 0으로 다시 설정합니다. anetd 포드를 다시 시작하려면 다음 명령어를 사용하여 anetd 포드를 찾아 삭제하면 새 anetd 포드가 그 위치에서 시작됩니다.

kubectl get pods -n kube-system
kubectl delete pods -n kube-system ANETD_XYZ

ANETD_XYZ를 anetd 포드의 이름으로 바꿉니다.

부트스트랩(종류) 클러스터 IP 주소 및 클러스터 노드 IP 주소 겹침

192.168.122.0/24 및 10.96.0.0/27은 부트스트랩(종류) 클러스터에서 사용되는 기본 포드 및 서비스 CIDR입니다. 클러스터 노드 머신 IP 주소와 겹치는 경우 실행 전 검사가 실패합니다. --bootstrap-cluster-pod-cidr 및 --bootstrap-cluster-service-cidr 플래그를 bmctl에 전달하여 충돌을 피하려면 다른 값을 지정합니다.

서로 다른 클러스터의 IP 주소 겹침

서로 다른 클러스터의 IP 주소 겹침을 확인할 수 있는 실행 전 검사는 없습니다.

베어메탈용 Anthos 클러스터의 `hostport` 기능

ContainerPort의 hostport 기능은 현재 지원되지 않습니다.

운영체제

CentOS에서 클러스터 생성 또는 업그레이드 실패

2020년 12월에 CentOS 커뮤니티 및 Red Hat에서 CentOS 지원 종료를 발표했습니다. 2022년 1월 31일에 CentOS 8이 지원 종료(EOL)되었습니다. 지원 종료로 인해 yum 저장소가 CentOS에서 작동하지 않아 클러스터 생성 및 클러스터 업그레이드 작업이 실패합니다. 이는 지원되는 모든 CentOS 버전에 적용되며 베어메탈용 Anthos 클러스터의 모든 버전에 영향을 미칩니다.

이 문제를 해결하려면 다음 명령어를 실행하여 CentOS에 보관 피드를 사용합니다.

sed -i 's/mirrorlist/#mirrorlist/g' /etc/yum.repos.d/CentOS-Linux-*
sed -i 's|#baseurl=http://mirror.centos.org|baseurl=http://vault.centos.org|g' \
    /etc/yum.repos.d/CentOS-Linux-*

장기적인 솔루션으로서 Ubuntu 또는 RHEL과 같은 다른 지원되는 운영체제로 마이그레이션하는 것이 좋습니다.

운영체제 엔드포인트 제한사항

RHEL 및 CentOS에서는 클러스터 수준 제한이 100,000개의 엔드포인트로 제한됩니다. Kubernetes 서비스 서비스 2개가 동일한 포드 집합을 참조하는 경우 별도의 엔드포인트 집합 2개로 계산됩니다. RHEL 및 CentOS의 기본 nftable 구현으로 이러한 제한이 발생합니다. 베어메탈용 Anthos 클러스터에 내재된 한계가 아닙니다.

구성

제어 영역 및 부하 분산기 사양

제어 영역 및 부하 분산기 노드 풀은 사양이 특수합니다. 이러한 사양으로 중요한 클러스터 리소스를 선언하고 제어합니다. 이 리소스는 클러스터 구성 파일에서 해당하는 섹션을 표준 소스로 사용합니다.

spec.controlPlane.nodePoolSpec
spec.LoadBalancer.nodePoolSpec

따라서 최상위 제어 영역과 부하 분산기 노드 풀 리소스를 직접 수정하지 마세요. 그 대신 클러스터 구성 파일에서 연결된 섹션을 수정하세요.

클러스터 및 노드 풀 사양의 변경 가능한 필드

현재 클러스터 구성 파일의 다음 클러스터 및 노드 풀 사양 필드(변경 가능한 필드)만 클러스터를 만든 후에 업데이트 가능합니다.

Cluster 객체(kind: Cluster)에서 다음 필드는 변경할 수 있습니다.
- spec.anthosBareMetalVersion
- spec.bypassPreflightCheck
- spec.controlPlane.nodePoolSpec.nodes
- spec.loadBalancer.nodePoolSpec.nodes
- spec.maintenanceBlocks
- spec.nodeAccess.loginUser
NodePool 객체(kind: NodePool)에서 다음 필드는 변경할 수 있습니다.
- spec.nodes

노드에 `NotReady` 상태가 표시됨

특정 로드 조건에서 베어베탈용 Anthos 클러스터 1.6.x 노드는 포드 수명 주기 이벤트 생성기(PLEG)가 비정상이기 때문에 NotReady 상태가 표시될 수 있습니다. 노드 상태에는 다음 항목이 포함됩니다.

PLEG is not healthy: pleg was last seen active XXXmXXXs ago; threshold is 3m0s

영향을 받는지 어떻게 알 수 있나요?

이 문제의 가능한 원인은 runc 바이너리 버전입니다. 문제가 있는 버전이 설치되어 있는지 확인하려면 SSH를 사용하여 클러스터 머신 중 하나에 연결하고 다음을 실행합니다.

/usr/bin/runc -v

출력이 1.0.0-rc93이면 문제가 있는 버전이 설치된 것입니다.

가능한 해결 방법

이 문제를 해결하려면 Anthos clusters on bare metal 1.7.0으로 업그레이드하거나 이후 버전을 사용하는 것이 좋습니다.

업그레이드를 사용할 수 없는 경우 문제가 있는 노드 머신의 containerd.io 패키지를 이전 버전으로 되돌릴 수 있습니다. 이렇게 하려면 SSH를 사용하여 노드 머신에 연결하고 다음을 실행합니다.

Ubuntu

apt install containerd.io=1.4.3-1

CentOS/RHEL

dnf install containerd.io-1.3.9-3.1.el8.