버전 1.6. 이 버전은 Anthos 버전 지원 정책에 설명된 대로 지원되며 Anthos clusters on bare metal에 영향을 미치는 보안 취약점, 노출, 문제에 대한 최신 패치와 업데이트를 제공합니다. 자세한 내용은 출시 노트 1.6을 참조하세요. 이 버전은 최신 버전이 아닙니다. 시간순으로 나열된 각 부 버전 및 패치 출시 전체 목록을 보려면 통합 출시 노트를 참조하세요.

사용 가능한 버전:  1.7  |  1.6

Anthos clusters on bare metal 알려진 문제

설치

Control group v2 비호환성

Control group v2(cgroup v2)는 Anthos clusters on bare metal 1.6와 호환되지 않습니다. Kubernetes 1.18은 cgroup v2를 지원하지 않습니다. 또한 Docker는 20.10부터 실험용 지원만 제공합니다. systemd는 기본적으로 버전 247.2-2에서 cgroup v2로 전환되었습니다. /sys/fs/cgroup/cgroup.controllers가 있으면 시스템이 cgroup v2를 사용한다는 의미입니다.

Anthos clusters on bare metal 1.6.2부터 실행 전 검사로 cgroup v2가 클러스터 머신에서 사용되고 있지 않은지 확인합니다.

설치 중 무해한 오류 메시지

고가용성(HA) 클러스터를 설치하는 동안 etcdserver leader change에 대한 오류가 발생할 수 있습니다. 이러한 오류 메시지는 무해하며 무시해도 됩니다.

클러스터 설치에 bmctl을 사용하면 create-cluster.log의 맨 끝에 Log streamer failed to get BareMetalMachine 로그 메시지가 표시될 수 있습니다. 이 오류 메시지는 무해하며 무시해도 됩니다.

클러스터 생성 로그를 검사할 때 클러스터 등록 또는 웹훅 호출과 관련된 일시적인 실패가 발생할 수 있습니다. 설치 시 해당 작업을 성공할 때까지 재시도하므로 이러한 오류는 무시해도 안전합니다.

실행 전 검사 및 서비스 계정 사용자 인증 정보

관리자 또는 하이브리드 클러스터에 의해 트리거된 설치(즉, 사용자 클러스터와 같이 bmctl로 생성되지 않은 클러스터)의 경우 실행 전 검사는 Google Cloud Platform 서비스 계정 사용자 인증 정보 또는 연결된 권한을 확인하지 않습니다.

애플리케이션 기본 사용자 인증 정보 및 bmctl

bmctlglobal로 설정되지 않은 경우 애플리케이션 기본 사용자 인증 정보(ADC)를 사용하여 cluster spec에서 클러스터 작업의 위치 값을 검사합니다.

ADC가 작동하려면 GOOGLE_APPLICATION_CREDENTIALS 환경 변수가 서비스 계정 사용자 인증 정보 파일을 가리키거나 gcloud auth application-default login을 실행해야 합니다.

Docker 서비스

클러스터 노드 머신에서 Docker 실행 파일이 PATH 환경 변수에 있지만 Docker 서비스가 활성 상태가 아닌 경우 실행 전 검사가 실패하고 Docker service is not active가 보고됩니다. 이 오류를 해결하려면 Docker를 삭제하거나 Docker 서비스를 사용 설정합니다.

Anthos clusters on bare metal 업그레이드

1.6.0 출시 버전에서는 업그레이드할 수 없습니다.

재설정/삭제

사용자 클러스터 사용자 인증 정보

bmctl reset 명령어는 클러스터 구성 파일의 최상위 사용자 인증 정보 섹션을 사용합니다. 사용자 클러스터의 경우 사용자 인증 정보 섹션을 추가하려면 파일을 수동으로 업데이트해야 합니다.

마운트 지점 및 fstab

재설정해도 /mnt/anthos-system/mnt/localpv-share/의 마운트 지점이 마운트 해제되지 않습니다. 또한 /etc/fstab의 해당 항목을 삭제하지 않습니다.

네임스페이스 삭제

네임스페이스를 삭제하면 머신을 재설정하기 위한 작업을 포함하여 해당 네임스페이스에 새 리소스가 생성되지 않습니다. 사용자 클러스터를 삭제할 때는 먼저 클러스터 객체를 삭제한 후 네임스페이스를 삭제해야 합니다. 그렇지 않으면 머신 재설정 작업을 생성할 수 없으며 삭제 프로세스는 머신 삭제 단계를 건너뜁니다.

보안

업그레이드 중에 클러스터 CA 인증서가 순환됩니다. 온디맨드 순환 지원은 현재 제공되지 않습니다.

Anthos clusters on bare metal은 kubelet 제공 인증서를 자동으로 순환합니다. 인증서가 만료될 때 각 kubelet 노드 에이전트가 인증서 서명 요청(CSR)을 전송할 수 있습니다. 관리자 클러스터의 컨트롤러가 CSR을 검사하고 승인합니다.

네트워킹

Pod 연결 실패 및 역방향 경로 필터링

Anthos clusters on bare metal은 노드에서 역방향 경로 필터링을 구성하여 소스 검증(rp_filter=0)을 사용 중지합니다. rp_filter 설정이 1 또는 2로 변경되면 노드 외부 통신 제한 시간으로 인해 pod가 실패합니다.

역방향 경로 필터링은 IPv4 구성 폴더(net/ipv4/conf)의 rp_filter 파일로 설정됩니다. 이 값은 /etc/sysctl.d/60-gce-network-security.conf와 같은 네트워크 보안 구성 파일에 역방향 경로 필터링 설정을 저장하는 sysctl로 재정의될 수도 있습니다. rp_filter를 다시 0으로 설정하면 pod 연결이 복원됩니다.

부트스트랩(종류) 클러스터 IP 주소 및 클러스터 노드 IP 주소 겹침

192.168.122.0/2410.96.0.0/27은 부트스트랩(종류) 클러스터에서 사용되는 기본 Pod 및 서비스 CIDR입니다. 클러스터 노드 머신 IP 주소와 겹치는 경우 실행 전 검사가 실패합니다. --bootstrap-cluster-pod-cidr--bootstrap-cluster-service-cidr 플래그를 bmctl에 전달하여 충돌을 피하려면 다른 값을 지정합니다.

서로 다른 클러스터의 IP 주소 겹침

서로 다른 클러스터의 IP 주소 겹침을 확인할 수 있는 실행 전 검사는 없습니다.

Anthos clusters on bare metal의 hostport 기능

ContainerPorthostport 기능은 현재 지원되지 않습니다.

운영체제 엔드포인트 제한사항

RHEL 및 CentOS에서는 클러스터 수준 제한이 100,000개의 엔드포인트로 제한됩니다. 이 숫자는 Kubernetes 서비스가 참조하는 모든 pod의 합계입니다. 서비스 2개가 동일한 pod 집합을 참조하는 경우 별도의 엔드포인트 집합 2개로 계산됩니다. RHEL 및 CentOS의 기본 nftable 구현으로 이러한 제한이 발생합니다. Anthos clusters on bare metal에 내재된 한계가 아닙니다.

구성

제어 영역 및 부하 분산기 사양

제어 영역 및 부하 분산기 노드 풀은 사양이 특수합니다. 해당 사양으로 중요한 클러스터 리소스를 선언하고 제어합니다. 이 리소스는 클러스터 구성 파일에서 해당하는 섹션을 표준 소스로 사용합니다.

  • spec.controlPlane.nodePoolSpec
  • spec.LoadBalancer.nodePoolSpec

따라서 최상위 제어 영역과 부하 분산기 노드 풀 리소스를 직접 수정하지 마세요. 그 대신 클러스터 구성 파일에서 연결된 섹션을 수정하세요.

클러스터 및 노드 풀 사양의 변경 가능한 필드

현재 클러스터 구성 파일의 다음 클러스터 및 노드 풀 사양 필드(변경 가능한 필드)만 클러스터를 만든 후에 업데이트 가능합니다.

  • Cluster 객체(kind: Cluster)에서 다음 필드는 변경할 수 있습니다.

    • spec.anthosBareMetalVersion
    • spec.bypassPreflightCheck
    • spec.controlPlane.nodePoolSpec.nodes
    • spec.loadBalancer.nodePoolSpec.nodes
    • spec.maintenanceBlocks
    • spec.nodeAccess.loginUser
  • NodePool 객체(kind: NodePool)에서 다음 필드는 변경할 수 있습니다.

    • spec.nodes

노드에 NotReady 상태가 표시됨

특정 로드 조건에서 Anthos clusters on bare metal 1.6.x 노드는 Pod 수명 주기 이벤트 생성기(PLEG)가 비정상이기 때문에 NotReady 상태가 표시될 수 있습니다. 노드 상태에는 다음 항목이 포함됩니다.

PLEG is not healthy: pleg was last seen active XXXmXXXs ago; threshold is 3m0s

영향을 받는지 어떻게 알 수 있나요?

이 문제의 가능한 원인은 runc 바이너리 버전입니다. 문제가 있는 버전이 설치되어 있는지 확인하려면 SSH를 사용하여 클러스터 머신 중 하나에 연결하고 다음을 실행합니다.

/usr/bin/runc -v

출력이 1.0.0-rc93이면 문제가 있는 버전이 설치된 것입니다.

가능한 해결 방법

이 문제를 해결하려면 Anthos clusters on bare metal 1.7.0으로 업그레이드하거나 이후 버전을 사용하는 것이 좋습니다.

업그레이드를 사용할 수 없는 경우 문제가 있는 노드 머신의 containerd.io 패키지를 이전 버전으로 되돌릴 수 있습니다. 이렇게 하려면 SSH를 사용하여 노드 머신에 연결하고 다음을 실행합니다.

Ubuntu

apt install containerd.io=1.4.3-1

CentOS/RHEL

dnf install containerd.io-1.3.9-3.1.el8.