클러스터 업그레이드

새 버전의 bmctl을 설치하면 이전 버전으로 생성된 기존 클러스터를 업그레이드할 수 있습니다. 클러스터를 최신 베어메탈용 GKE 버전으로 업그레이드하면 클러스터에 추가 기능 및 수정 사항이 적용됩니다. 또한 클러스터가 지원 상태로 유지됩니다. bmctl upgrade cluster 명령어로 관리자, 하이브리드, 독립형, 사용자 클러스터를 업그레이드할 수 있습니다.

업그레이드 고려사항

다음 섹션에서는 클러스터를 업그레이드하기 전에 고려해야 하는 규칙과 권장사항을 간략하게 설명합니다.

미리보기 기능

미리보기 기능은 변경될 수 있으며 테스트 및 평가 목적으로만 제공됩니다. 프로덕션 클러스터에서 미리보기 기능을 사용하지 마세요. 미리보기 기능을 사용하는 클러스터가 업그레이드되지 않을 수도 있습니다. 경우에 따라 미리보기 기능을 사용하는 클러스터의 업그레이드가 명시적으로 차단됩니다.

업그레이드와 관련된 브레이킹 체인지에 대한 자세한 내용은 출시 노트를 참조하세요.

SELinux

컨테이너 보안을 위해 SELinux를 사용 설정하려면 모든 호스트 머신에서 SELinux가 Enforced 모드로 사용 설정되었는지 확인해야 합니다. 베어메탈용 GKE 출시 버전 1.9.0 이상부터는 클러스터 만들기 또는 클러스터 업그레이드 전후에 SELinux를 사용 설정 또는 사용 중지할 수 있습니다. SELinux는 기본적으로 Red Hat Enterprise Linux(RHEL) 및 CentOS에서 사용 설정됩니다. SELinux가 호스트 머신에 사용 중지되었거나 확실하지 않으면 SELinux를 사용하여 컨테이너 보안에서 이를 사용 중지하는 방법에 대한 안내를 참조하세요.

베어메탈용 GKE는 RHEL 및 CentOS 시스템에서만 SELinux를 지원합니다.

프리플라이트 검사 업그레이드

실행 전 검사는 클러스터 업그레이드의 일부로 실행되어 클러스터 상태와 노드 상태의 유효성을 검사합니다. 실행 전 검사가 실패하면 클러스터 업그레이드가 진행되지 않습니다. 실행 전 검사에 대한 자세한 내용은 실행 전 검사 이해를 참조하세요.

업그레이드를 실행하기 전 실행 전 검사를 실행하여 클러스터의 업그레이드 준비 상태를 확인할 수 있습니다. 자세한 내용은 업그레이드를 위한 실행 전 검사를 참조하세요.

노드 수

클러스터에 노드가 51개를 초과하면 부트스트랩 클러스터를 사용하는 표준 업그레이드 작업이 실패할 수 있습니다. 이러한 실패는 부트스트랩 클러스터에 할당된 포드 IP 주소의 수가 제한되기 때문입니다. 부트스트랩 클러스터의 포드에 사용할 수 있는 기본 IP 주소 범위는 CIDR 블록 표기법의 /24 마스크를 사용합니다.

이 경우 다음 두 가지 해결 방법이 있습니다.

(권장) bmctl upgrade cluster 명령어와 함께 --use-bootstrap=false 플래그를 사용하여 인플레이스(In-Place) 업그레이드를 수행합니다. 이 플래그를 사용하면 업그레이드가 부트스트랩 클러스터 및 관련 포드 주소 제한을 완전히 우회합니다. 버전 1.13.0 클러스터에 알려진 인플레이스(In-Place) 업그레이드 문제가 있습니다. 클러스터 버전이 1.13.0인 경우 알려진 문제에 대한 해결 방법과 추가 정보를 참조하세요.
bmctl upgrade cluster 명령어와 함께 --bootstrap-cluster-pod-cidr 플래그를 사용하여 부트스트랩 클러스터에 할당된 포드 IP 주소의 수를 늘립니다. 예를 들어 업그레이드 작업에 실행되는 --bootstrap-cluster-pod-cidr=192.168.122.0/23 포드를 지정하면 이 작업에서 기본 CIDR 192.168.122.0/24(주소 256개) 대신 192.168.122.0/23(주소 512개 주소)의 IP 주소를 사용할 수 있습니다. 이러한 추가된 주소에서 노드가 최대 52개인 클러스터의 업그레이드를 차단 해제해야 합니다.

업그레이드 중에 동시에 실행되는 포드 수는 노드 수의 최대 5배까지 될 수 있습니다. 업그레이드가 성공하게 하려면 IP 주소 수가 노드 수의 5배인 CIDR 블록을 지정합니다. 이 플래그에는 내부 IP 주소가 필요합니다.
앞선 옵션 중 하나를 사용하지 않으려면 --skip-bootstrap-cidr-check 플래그를 사용하여 유효성 검사를 우회하면 됩니다. 하지만 이 인수를 전달하면 부트스트랩 클러스터의 포드 CIDR에서 사용할 수 있는 IP 주소가 부족해져 업그레이드가 실패할 수 있습니다.

자체 관리형 클러스터의 인플레이스 업그레이드

베어메탈용 GKE 버전 1.13.1부터는 관리자, 하이브리드, 독립형 클러스터에서 인플레이스 업그레이드를 수행할 수 있습니다. 인플레이스 업그레이드는 부트스트랩 클러스터의 필요성을 없애 프로세스를 간소화하고 업그레이드에 대한 리소스 요구사항을 줄여줍니다. 자체 관리형 클러스터에서 인플레이스 업그레이드를 수행하려면 버전이 1.13.0 이상이어야 합니다.

인플레이스 업그레이드를 수행하려면 bmctl 또는 kubectl을 사용하면 됩니다.

`bmctl`

업그레이드 프로세스는 bmctl upgrade cluster 명령어를 제외하고 표준 업그레이드 프로세스와 동일합니다.

인플레이스 업그레이드를 시작하려면 업그레이드 명령어에 --use-bootstrap=false 플래그를 사용합니다.
```
bmctl upgrade cluster -c CLUSTER_NAME --use-bootstrap=false \
    --kubeconfig ADMIN_KUBECONFIG
```
다음을 바꿉니다.
- CLUSTER_NAME: 업그레이드할 클러스터의 이름
- ADMIN_KUBECONFIG: 관리자 클러스터 kubeconfig 파일의 경로

표준 업그레이드 프로세스와 마찬가지로 클러스터 상태 및 노드 상태를 검증하기 위해 클러스터 업그레이드의 일부로 프리플라이트 검사가 실행됩니다. 프리플라이트 검사가 실패하면 클러스터 업그레이드가 중단됩니다. 부트스트랩 클러스터가 생성되지 않으므로 실패를 해결하려면 클러스터 및 관련 로그를 검사합니다.

`kubectl`

kubectl을 사용하여 자체 관리형 클러스터를 업그레이드하려면 다음 단계를 수행합니다.

클러스터 구성 파일을 수정하여 anthosBareMetalVersion을 업그레이드 대상 버전으로 설정합니다.
업그레이드를 시작하려면 다음 명령어를 실행합니다.
```
kubectl apply -f CLUSTER_CONFIG_PATH
```
CLUSTER_CONFIG_PATH를 클러스터 구성 파일의 경로로 바꿉니다.

포드 밀도

베어메탈용 GKE는 nodeConfig.PodDensity.MaxPodsPerNode로 노드당 최대 250개의 포드 구성을 지원합니다. 포드 생성은 클러스터 생성 중에만 구성할 수 있습니다. 기존 클러스터의 포드 밀도 설정은 업데이트할 수 없습니다.

알려진 문제

클러스터 업그레이드와 관련된 잠재적 문제에 대한 자세한 내용은 알려진 문제 페이지의 베어메탈용 Anthos 클러스터 업그레이드를 참조하세요.

관리자, 독립형, 하이브리드, 사용자 클러스터 업그레이드

bmctl의 새 버전을 다운로드하여 설치하면 이전 버전으로 만든 관리자, 하이브리드, 독립형, 사용자 클러스터를 업그레이드할 수 있습니다. bmctl의 특정 버전에서는 클러스터를 동일한 버전으로만 업그레이드할 수 있습니다.

먼저 최신 bmctl을 다운로드한 다음 적절한 클러스터 구성 파일을 수정한 후 bmctl upgrade cluster 명령어를 실행하여 업그레이드를 완료합니다.

Cloud Storage 버킷에서 최신 bmctl을 다운로드하고 chmod를 사용하여 bmctl 실행 권한을 모든 사용자에게 부여합니다.
```
gsutil cp gs://anthos-baremetal-release/bmctl/1.14.11/linux-amd64/bmctl bmctl
chmod a+x bmctl
```

클러스터 구성 파일을 수정하여 베어메탈용 GKE의 클러스터 버전을 1.13.2에서 1.14.11로 변경합니다. 다음은 관리자 클러스터 구성의 예시를 보여줍니다.

---
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
spec:
  # Cluster type. This can be:
  #   1) admin:  to create an admin cluster. This can later be used to create user clusters.
  #   2) user:   to create a user cluster. Requires an existing admin cluster.
  #   3) hybrid: to create a hybrid cluster that runs admin cluster components and user workloads.
  #   4) standalone: to create a cluster that manages itself, runs user workloads, but does not manage other clusters.
  type: admin
  # Anthos cluster version.
  # Change the following line from 1.13.2 to 1.14.11, shown below
  anthosBareMetalVersion: 1.14.11

클러스터를 1.14.11으로 업그레이드할 때 Connect를 사용하여 클러스터를 프로젝트 Fleet에 등록해야 합니다(아직 등록되지 않은 경우).
1. 서비스 계정을 수동으로 만들고 Google 서비스 및 서비스 계정 사용 설정 페이지의 커넥트에 사용할 서비스 계정 구성에 설명된 대로 JSON 키 파일을 검색합니다.
2. 클러스터 구성 파일의 연관된 gkeConnectAgentServiceAccountKeyPath 및 gkeConnectRegisterServiceAccountKeyPath 필드에서 다운로드한 JSON 키를 참조합니다.
bmctl upgrade cluster 명령어를 사용하여 업그레이드를 완료합니다.
```
bmctl upgrade cluster -c CLUSTER_NAME --kubeconfig ADMIN_KUBECONFIG
```
다음을 바꿉니다.
- CLUSTER_NAME: 업그레이드할 클러스터의 이름입니다.
- ADMIN_KUBECONFIG: 관리자 클러스터 kubeconfig 파일의 경로입니다.
실행 전 검사는 클러스터 업그레이드의 일부로 실행되어 클러스터 상태와 노드 상태의 유효성을 검사합니다. 실행 전 검사가 실패하면 클러스터 업그레이드가 진행되지 않습니다.

노드 동시 업그레이드

일반적인 클러스터 업그레이드에서는 각 클러스터 노드가 한 번에 하나씩 순차적으로 업그레이드됩니다. 이 섹션에서는 클러스터를 업그레이드할 때 여러 노드가 동시에 업그레이드되도록 클러스터를 구성하는 방법을 보여줍니다.

노드를 동시에 업그레이드하면 특히 수백 개의 노드가 포함된 클러스터의 경우 클러스터 업그레이드 속도가 빨라집니다. 노드 동시 업그레이드는 노드 풀 기준으로 구성되고 워커 노드 풀의 노드만 동시에 업그레이드할 수 있습니다. 제어 영역 또는 부하 분산기 노드 풀의 노드는 한 번에 하나씩만 업그레이드할 수 있습니다.

워커 노드의 동시 업그레이드는 미리보기 기능이므로 프로덕션 클러스터에서 이 기능을 사용하지 마세요.

동시 업그레이드 수행 방법

워커 노드 풀에서 노드 동시 업그레이드를 수행하려면 다음을 수행합니다.

preview.baremetal.cluster.gke.io/parallel-upgrade: "enable" 주석을 클러스터 구성 파일에 추가합니다.

---
gcrKeyPath: /path/to/gcr-sa
gkeConnectAgentServiceAccountKeyPath: /path/to/gke-connect
gkeConnectRegisterServiceAccountKeyPath: /path/to/gke-register
sshPrivateKeyPath: /path/to/private-ssh-key
cloudOperationsServiceAccountKeyPath: /path/to/logging-sa
---
apiVersion: v1
kind: Namespace
metadata:
  name: cluster-cluster1
---
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
  annotations:
    baremetal.cluster.gke.io/maintenance-mode-deadline-seconds: "180"
    preview.baremetal.cluster.gke.io/parallel-upgrade: "enable"
    ...

워커 노드 풀 매니페스트에 upgradeStrategy 섹션을 추가합니다. 이 매니페스트는 클러스터 구성 파일에 있어야 합니다. 별도의 매니페스트 파일에 표시된 경우 bmctl upgrade cluster 명령어가 작동하지 않습니다. 예를 들면 다음과 같습니다.
```
---
apiVersion: baremetal.cluster.gke.io/v1
kind: NodePool
metadata:
  name: np1
  namespace: cluster-ci-bf8b9aa43c16c47
spec:
  clusterName: ci-bf8b9aa43c16c47
  nodes:
  - address:  10.200.0.7
  - address:  10.200.0.8
  - address:  10.200.0.9
  upgradeStrategy:
    parallelUpgrade:
      concurrentNodes: 5
  
```
이 예시에서 concurrentNodes 필드 값은 5입니다. 즉, 5개 노드가 동시에 업그레이드됩니다. 이 필드의 최솟값(기본값)은 1이고, 허용되는 최댓값은 워커 노드 풀에 있는 노드 수입니다. 그러나 클러스터에 있는 총 노드 수의 3%보다 높지 않게 이 값을 설정하는 것이 좋습니다. concurrentNodes 값이 너무 높으면 동시 업그레이드 중 워크로드가 손상될 수 있습니다.
이전 관리자, 독립형, 하이브리드, 사용자 클러스터 업그레이드 섹션에 설명된 대로 클러스터를 업그레이드합니다.

노드 동시 업그레이드 사용 중지 방법

노드 동시 업그레이드를 사용 중지하려면 클러스터 구성 파일에서 preview.baremetal.cluster.gke.io/parallel-upgrade 주석을 disable로 설정합니다.