기기 종료 및 전원 켜기

이 페이지에서는 Google Distributed Cloud (GDC) 오프라인 어플라이언스를 종료하고 전원을 켜는 방법을 설명합니다. 예를 들어 기기를 새 위치로 이동하는 경우입니다.

위치 간에 기기를 이동하기 위해 운송 시 기기를 종료해야 하는 일시적인 운영 위치에서 GDC 에어 갭 어플라이언스를 사용할 수 있습니다. 발전기가 열악한 환경에서 기기에 전원을 공급할 수 있으므로 전원 장애로부터 기기를 복원해야 할 수도 있습니다.

시작하기 전에

계속하기 전에 모든 워크로드를 중지해야 합니다. 종료 중에 워크로드가 활성 상태인 경우 어떤 일이 발생할지 보장할 수 없습니다.

기본 요건

  1. Google Distributed Cloud (GDC) 에어갭 어플라이언스의 네트워크에 연결된 노트북이나 워크스테이션에서 이 런북을 실행할 수 있습니다. 또는 기기 연결에 따라 노트북이나 워크스테이션을 스위치에 연결할 수 있습니다.
  2. 루트 관리자 클러스터의 kubeconfig에 액세스할 수 있는지 확인합니다.
  3. export KUBECONFIG=PATH_TO_KUBECONFIG를 실행하여 올바른 KUBECONFIG 환경 변수를 설정합니다.
  4. SSH 키와 인증서가 있는지 확인합니다.

블레이드 종료

  1. kubectl get nodes -A -o wide를 실행하여 노드 정보를 가져옵니다.

  2. 모든 노드에 대해 다음 명령어를 하나씩 실행하여 BareMetalHost 동기화를 일시중지합니다. NODE_NAME을 1단계에서 얻은 노드 이름으로 바꿉니다.

    kubectl annotate bmhost -n gpc-system NODE_NAME "baremetalhost.metal3.io/paused=true" --overwrite

    출력은 다음 예와 같이 표시될 수 있습니다.

    baremetalhost.metal3.io/**-**-bm01 annotated
baremetalhost.metal3.io/**-**-bm02 annotated
baremetalhost.metal3.io/**-**-bm03 annotated

  3. 모든 노드를 하나씩 차단합니다.

    kubectl cordon NODE_NAME

    출력은 다음 예와 같이 표시될 수 있습니다.

    node/**-**-bm01 cordoned
node/**-**-bm02 cordoned
node/**-**-bm03 cordoned

  4. etcd 리더 노드와 팔로어 노드를 확인하려면 모든 노드에 대해 이 단계를 하나씩 실행합니다.

    1. kubectl get nodes -A -o wide 출력의 INTERNAL-IP 열 아래 값을 확인하여 SSH의 타겟 IP를 찾습니다. SSH 연결을 설정합니다.

      ssh root@INTERNAL-IP

    2. 현재 노드가 etcd 리더인지 팔로어인지 확인하려면 SSH 터미널 내에서 다음 명령어를 실행합니다.

      ETCDCTL_API=3 etcdctl \
    --cacert /etc/kubernetes/pki/etcd/ca.crt \
    --cert /etc/kubernetes/pki/etcd/server.crt \
    --key /etc/kubernetes/pki/etcd/server.key \
    --write-out=table endpoint status

      IS LEADER 필드에 주의하세요.

      출력은 etcd 리더 노드의 경우 다음 예와 비슷하게 표시될 수 있습니다.

      [root@**-**-bm0* ~]# ETCDCTL_API=3 etcdctl \
>      --cacert /etc/kubernetes/pki/etcd/ca.crt \
>      --cert /etc/kubernetes/pki/etcd/server.crt \
>      --key /etc/kubernetes/pki/etcd/server.key \
>      --write-out=table endpoint status
+----------------+------------------+--------------+---------+-----------+------------+-----------+------------+--------------------+--------+
|    ENDPOINT    |        ID        |   VERSION    | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+----------------+------------------+--------------+---------+-----------+------------+-----------+------------+--------------------+--------+
| ************** | **************** | 3.4.30-gke.1 |  162 MB |      true |      false |      3641 |   12957958 |           12957958 |        |
+----------------+------------------+--------------+---------+-----------+------------+-----------+------------+--------------------+--------+

      출력은 두 etcd 팔로어 노드의 경우 다음 예와 비슷하게 표시될 수 있습니다.

      [root@**-**-bm0* ~]# ETCDCTL_API=3 etcdctl \
>      --cacert /etc/kubernetes/pki/etcd/ca.crt \
>      --cert /etc/kubernetes/pki/etcd/server.crt \
>      --key /etc/kubernetes/pki/etcd/server.key \
>      --write-out=table endpoint status
+----------------+------------------+--------------+---------+-----------+------------+-----------+------------+--------------------+--------+
|    ENDPOINT    |        ID        |   VERSION    | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+----------------+------------------+--------------+---------+-----------+------------+-----------+------------+--------------------+--------+
| ************** | **************** | 3.4.30-gke.1 |  163 MB |     false |      false |      3641 |   12957404 |           12957404 |        |
+----------------+------------------+--------------+---------+-----------+------------+-----------+------------+--------------------+--------+

      노드의 etcd-leader 및 etcd-follower 상태를 기록합니다.

  5. etcd 팔로어 노드 두 개를 드레이닝합니다. etcd 리더 노드를 드레이닝하지 마세요.

    kubectl drain NODE_NAME --delete-emptydir-data --grace-period 900 --ignore-daemonsets --disable-eviction

    출력은 다음과 같이 표시될 수 있습니다.

    node/**-**-bm01 already cordoned
WARNING: ignoring DaemonSet-managed Pods: kube-system/anetd-krj2z, kube-system/etcd-defrag-xh469, kube-system/ipam-controller-manager-2f4dz, kube-system/istio-cni-node-cgqv4, kube-system/kube-proxy-5mwf2, kube-system/localpv-mn2jh, kube-system/metallb-speaker-6l7sv, mon-system/mon-node-exporter-backend-nd8mp, netapp-trident/netapp-trident-node-linux-rrlmd, obs-system/anthos-audit-logs-forwarder-tpfqv, obs-system/anthos-log-forwarder-npjh4, obs-system/kube-control-plane-metrics-proxy-wp8nh, obs-system/log-failure-detector-crbnv, obs-system/oplogs-forwarder-sqwvj, vm-system/macvtap-v9pgp, vm-system/virt-handler-86khx
pod/grafana-0 deleted
pod/capi-kubeadm-bootstrap-controller-manager-1.30.400-gke.136lvgtf deleted
pod/grafana-0 deleted
pod/grafana-proxy-server-86d8fc4758-mkc4f deleted
.
.
.

node/**-**-bm02 already cordoned
WARNING: ignoring DaemonSet-managed Pods: kube-system/anetd-v75jz, kube-system/etcd-defrag-t5jnc, kube-system/ipam-controller-manager-5958m, kube-system/istio-cni-node-ggv4c, kube-system/kube-proxy-r6x46, kube-system/localpv-g56xc, kube-system/metallb-speaker-tmw72, mon-system/mon-node-exporter-backend-9rs7k, netapp-trident/netapp-trident-node-linux-9jmfp, obs-system/anthos-audit-logs-forwarder-bwns9, obs-system/anthos-log-forwarder-lbskj, obs-system/kube-control-plane-metrics-proxy-grthl, obs-system/log-failure-detector-dzh4v, obs-system/oplogs-forwarder-vdn7z, vm-system/macvtap-mjwtc, vm-system/virt-handler-dlqvv
pod/vai-web-plugin-backend-5dfd6d6597-nxxgn
pod/vai-web-plugin-frontend-6b5468968b-mrr7g
pod/grafana-proxy-server-64b759fbf6-b8pl8
pod/iam-bundledidp-backend-0
.
.
.

  6. 두 etcd 팔로어 노드를 단계적으로 종료합니다. 두 노드 모두에 대해 다음 단계를 하나씩 따릅니다.

  7. iLO를 사용하여 NODE_NAME를 사용 중지합니다.

    1. iLO의 사용자 이름을 검색합니다.

      kubectl get secret bmc-credentials-NODE_NAME -n gpc-system -o jsonpath="{.data.username}" | base64 --decode

    2. iLO의 비밀번호를 검색합니다.

      kubectl get secret bmc-credentials-NODE_NAME -n gpc-system -o jsonpath="{.data.password}" | base64 --decode

    3. BMC-IP 열의 값에서 NODE_NAME의 BMC-IP 주소를 가져옵니다.

      kubectl get servers -A

    4. 이전 단계에서 가져온 BMC-IP 주소로 이동하여 가져온 사용자 이름과 비밀번호를 입력하여 로그인합니다.

    5. 상단 행의 첫 번째 버튼 위로 마우스를 가져갑니다. Power: ON이 표시됩니다. 클릭합니다. 드롭다운 메뉴가 표시되면 Momentary Press라고 표시된 첫 번째 항목을 클릭합니다. 버튼 색상이 녹색에서 주황색으로 변경되며, 이는 노드가 종료되고 있음을 의미합니다. 버튼이 노란색으로 바뀌어 머신이 꺼졌음을 나타낼 때까지 기다립니다. 몇 분 정도 걸립니다.

  8. etcd 팔로어 노드가 모두 종료된 후 마지막으로 etcd 리더 노드에 대해 7단계를 반복합니다.

운송을 위해 YubiKey 제거

설치가 완료된 후 시스템을 운반해야 하는 경우 Yubikey를 제거하고 Yubikey를 별도로 운반하세요. 키에 직접 태그를 지정해야 합니다.

전원 켜기 및 연결

하드 종료와 같이 예기치 않게 전원이 손실된 경우 기기가 자동으로 다시 시작됩니다. 이 경우 1~6단계를 건너뛰고 7단계부터 시작해야 합니다. 예기치 않은 전원 손실 후 지속되지 않는 데이터 손실이 발생할 수 있습니다.

행동 계획

  1. 각 노드에 유비키를 삽입합니다.

  2. GDC 에어 갭 어플라이언스 머신을 전원에 연결하고 각 노드의 전원 버튼을 순서에 관계없이 누릅니다.

  3. 노드의 전원을 켠 후 컨트롤 플레인이 연결될 때까지 몇 분 정도 기다립니다. kubectl는 30분 이내에 컨트롤 플레인에 연결할 수 있습니다.

  4. kubectl get nodes -A를 실행하여 노드 이름을 가져옵니다.

  5. 각 노드를 차단 해제하여 예약을 사용 설정합니다.

    kubectl uncordon `NODE_NAME`

  6. 각 노드의 베어메탈 호스트 동기화를 재개합니다.

    kubectl annotate bmhost -n gpc-system NODE_NAME "baremetalhost.metal3.io/paused=false" --overwrite

  7. kubectl get nodes -A을 사용하여 노드 상태를 확인합니다.

    • 모든 노드가 Ready 상태인 경우 조정 프로세스가 완료될 때까지 2시간 동안 기다립니다. 출력은 다음과 같이 표시될 수 있습니다.

      NAME         STATUS     ROLES           AGE     VERSION
**-**-bm01   Ready      control-plane   4d13h   v1.30.6-gke.300
**-**-bm02   Ready      control-plane   4d13h   v1.30.6-gke.300
**-**-bm03   Ready      control-plane   4d13h   v1.30.6-gke.300

      이 경우에는 추가 조치가 필요하지 않습니다.

    • 그렇지 않고 하나 이상의 노드가 'NotReady' 상태인 경우 일부 서비스를 다시 시작하여 클러스터를 준비합니다. 출력은 다음과 같이 표시될 수 있습니다.

      NAME         STATUS     ROLES           AGE     VERSION
**-**-bm01   Ready      control-plane   4d13h   v1.30.6-gke.300
**-**-bm02   Ready      control-plane   4d13h   v1.30.6-gke.300
**-**-bm03   NotReady   control-plane   4d13h   v1.30.6-gke.300

      이 경우 준비되지 않은 노드의 이름을 기록하고 다음 단계로 진행합니다.

  8. NotReady 노드에 SSH 연결을 설정합니다. SSH의 타겟 IP 주소는 kubectl get nodes -A -o wide 출력의 INTERNAL-IP 열 아래에 있는 값입니다.

    ssh root@INTERNAL-IP

  9. NotReady 노드에서 containerd 및 kubelet 서비스를 다시 시작합니다. 다음 명령어는 Google Distributed Cloud (GDC) 에어 갭 어플라이언스에 연결된 고객의 노트북이나 워크스테이션이 아닌 노드에서 실행해야 합니다.

    systemctl stop containerd
systemctl daemon-reload
systemctl restart containerd
systemctl stop kubelet
systemctl start kubelet

  10. containerd 및 kubelet 서비스의 상태를 확인하려면 NotReady 노드에서 다음 명령어를 실행하세요.

    systemctl status kubelet
systemctl status containerd

    출력은 다음과 같이 표시될 수 있습니다.

    # systemctl status kubelet
● kubelet.service - kubelet: The Kubernetes Node Agent
Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled)
Drop-In: /etc/systemd/system/kubelet.service.d
        └─00-standalone_containerd.conf, 10-kubeadm.conf
Active: active (running) since Thu 2025-03-27 07:58:27 UTC; 34s ago
.
.
.

# systemctl status containerd
● containerd.service - containerd container runtime
Loaded: loaded (/etc/systemd/system/containerd.service; disabled; vendor preset: disabled)
Active: active (running) since Thu 2025-03-27 07:58:17 UTC; 52s ago
.
.
.

    다시 시작한 후 containerd 및 kubelet 서비스가 제대로 실행되면 조정이 완료될 때까지 2시간 동안 기다립니다.