버전 1.10. 이 버전은 더 이상 지원되지 않습니다. 자세한 내용은 버전 지원 정책을 참조하세요. 버전 1.11로 업그레이드하는 방법에 대한 자세한 내용은 1.11 문서의 베어메탈용 Anthos 업그레이드를 참조하세요.

사용 가능한 지원되는 버전: 1.14 | 1.13 | 1.12

Compute Engine VM에서 베어메탈용 Anthos 클러스터 사용해 보기

이 페이지에서는 Compute Engine에서 실행되는 가상 머신(VM)을 사용하여 고가용성(HA) 모드에서 베어메탈용 Anthos 클러스터를 사용하는 방법을 보여줍니다.

하드웨어를 준비할 필요 없이 베어메탈용 Anthos 클러스터를 빠르게 사용해 볼 수 있습니다. 이 페이지의 단계를 완료하면 베어메탈용 Anthos 클러스터 환경의 Compute Engine에서 실행되는 작동 테스트 환경이 제공됩니다.

Compute Engine VM에서 베어메탈용 Anthos 클러스터를 사용해 보려면 다음 단계를 완료하세요.

Compute Engine에서 VM 6개 만들기
L2 연결을 사용하여 모든 VM 간에 vxlan 네트워크 만들기
베어메탈용 Anthos 클러스터의 기본 요건 설치
베어메탈용 Anthos 클러스터의 클러스터 배포
클러스터 확인

시작하기 전에

배포에는 다음 리소스가 필요합니다.

베어메탈용 Anthos 클러스터를 배포하기 위한 VM 6개
프로젝트에 대한 소유자 권한으로 gcloud에 로그인된 워크스테이션 1개

Compute Engine에서 VM 6개 만들기

다음 단계를 완료하여 다음 VM을 만듭니다.

베어메탈용 Anthos 클러스터를 다른 머신에 배포하는 데 사용되는 관리자 VM 1개
베어메탈용 Anthos 클러스터 제어 영역을 실행하는 데 필요한 3개의 제어 영역 노드에 대한 VM 3개
베어메탈용 Anthos 클러스터의 클러스터에서 워크로드를 실행하는 데 필요한 워커 노드 2개에 대한 VM 2개

baremetal-gcr 서비스 계정을 만듭니다.

export PROJECT_ID=$(gcloud config get-value project)
export ZONE=us-central1-a

gcloud iam service-accounts create baremetal-gcr

gcloud iam service-accounts keys create bm-gcr.json \
--iam-account=baremetal-gcr@${PROJECT_ID}.iam.gserviceaccount.com

서로 다른 API 및 서비스에 여러 서비스 계정이 필요하지 않도록 baremetal-gcr 서비스 계정에 추가 권한을 부여합니다.

gcloud services enable \
    anthos.googleapis.com \
    anthosaudit.googleapis.com \
    anthosgke.googleapis.com \
    cloudresourcemanager.googleapis.com \
    container.googleapis.com \
    gkeconnect.googleapis.com \
    gkehub.googleapis.com \
    serviceusage.googleapis.com \
    stackdriver.googleapis.com \
    monitoring.googleapis.com \
    logging.googleapis.com \
    opsconfigmonitoring.googleapis.com

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/gkehub.connect"

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/gkehub.admin"

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/logging.logWriter"

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/monitoring.metricWriter"

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/monitoring.dashboardEditor"

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/stackdriver.resourceMetadata.writer"

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/opsconfigmonitoring.resourceMetadata.writer"

이 페이지의 모든 명령어에 필요한 변수 및 배열을 만듭니다.

MACHINE_TYPE=n1-standard-8
VM_PREFIX=abm
VM_WS=$VM_PREFIX-ws
VM_CP1=$VM_PREFIX-cp1
VM_CP2=$VM_PREFIX-cp2
VM_CP3=$VM_PREFIX-cp3
VM_W1=$VM_PREFIX-w1
VM_W2=$VM_PREFIX-w2
declare -a VMs=("$VM_WS" "$VM_CP1" "$VM_CP2" "$VM_CP3" "$VM_W1" "$VM_W2")
declare -a IPs=()

다음 루프를 사용하여 VM 6개를 만듭니다.

for vm in "${VMs[@]}"
do
    gcloud compute instances create $vm \
              --image-family=ubuntu-2004-lts --image-project=ubuntu-os-cloud \
              --zone=${ZONE} \
              --boot-disk-size 200G \
              --boot-disk-type pd-ssd \
              --can-ip-forward \
              --network default \
              --tags http-server,https-server \
              --min-cpu-platform "Intel Haswell" \
              --scopes cloud-platform \
              --machine-type $MACHINE_TYPE
    IP=$(gcloud compute instances describe $vm --zone ${ZONE} \
         --format='get(networkInterfaces[0].networkIP)')
    IPs+=("$IP")
done

참고: Anthos VM 런타임을 사용하여 VM을 배포하려는 경우 성능을 높이기 위해 위의 gcloud 명령어에 --enable-nested-virtualization을 추가하여 하드웨어 가상화를 사용 설정합니다.

다음 루프를 사용하여 SSH가 모든 VM에서 준비되었는지 확인합니다.

for vm in "${VMs[@]}"
do
    while ! gcloud compute ssh root@$vm --zone ${ZONE} --command "echo SSH to $vm succeeded"
    do
        echo "Trying to SSH into $vm failed. Sleeping for 5 seconds. zzzZZzzZZ"
        sleep  5
    done
done

VM 간 L2 연결로 `vxlan` 네트워크 만들기

Linux의 표준 vxlan 기능을 사용하여 모든 VM을 L2 연결로 연결하는 네트워크를 만듭니다.

다음 명령어는 다음 작업을 수행하는 두 개의 루프를 포함합니다.

각 VM에 SSH를 통해 연결
필요한 패키지 업데이트 및 설치

필요한 명령어를 실행하여 vxlan으로 네트워크를 구성합니다.

i=2 # We start from 10.200.0.2/24
for vm in "${VMs[@]}"
do
    gcloud compute ssh root@$vm --zone ${ZONE} << EOF
        apt-get -qq update > /dev/null
        apt-get -qq install -y jq > /dev/null
        set -x
        ip link add vxlan0 type vxlan id 42 dev ens4 dstport 0
        current_ip=\$(ip --json a show dev ens4 | jq '.[0].addr_info[0].local' -r)
        echo "VM IP address is: \$current_ip"
        for ip in ${IPs[@]}; do
            if [ "\$ip" != "\$current_ip" ]; then
                bridge fdb append to 00:00:00:00:00:00 dst \$ip dev vxlan0
            fi
        done
        ip addr add 10.200.0.$i/24 dev vxlan0
        ip link set up dev vxlan0

EOF
    i=$((i+1))
done

    systemctl stop apparmor.service
    systemctl disable apparmor.service

이제 10.200.0.0/24 네트워크 내에서 L2 연결이 가능합니다. VM에는 다음과 같은 IP 주소가 있습니다.

관리자 VM: 10.200.0.2
제어 영역 노드를 실행하는 VM:
- 10.200.0.3
- 10.200.0.4
- 10.200.0.5
작업자 노드를 실행하는 VM:
- 10.200.0.6
- 10.200.0.7

베어메탈용 Anthos 클러스터의 기본 요건 설치

베어메탈용 Anthos 클러스터를 설치하기 전에 관리 머신에는 다음 도구가 필요합니다.

bmctl
kubectl
Docker

다음 명령어를 실행하여 필요한 도구를 설치합니다.

gcloud compute ssh root@$VM_WS --zone ${ZONE} << EOF
set -x

export PROJECT_ID=\$(gcloud config get-value project)
gcloud iam service-accounts keys create bm-gcr.json \
--iam-account=baremetal-gcr@\${PROJECT_ID}.iam.gserviceaccount.com

curl -LO "https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl"

chmod +x kubectl
mv kubectl /usr/local/sbin/
mkdir baremetal && cd baremetal
gsutil cp gs://anthos-baremetal-release/bmctl/1.10.8/linux-amd64/bmctl .
chmod a+x bmctl
mv bmctl /usr/local/sbin/

cd ~
echo "Installing docker"
curl -fsSL https://get.docker.com -o get-docker.sh
sh get-docker.sh
EOF

다음 명령어를 실행하여 root@10.200.0.x가 작동하는지 확인합니다. 이 명령어는 다음 작업을 수행합니다.

관리 머신에서 새 SSH 키를 생성합니다.
배포에서 다른 모든 VM에 공개 키를 추가합니다.

gcloud compute ssh root@$VM_WS --zone ${ZONE} << EOF
set -x
ssh-keygen -t rsa -N "" -f /root/.ssh/id_rsa
sed 's/ssh-rsa/root:ssh-rsa/' ~/.ssh/id_rsa.pub > ssh-metadata
for vm in ${VMs[@]}
do
    gcloud compute instances add-metadata \$vm --zone ${ZONE} --metadata-from-file ssh-keys=ssh-metadata
done
EOF

베어메탈용 Anthos 클러스터의 클러스터 배포

다음 코드 블록에는 다음 작업을 완료하는 데 필요한 모든 명령어 및 구성이 포함됩니다.

필요한 하이브리드 클러스터의 구성 파일을 만듭니다.
실행 전 검사를 실행합니다.
클러스터를 배포합니다.

gcloud compute ssh root@$VM_WS --zone ${ZONE} << EOF
set -x
export PROJECT_ID=$(gcloud config get-value project)
export clusterid=cluster-1
bmctl create config -c \$clusterid
cat > bmctl-workspace/\$clusterid/\$clusterid.yaml << EOB
---
gcrKeyPath: /root/bm-gcr.json
sshPrivateKeyPath: /root/.ssh/id_rsa
gkeConnectAgentServiceAccountKeyPath: /root/bm-gcr.json
gkeConnectRegisterServiceAccountKeyPath: /root/bm-gcr.json
cloudOperationsServiceAccountKeyPath: /root/bm-gcr.json
---
apiVersion: v1
kind: Namespace
metadata:
  name: cluster-\$clusterid
---
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: \$clusterid
  namespace: cluster-\$clusterid
spec:
  type: hybrid
  anthosBareMetalVersion: 1.10.8
  gkeConnect:
    projectID: \$PROJECT_ID
  controlPlane:
    nodePoolSpec:
      clusterName: \$clusterid
      nodes:
      - address: 10.200.0.3
      - address: 10.200.0.4
      - address: 10.200.0.5
  clusterNetwork:
    pods:
      cidrBlocks:
      - 192.168.0.0/16
    services:
      cidrBlocks:
      - 172.26.232.0/24
  loadBalancer:
    mode: bundled
    ports:
      controlPlaneLBPort: 443
    vips:
      controlPlaneVIP: 10.200.0.49
      ingressVIP: 10.200.0.50
    addressPools:
    - name: pool1
      addresses:
      - 10.200.0.50-10.200.0.70
  clusterOperations:
    # might need to be this location
    location: us-central1
    projectID: \$PROJECT_ID
  storage:
    lvpNodeMounts:
      path: /mnt/localpv-disk
      storageClassName: node-disk
    lvpShare:
      numPVUnderSharedPath: 5
      path: /mnt/localpv-share
      storageClassName: local-shared
  nodeConfig:
    podDensity:
      maxPodsPerNode: 250
    containerRuntime: containerd
---
apiVersion: baremetal.cluster.gke.io/v1
kind: NodePool
metadata:
  name: node-pool-1
  namespace: cluster-\$clusterid
spec:
  clusterName: \$clusterid
  nodes:
  - address: 10.200.0.6
  - address: 10.200.0.7
EOB

bmctl create cluster -c \$clusterid
EOF

클러스터 확인

bmctl-workspace 디렉터리의 관리 머신에서 클러스터의 kubeconfig 파일을 찾을 수 있습니다. 배포를 확인하려면 다음 단계를 완료하세요.

관리자 워크스테이션에 SSH를 통해 연결합니다.
```
gcloud compute ssh root@$VM_WS --zone ${ZONE}
```
클러스터 구성 파일의 경로로 KUBECONFIG 환경 변수를 설정하여 클러스터에서 kubectl 명령어를 실행합니다.
```
export clusterid=cluster-1
export KUBECONFIG=$HOME/bmctl-workspace/$clusterid/$clusterid-kubeconfig
kubectl get nodes
```

Google Cloud 콘솔에서 클러스터에 로그인

Google Cloud 콘솔에서 Anthos clusters on bare metal의 워크로드를 관찰하려면 클러스터의 kubeconfig 파일이 저장된 관리자 머신에 로그인해야 합니다.

자세히 알아보려면 Google Cloud 콘솔에서 클러스터에 로그인으로 이동하세요.

삭제

관리 머신에 연결하여 클러스터 VM을 설치 전 상태로 재설정하고 Google Cloud 프로젝트에서 클러스터를 등록 취소합니다.
```
gcloud compute ssh root@$VM_WS --zone ${ZONE} << EOF
set -x
export clusterid=cluster-1
bmctl reset -c \$clusterid
EOF
```
참고: cluster-1을 실제 클러스터 이름으로 바꿉니다. 이 값은 클러스터를 만들 때 이전 코드 블록에 설정된 값이므로 이 명령어는 cluster-1을 사용합니다.
이름에 abm이 있는 모든 VM을 나열합니다.
```
gcloud compute instances list | grep 'abm'
```
이름에 abm이 포함된 모든 VM을 삭제해도 괜찮은지 확인합니다.

확인한 후에는 다음 명령어를 실행하여 abm VM을 삭제할 수 있습니다.
```
gcloud compute instances list --format="value(name)" | grep 'abm'  | xargs gcloud \
    --quiet compute instances delete
```