Compute Engine VM에서 베어메탈용 GKE 하이브리드 클러스터 만들기

이 페이지에서는 Compute Engine에서 실행되는 가상 머신(VM)을 사용하여 고가용성(HA) 모드에서 베어메탈용 GKE 하이브리드 클러스터를 설정하는 방법을 보여줍니다.

하드웨어를 준비할 필요 없이 베어메탈용 GKE를 빠르게 사용해 볼 수 있습니다. 이 페이지의 단계를 완료하면 Compute Engine에서 실행되는 작동되는 베어메탈용 GKE 테스트 환경이 제공됩니다.

Compute Engine VM에서 베어메탈용 GKE를 사용해 보려면 다음 단계를 완료하세요.

  1. Compute Engine에서 VM 6개 만들기
  2. L2 연결을 사용하여 모든 VM 간에 vxlan 네트워크 만들기
  3. 베어메탈용 GKE 기본 요건 설치

  4. 베어메탈용 GKE 하이브리드 클러스터 배포

  5. 클러스터 확인

시작하기 전에

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Make sure that billing is enabled for your Google Cloud project.

  6. 이 페이지의 스크립트 및 명령어에 사용되는 환경 변수를 설정하기 위해 필요하므로 프로젝트 ID를 기록해 둡니다. 기존 프로젝트를 선택한 경우 프로젝트 소유자 또는 편집자인지 확인합니다.
  7. Linux 워크스테이션에서 Google Cloud와 상호작용하기 위한 명령줄 도구인 최신 Google Cloud CLI를 설치했는지 확인합니다. gcloud CLI가 이미 설치되어 있으면 다음 명령어를 실행하여 구성요소를 업데이트하세요. 
    gcloud components update

    gcloud CLI가 설치된 방법에 따라 다음 메시지를 참조할 수 있습니다. 'Google Cloud CLI 구성요소 관리자가 이 설치에 대해 사용 중지되었기 때문에 이 작업을 수행할 수 없습니다. 다음 명령어를 실행하여 이 설치에 대해 동일한 결과를 얻을 수 있습니다.' 구성요소를 업데이트하려면 안내에 따라 명령어를 복사하여 붙여넣습니다.

이 가이드의 단계는 anthos-samples 저장소의 설치 스크립트에서 가져온 것입니다. FAQ 섹션에는 일부 인기 있는 변형에 사용하도록 이 스크립트를 맞춤설정하는 자세한 방법이 포함되어 있습니다.

Compute Engine에서 VM 6개 만들기

다음 단계를 완료하여 다음 VM을 만듭니다.

  • 관리자 워크스테이션을 위한 VM 1개. 관리자 워크스테이션은 설치 중 클러스터를 프로비저닝하는 명령줄 인터페이스(CLI) 도구와 구성 파일 및 설치 후 프로비저닝된 클러스터와 상호작용하는 CLI 도구를 호스팅합니다. 관리자 워크스테이션은 SSH를 통해 클러스터의 다른 모든 노드에 액세스할 수 있습니다.
  • 베어메탈용 GKE 제어 영역을 실행하는 데 필요한 3개의 제어 영역 노드에 대한 VM 3개
  • 베어메탈용 GKE 클러스터에서 워크로드를 실행하는 데 필요한 워커 노드 2개에 대한 VM 2개

  1. 환경 변수 설정

    export PROJECT_ID=PROJECT_ID
export ZONE=ZONE
export CLUSTER_NAME=CLUSTER_NAME
export BMCTL_VERSION=1.16.8

    ZONE의 경우 us-central1-a 또는 다른 Compute Engine 영역을 사용할 수 있습니다.

  2. 다음 명령어를 실행하여 Google 계정에 로그인하고 프로젝트를 기본값으로 설정합니다.

    gcloud auth login
gcloud config set project $PROJECT_ID
gcloud config set compute/zone $ZONE

  3. baremetal-gcr 서비스 계정을 만듭니다.

    gcloud iam service-accounts create baremetal-gcr

gcloud iam service-accounts keys create bm-gcr.json \
    --iam-account=baremetal-gcr@"${PROJECT_ID}".iam.gserviceaccount.com

  4. Google Cloud API 및 서비스를 사용 설정합니다.

    gcloud services enable \
    anthos.googleapis.com \
    anthosaudit.googleapis.com \
    anthosgke.googleapis.com \
    cloudresourcemanager.googleapis.com \
    connectgateway.googleapis.com \
    container.googleapis.com \
    gkeconnect.googleapis.com \
    gkehub.googleapis.com \
    serviceusage.googleapis.com \
    stackdriver.googleapis.com \
    monitoring.googleapis.com \
    logging.googleapis.com \
    opsconfigmonitoring.googleapis.com

  5. 서로 다른 API 및 서비스에 여러 서비스 계정이 필요하지 않도록 baremetal-gcr 서비스 계정에 추가 권한을 부여합니다.

    gcloud projects add-iam-policy-binding "$PROJECT_ID" \
  --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/gkehub.connect" \
  --no-user-output-enabled

gcloud projects add-iam-policy-binding "$PROJECT_ID" \
  --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/gkehub.admin" \
  --no-user-output-enabled

gcloud projects add-iam-policy-binding "$PROJECT_ID" \
  --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/logging.logWriter" \
  --no-user-output-enabled

gcloud projects add-iam-policy-binding "$PROJECT_ID" \
  --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/monitoring.metricWriter" \
  --no-user-output-enabled

gcloud projects add-iam-policy-binding "$PROJECT_ID" \
  --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/monitoring.dashboardEditor" \
  --no-user-output-enabled

gcloud projects add-iam-policy-binding "$PROJECT_ID" \
  --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/stackdriver.resourceMetadata.writer" \
  --no-user-output-enabled

gcloud projects add-iam-policy-binding "$PROJECT_ID" \
  --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/opsconfigmonitoring.resourceMetadata.writer" \
  --no-user-output-enabled

  6. 이 페이지의 모든 명령어에 필요한 변수 및 배열을 만듭니다.

    MACHINE_TYPE=n1-standard-8
VM_PREFIX=abm
VM_WS=$VM_PREFIX-ws
VM_CP1=$VM_PREFIX-cp1
VM_CP2=$VM_PREFIX-cp2
VM_CP3=$VM_PREFIX-cp3
VM_W1=$VM_PREFIX-w1
VM_W2=$VM_PREFIX-w2
declare -a VMs=("$VM_WS" "$VM_CP1" "$VM_CP2" "$VM_CP3" "$VM_W1" "$VM_W2")
declare -a IPs=()

  7. 다음 루프를 사용하여 VM 6개를 만듭니다.

    for vm in "${VMs[@]}"
do
    gcloud compute instances create "$vm" \
      --image-family=ubuntu-2004-lts --image-project=ubuntu-os-cloud \
      --zone="${ZONE}" \
      --boot-disk-size 200G \
      --boot-disk-type pd-ssd \
      --can-ip-forward \
      --network default \
      --tags http-server,https-server \
      --min-cpu-platform "Intel Haswell" \
      --enable-nested-virtualization \
      --scopes cloud-platform \
      --machine-type "$MACHINE_TYPE" \
      --metadata "cluster_id=${CLUSTER_NAME},bmctl_version=${BMCTL_VERSION}"
    IP=$(gcloud compute instances describe "$vm" --zone "${ZONE}" \
         --format='get(networkInterfaces[0].networkIP)')
    IPs+=("$IP")
done

    이 명령어는 다음 이름으로 VM 인스턴스를 만듭니다.

    • abm-ws: 관리자 워크스테이션의 VM입니다.
    • abm-cp1, abm-cp2, abm-cp3: 제어 영역 노드의 VM입니다.
    • abm-w1, abm-w2: 워크로드를 실행하는 노드의 VM입니다.

  8. 다음 루프를 사용하여 SSH가 모든 VM에서 준비되었는지 확인합니다.

    for vm in "${VMs[@]}"
do
    while ! gcloud compute ssh root@"$vm" --zone "${ZONE}" --command "printf 'SSH to $vm succeeded\n'"
    do
        printf "Trying to SSH into %s failed. Sleeping for 5 seconds. zzzZZzzZZ" "$vm"
        sleep  5
    done
done

VM 간 L2 연결로 vxlan 네트워크 만들기

Linux의 표준 vxlan 기능을 사용하여 모든 VM을 L2 연결로 연결하는 네트워크를 만듭니다.

다음 명령어는 다음 작업을 수행하는 두 개의 루프를 포함합니다.

  1. 각 VM에 SSH를 통해 연결합니다.
  2. 필요한 패키지를 업데이트 및 설치합니다.

  3. 필요한 명령어를 실행하여 vxlan으로 네트워크를 구성합니다.

    i=2 # We start from 10.200.0.2/24
for vm in "${VMs[@]}"
do
    gcloud compute ssh root@"$vm" --zone "${ZONE}" << EOF
        apt-get -qq update > /dev/null
        apt-get -qq install -y jq > /dev/null
        set -x
        ip link add vxlan0 type vxlan id 42 dev ens4 dstport 0
        current_ip=\$(ip --json a show dev ens4 | jq '.[0].addr_info[0].local' -r)
        printf "VM IP address is: \$current_ip"
        for ip in ${IPs[@]}; do
            if [ "\$ip" != "\$current_ip" ]; then
                bridge fdb append to 00:00:00:00:00:00 dst \$ip dev vxlan0
            fi
        done
        ip addr add 10.200.0.$i/24 dev vxlan0
        ip link set up dev vxlan0

EOF
    i=$((i+1))
done

이제 10.200.0.0/24 네트워크 내에서 L2 연결이 가능합니다. VM에는 다음과 같은 IP 주소가 있습니다.

  • 관리자 워크스테이션 VM: 10.200.0.2
  • 제어 영역 노드를 실행하는 VM:
    • 10.200.0.3
    • 10.200.0.4
    • 10.200.0.5
  • 작업자 노드를 실행하는 VM:
    • 10.200.0.6
    • 10.200.0.7

베어메탈용 GKE 기본 요건 설치

베어메탈용 GKE를 설치하기 전에 관리 워크스테이션에 다음 도구를 설치해야 합니다.

  • bmctl
  • kubectl
  • Docker

도구를 설치하고 베어메탈용 GKE 설치를 준비하려면 다음 안내를 따르세요.

  1. 다음 명령어를 실행하여 서비스 계정 키를 관리자 워크스테이션에 다운로드하고 필요한 도구를 설치합니다.

    gcloud compute ssh root@$VM_WS --zone "${ZONE}" << EOF
set -x

export PROJECT_ID=\$(gcloud config get-value project)
BMCTL_VERSION=\$(curl http://metadata.google.internal/computeMetadata/v1/instance/attributes/bmctl_version -H "Metadata-Flavor: Google")
export BMCTL_VERSION

gcloud iam service-accounts keys create bm-gcr.json \
  --iam-account=baremetal-gcr@\${PROJECT_ID}.iam.gserviceaccount.com

curl -LO "https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl"

chmod +x kubectl
mv kubectl /usr/local/sbin/
mkdir baremetal && cd baremetal
gsutil cp gs://anthos-baremetal-release/bmctl/$BMCTL_VERSION/linux-amd64/bmctl .
chmod a+x bmctl
mv bmctl /usr/local/sbin/

cd ~
printf "Installing docker"
curl -fsSL https://get.docker.com -o get-docker.sh
sh get-docker.sh
EOF

  2. 다음 명령어를 실행하여 root@10.200.0.x가 작동하는지 확인합니다. 이 명령어는 다음 작업을 수행합니다.

    1. 관리자 워크스테이션에서 새 SSH 키를 생성합니다.
    2. 배포에서 다른 모든 VM에 공개 키를 추가합니다.
    gcloud compute ssh root@$VM_WS --zone "${ZONE}" << EOF
set -x
ssh-keygen -t rsa -N "" -f /root/.ssh/id_rsa
sed 's/ssh-rsa/root:ssh-rsa/' ~/.ssh/id_rsa.pub > ssh-metadata
for vm in ${VMs[@]}
do
    gcloud compute instances add-metadata \$vm --zone ${ZONE} --metadata-from-file ssh-keys=ssh-metadata
done
EOF

베어메탈용 GKE 하이브리드 클러스터 배포

다음 코드 블록에는 다음 작업을 완료하는 데 필요한 모든 명령어 및 구성이 포함됩니다.

  1. 필요한 하이브리드 클러스터의 구성 파일을 만듭니다.
  2. 실행 전 검사를 실행합니다.
  3. 클러스터를 배포합니다.
gcloud compute ssh root@$VM_WS --zone "${ZONE}" <<EOF
set -x
export PROJECT_ID=$(gcloud config get-value project)
CLUSTER_NAME=\$(curl http://metadata.google.internal/computeMetadata/v1/instance/attributes/cluster_id -H "Metadata-Flavor: Google")
BMCTL_VERSION=\$(curl http://metadata.google.internal/computeMetadata/v1/instance/attributes/bmctl_version -H "Metadata-Flavor: Google")
export CLUSTER_NAME
export BMCTL_VERSION
bmctl create config -c \$CLUSTER_NAME
cat > bmctl-workspace/\$CLUSTER_NAME/\$CLUSTER_NAME.yaml << EOB
---
gcrKeyPath: /root/bm-gcr.json
sshPrivateKeyPath: /root/.ssh/id_rsa
gkeConnectAgentServiceAccountKeyPath: /root/bm-gcr.json
gkeConnectRegisterServiceAccountKeyPath: /root/bm-gcr.json
cloudOperationsServiceAccountKeyPath: /root/bm-gcr.json
---
apiVersion: v1
kind: Namespace
metadata:
  name: cluster-\$CLUSTER_NAME
---
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: \$CLUSTER_NAME
  namespace: cluster-\$CLUSTER_NAME
spec:
  type: hybrid
  anthosBareMetalVersion: \$BMCTL_VERSION
  gkeConnect:
    projectID: \$PROJECT_ID
  controlPlane:
    nodePoolSpec:
      clusterName: \$CLUSTER_NAME
      nodes:
      - address: 10.200.0.3
      - address: 10.200.0.4
      - address: 10.200.0.5
  clusterNetwork:
    pods:
      cidrBlocks:
      - 192.168.0.0/16
    services:
      cidrBlocks:
      - 172.26.232.0/24
  loadBalancer:
    mode: bundled
    ports:
      controlPlaneLBPort: 443
    vips:
      controlPlaneVIP: 10.200.0.49
      ingressVIP: 10.200.0.50
    addressPools:
    - name: pool1
      addresses:
      - 10.200.0.50-10.200.0.70
  clusterOperations:
    # might need to be this location
    location: us-central1
    projectID: \$PROJECT_ID
  storage:
    lvpNodeMounts:
      path: /mnt/localpv-disk
      storageClassName: node-disk
    lvpShare:
      numPVUnderSharedPath: 5
      path: /mnt/localpv-share
      storageClassName: local-shared
  nodeConfig:
    podDensity:
      maxPodsPerNode: 250
---
apiVersion: baremetal.cluster.gke.io/v1
kind: NodePool
metadata:
  name: node-pool-1
  namespace: cluster-\$CLUSTER_NAME
spec:
  clusterName: \$CLUSTER_NAME
  nodes:
  - address: 10.200.0.6
  - address: 10.200.0.7
EOB

bmctl create cluster -c \$CLUSTER_NAME
EOF

클러스터 확인

루트 계정의 bmctl-workspace 디렉터리에 있는 관리자 워크스테이션에서 클러스터의 kubeconfig 파일을 찾을 수 있습니다. 배포를 확인하려면 다음 단계를 완료하세요.

  1. 관리자 워크스테이션에 루트로 SSH를 통해 연결합니다.

    gcloud compute ssh root@abm-ws --zone ${ZONE}

    VM 업데이트에 대한 메시지를 무시하고 이 튜토리얼을 완료하면 됩니다. VM을 테스트 환경으로 유지하려는 경우 Ubuntu 문서에 설명된 대로 OS를 업데이트하거나 다음 버전으로 업그레이드해야 할 수 있습니다.

  2. 클러스터 구성 파일의 경로로 KUBECONFIG 환경 변수를 설정하여 클러스터에서 kubectl 명령어를 실행합니다.

    export clusterid=CLUSTER_NAME
export KUBECONFIG=$HOME/bmctl-workspace/$clusterid/$clusterid-kubeconfig
kubectl get nodes

  3. 환경 변수에 현재 컨텍스트를 설정합니다.

    export CONTEXT="$(kubectl config current-context)"

  4. 다음 gcloud 명령어를 실행합니다. 이 명령어는 다음을 수행합니다.

    • 사용자 계정에 클러스터에 대한 Kubernetes clusterrole/cluster-admin 역할을 부여합니다.
    • 관리자 워크스테이션에 SSH로 연결할 필요 없이 로컬 컴퓨터에서 kubectl 명령어를 실행할 수 있도록 클러스터를 구성합니다.

    GOOGLE_ACCOUNT_EMAIL을 Google Cloud 계정과 연결된 이메일 주소로 바꿉니다. 예를 들면 --users=alex@example.com입니다.

    gcloud container fleet memberships generate-gateway-rbac  \
    --membership=CLUSTER_NAME \
    --role=clusterrole/cluster-admin \
    --users=GOOGLE_ACCOUNT_EMAIL \
    --project=PROJECT_ID \
    --kubeconfig=$KUBECONFIG \
    --context=$CONTEXT\
    --apply

    이 명령어의 출력은 가독성을 위해 잘려서 표시된 다음과 비슷합니다.

    Validating input arguments.
Specified Cluster Role is: clusterrole/cluster-admin
Generated RBAC policy is:
--------------------------------------------
...

Applying the generate RBAC policy to cluster with kubeconfig: /root/bmctl-workspace/CLUSTER_NAME/CLUSTER_NAME-kubeconfig, context: CLUSTER_NAME-admin@CLUSTER_NAME
Writing RBAC policy for user: GOOGLE_ACCOUNT_EMAIL to cluster.
Successfully applied the RBAC policy to cluster.

  5. 탐색이 완료되었으면 exit를 입력하여 관리자 워크스테이션에서 로그아웃합니다.

  6. Connect 게이트웨이를 통해 클러스터에 액세스할 수 있는 kubeconfig 항목을 가져옵니다.

    gcloud container fleet memberships get-credentials CLUSTER_NAME

    출력은 다음과 비슷합니다.

    Starting to build Gateway kubeconfig...
Current project_id: PROJECT_ID
A new kubeconfig entry "connectgateway_PROJECT_ID_global_CLUSTER_NAME" has been generated and set as the current context.

  7. 이제 Connect 게이트웨이를 통해 kubectl 명령어를 실행할 수 있습니다.

    kubectl get nodes
kubectl get namespaces

Google Cloud 콘솔에서 클러스터에 로그인

Google Cloud 콘솔에서 베어메탈용 GKE의 워크로드를 관찰하려면 클러스터에 로그인해야 합니다. 콘솔에 처음 로그인하려면 먼저 인증 방법을 구성해야 합니다. 구성하기 가장 쉬운 인증 방법은 Google Identity입니다. 이 인증 방법을 사용하면 Google Cloud 계정과 연결된 이메일 주소를 사용하여 로그인할 수 있습니다.

이전 섹션에서 실행한 gcloud container fleet memberships generate-gateway-rbac 명령어는 Google Identity를 사용하여 로그인할 수 있도록 클러스터를 구성합니다.

  1. Google Cloud 콘솔에서 GKE 클러스터 페이지로 이동합니다.

    GKE 클러스터로 이동

  2. 등록된 클러스터 옆에 있는 작업을 클릭한 다음 로그인을 클릭합니다.

  3. Google ID를 사용하여 로그인을 선택합니다.

  4. 로그인을 클릭합니다.

삭제

  1. 관리자 워크스테이션에 연결하여 클러스터 VM을 설치 전 상태로 재설정하고 Google Cloud 프로젝트에서 클러스터를 등록 취소합니다.

    gcloud compute ssh root@abm-ws --zone ${ZONE} << EOF
set -x
export clusterid=CLUSTER_NAME
bmctl reset -c \$clusterid
EOF

  2. 이름에 abm이 있는 모든 VM을 나열합니다.

    gcloud compute instances list | grep 'abm'

  3. 이름에 abm이 포함된 모든 VM을 삭제해도 괜찮은지 확인합니다.

    확인한 후에는 다음 명령어를 실행하여 abm VM을 삭제할 수 있습니다.

    gcloud compute instances list --format="value(name)" | grep 'abm'  | xargs gcloud \
    --quiet compute instances delete