이 문서에서는 Google Distributed Cloud의 관리자 클러스터를 만드는 방법을 설명합니다. 관리자 클러스터는 워크로드를 실행하는 사용자 클러스터를 관리합니다.
이 페이지는 기술 인프라를 설정, 모니터링, 관리하는 관리자, 설계자, 운영자를 위해 작성되었습니다. Google Cloud 콘텐츠에서 참조하는 일반적인 역할 및 예시 작업에 대해 자세히 알아보려면 일반 GKE 기업 사용자 역할 및 작업을 참조하세요.
관리자 클러스터에 대한 자세한 내용은 설치 개요를 참조하세요.
절차 개요
관리자 클러스터 만들기에 포함된 기본 단계는 다음과 같습니다.
- 관리자 워크스테이션을 준비합니다.
- 이 머신에는 새 클러스터를 만드는 데 필요한 도구가 포함되어 있습니다.
- 구성 파일을 작성합니다.
- 관리자 클러스터 구성 파일, 사용자 인증 정보 구성 파일, IP 블록 파일을 완료하고 검증하여 새 관리자의 세부정보를 지정합니다.
- OS 이미지를 vSphere로 가져오고 해당되는 경우 컨테이너 이미지를 비공개 레지스트리로 푸시합니다.
gkectl prepare를 실행합니다.
- 관리자 클러스터를 만듭니다.
gkectl을 사용하여 완료된 구성 파일에 지정된 대로 새 관리자 클러스터를 만듭니다. Google Distributed Cloud는 관리자 클러스터를 만들 때 Docker의 Kubernetes(kind) 클러스터를 배포하여 관리자 클러스터를 만드는 데 필요한 Kubernetes 컨트롤러를 일시적으로 호스팅합니다. 이러한 임시 클러스터를 부트스트랩 클러스터라고 합니다. 사용자 클러스터는 부트스트랩 클러스터를 사용하지 않고 관리 중인 관리자 클러스터를 통해 생성되고 업그레이드됩니다.
- 클러스터 관리자가 실행 중인지 확인합니다.
kubectl을 사용하여 클러스터 노드를 확인합니다.
이 절차를 마치면 사용자 클러스터를 만들고 관리하는 데 사용할 수 있는 관리자 클러스터가 실행됩니다.
VPC 서비스 제어를 사용하는 경우 일부 gkectl 명령어를 실행할 때 "Validation Category: GCP - [UNKNOWN] GCP
service: [Stackdriver] could not get GCP services" 같은 오류가 표시될 수 있습니다. 이러한 오류를 방지하려면 명령어에 --skip-validation-gcp 매개변수를 추가하세요.
시작하기 전에
IP 주소 계획 문서를 검토합니다. 3개의 컨트롤 플레인 노드 및 컨트롤 플레인 VIP에 사용할 수 있는 IP 주소가 충분한지 확인합니다. kubeception 사용자 클러스터를 만들려면 해당 사용자 클러스터의 제어 영역 노드에 사용할 수 있는 충분한 IP 주소가 있어야 합니다.
부하 분산 개요를 검토하고 사용하려는 부하 분산기 종류에 대한 결정을 다시 확인합니다. 특정 부하 분산기의 경우 관리자 클러스터를 만들기 전에 부하 분산기를 설정해야 합니다.
privateRegistry섹션을 확인하고 Google Distributed Cloud 구성요소에 대해 공개 또는 비공개 레지스트리를 사용할지 결정합니다.osImageType 필드를 확인하고 관리자 클러스터 노드에서 실행하려는 운영체제 유형을 결정합니다.
조직에서 프록시 서버를 통과하도록 아웃바운드 트래픽이 필요하면 필요한 API와 Container Registry 주소를 허용 목록에 추가해야 합니다.
버전 1.29 이상에서는 서버 측 프리플라이트 검사가 기본적으로 사용 설정됩니다. 서버 측 프리플라이트 검사에는 추가 방화벽 규칙이 필요합니다. 관리자 클러스터의 방화벽 규칙에서 '프리플라이트 검사'를 검색하고 필요한 모든 방화벽 규칙이 구성되었는지 확인합니다. 서버 측 프리플라이트 검사는 관리자 워크스테이션에서 로컬로 실행되는 대신 부트스트랩 클러스터에서 실행됩니다.
1. 관리자 워크스테이션 준비
관리자 워크스테이션 만들기에 설명된 대로 관리자 워크스테이션을 설정했고 로그인할 수 있는지 확인합니다. 관리자 워크스테이션에는 관리자 클러스터를 만드는 데 필요한 도구가 포함되어 있습니다.
관리자 워크스테이션에서 이 문서의 나머지 단계를 모두 수행합니다.
2. 구성 파일 작성
gkeadm을 사용하여 관리자 워크스테이션을 만든 경우 admin-cluster.yaml이라는 구성 파일이 생성됩니다.
gkeadm을 사용하여 관리자 워크스테이션을 만들지 않은 경우 다음 명령어를 관리자 워크스테이션에서 실행하여 admin-cluster.yaml을 생성합니다.
gkectl create-config admin
이 구성 파일은 관리자 클러스터를 만들기 위한 것입니다.
관리자 클러스터 구성 파일 문서를 살펴봐서 구성 파일을 숙지합니다. 다음 단계를 완료할 때 참조되므로 이 문서를 개별 탭 또는 창으로 열어 두는 것이 좋을 수 있습니다.
name
관리자 클러스터 이름을 지정하려면 name 필드를 입력합니다.
bundlePath
번들은 클러스터 구성요소가 포함된 Zip 파일입니다. 관리자 워크스테이션에 포함되어 있습니다. 이 필드는 이미 채워져 있습니다.
vCenter
이 섹션의 필드는 관리자 워크스테이션을 만들 때 입력한 값으로 이미 채워져 있습니다.
network
network.controlPlaneIPBlock 섹션과 network.hostConfig 섹션을 입력합니다. 또한 adminMaster.replicas를 3으로 설정합니다.
network.podCIDR 및 network.serviceCIDR 필드에는 미리 입력된 값이 있으며, 네트워크에서 이미 사용 중인 주소와 충돌하지 않는 한 그대로 유지할 수 있습니다. Kubernetes는 이러한 범위를 사용하여 클러스터의 포드 및 서비스에 IP 주소를 할당합니다.
필요에 따라 구성 파일의 네트워크 섹션에 있는 나머지 필드를 작성합니다.
loadBalancer
관리자 클러스터의 Kubernetes API 서버에 대해 VIP를 별도로 설정합니다. VIP를 loadBalancer.vips.controlPlaneVIP의 값으로 제공합니다.
자세한 내용은 관리자 클러스터 서브넷의 VIP를 참조하세요.
사용할 부하 분산의 유형을 결정합니다. 옵션은 다음과 같습니다.
MetalLB 번들 부하 분산.
loadBalancer.kind를"MetalLB"로 설정합니다.F5 BIG-IP를 사용한 통합 부하 분산
loadBalancer.kind를"F5BigIP"로 설정하고f5BigIP섹션을 입력합니다.수동 부하 분산.
loadBalancer.kind를"ManualLB"로 설정하고manualLB섹션을 입력합니다.
부하 분산 옵션에 대한 상세 설명은 부하 분산 개요를 참조하세요.
antiAffinityGroups
필요에 따라 antiAffinityGroups.enabled를 true 또는 false로 설정합니다.
이 필드를 사용하여 Google Distributed Cloud가 관리자 클러스터 노드에 대해 VMware Distributed Resource Scheduler(DRS) 안티-어피니티 규칙을 만들어서 데이터 센터에서 최소 3개 이상의 물리적 호스트에 이를 분산하도록 지정합니다.
adminMaster
관리자 클러스터의 제어 영역 노드에 CPU와 메모리를 지정하려면 adminMaster 섹션에서 cpus 및 memoryMB 필드를 입력합니다.
adminMaster 섹션의 replicas 필드를 3으로 설정합니다.
proxy
관리자 클러스터 노드를 포함할 네트워크가 프록시 서버 뒤에 있는 경우 proxy 섹션을 입력합니다.
privateRegistry
Google Distributed Cloud 구성요소의 컨테이너 이미지를 보관할 위치를 결정합니다. 옵션은 다음과 같습니다.
Container Registry
자체 비공개 Docker 레지스트리입니다.
자체 비공개 레지스트리를 사용하려면 privateRegistry 섹션을 입력합니다.
componentAccessServiceAccountKeyPath
Google Distributed Cloud는 구성요소 액세스 서비스 계정을 사용하여 Container Registry에서 클러스터 구성요소를 다운로드합니다. 이 필드에는 구성요소 액세스 서비스 계정에 대한 JSON 키 파일의 경로가 포함되어 있습니다.
이 필드는 이미 채워져 있습니다.
gkeConnect
gkeConnect 섹션을 입력하여 Google Cloud Fleet에 관리자 클러스터를 등록합니다. 구성 파일에 stackdriver 및 cloudAuditLogging 섹션을 포함하는 경우 gkeConnect.projectID의 ID는 stackdriver.projectID 및 cloudAuditLogging.projectID에 설정된 ID와 동일해야 합니다. 프로젝트 ID가 동일하지 않으면 클러스터 생성에 실패합니다.
1.28 이상에서는 원하는 경우 Fleet 및 Connect 서비스가 gkeConnect.location에서 실행되는 리전을 지정할 수 있습니다. 이 필드를 포함하지 않으면 클러스터는 이러한 서비스의 전역 인스턴스를 사용합니다.
gkeConnect.location을 포함하는 경우 지정하는 리전은 cloudAuditLogging.clusterLocation, stackdriver.clusterLocation, gkeOnPremAPI.location에서 구성된 리전과 동일해야 합니다. 리전이 동일하지 않으면 클러스터 생성에 실패합니다.
gkeOnPremAPI
GKE On-Prem API가 Google Cloud 프로젝트에 사용 설정된 경우 프로젝트의 모든 클러스터가 stackdriver.clusterLocation에 구성된 리전의 GKE On-Prem API에 자동으로 등록됩니다.
gkeOnPremAPI.location 리전은 cloudAuditLogging.clusterLocation, gkeConnect.location, stackdriver.clusterLocation에서 지정한 리전과 동일해야 합니다. 리전이 동일하지 않으면 클러스터 생성에 실패합니다.
GKE On-Prem API에서 프로젝트의 모든 클러스터를 등록하려면 프로젝트의 GKE On-Prem API를 활성화하고 사용하기 위해 시작하기 전에의 단계를 수행해야 합니다.
GKE On-Prem API에서 클러스터를 등록하지 않으려면 이 섹션을 포함하고
gkeOnPremAPI.enabled를false로 설정합니다. 프로젝트에 클러스터를 등록하지 않으려면 프로젝트에서gkeonprem.googleapis.com(GKE On-Prem API의 서비스 이름)을 중지합니다. 자세한 내용은 서비스 사용 중지를 참조하세요.
stackdriver
클러스터에 Cloud Logging 및 Cloud Monitoring을 사용 설정하려면 stackdriver 섹션을 입력합니다.
이 섹션은 기본적으로 필요합니다. 즉, 이 섹션을 입력하지 않으면 gkectl create admin을 실행할 때 --skip-validation-stackdriver 플래그를 포함해야 합니다.
새 클러스터에 대한 다음 요구사항을 참고하세요.
stackdriver.projectID의 ID는gkeConnect.projectID및cloudAuditLogging.projectID의 ID와 동일해야 합니다.stackdriver.clusterLocation에 설정된 Google Cloud 리전은cloudAuditLogging.clusterLocation및gkeConnect.location에 설정된 리전과 동일해야 합니다(구성 파일에 필드가 포함된 경우). 또한gkeOnPremAPI.enabled가true인 경우gkeOnPremAPI.location에 동일한 리전을 설정해야 합니다.
프로젝트 ID와 리전이 동일하지 않으면 클러스터 생성에 실패합니다.
cloudAuditLogging
클러스터 Kubernetes API 서버의 감사 로그를 Cloud 감사 로그와 통합하려면 cloudAuditLogging 섹션을 입력합니다.
새 클러스터에 대한 다음 요구사항을 참고하세요.
cloudAuditLogging.projectID의 ID는gkeConnect.projectID및stackdriver.projectID의 ID와 동일해야 합니다.cloudAuditLogging.clusterLocation에 설정된 Google Cloud 리전은stackdriver.clusterLocation및gkeConnect.location에 설정된 리전과 동일해야 합니다(구성 파일에 필드가 포함된 경우). 또한gkeOnPremAPI.enabled가true인 경우gkeOnPremAPI.location에 동일한 리전을 설정해야 합니다.
프로젝트 ID와 리전이 동일하지 않으면 클러스터 생성에 실패합니다.
clusterBackup
관리자 클러스터 백업을 사용 설정하려면 clusterBackup.datastore를 클러스터 백업을 저장할 vSphere Datastore로 설정합니다.
autoRepair
관리자 클러스터에 대해 자동 노드 복구를 사용 설정하려면 autoRepair.enabled를 true로 설정합니다.
secretsEncryption
상시 보안 비밀 암호화를 사용 설정하려면 secretsEncryption 섹션을 입력합니다.
osImageType
관리자 클러스터 노드에 사용하려는 OS 이미지 유형을 결정하고 그에 따라 osImageType 섹션을 입력합니다.
작성된 구성 파일 예시
다음은 작성된 관리자 클러스터 구성 파일의 예시입니다. 이 구성에 따라 전부는 아니더라도 사용 가능한 기능 중 일부가 사용 설정됩니다.
vc-01-admin-cluster.yaml
apiVersion: v1
kind: AdminCluster
name: "gke-admin-01"
bundlePath: "/var/lib/gke/bundles/gke-onprem-vsphere-1.28.0-gke.1-full.tgz"
vCenter:
address: "vc01.example"
datacenter: "vc-01"
cluster: "vc01-workloads-1"
resourcePool: "vc-01-pool-1"
datastore: "vc01-datastore-1"
caCertPath: "/usr/local/google/home/me/certs/vc01-cert.pem""
credentials:
fileRef:
path: "credential.yaml"
entry: "vCenter"
network:
hostConfig:
dnsServers:
- "203.0.113.1"
- "198.51.100.1"
ntpServers:
- "216.239.35.4"
serviceCIDR: "10.96.232.0/24"
podCIDR: "192.168.0.0/16"
vCenter:
networkName: "vc01-net-1"
controlPlaneIPBlock:
netmask: "255.255.248.0"
gateway: "21.0.143.254"
ips:
- ip: "21.0.140.226"
hostname: "admin-cp-vm-1"
- ip: "21.0.141.48"
hostname: "admin-cp-vm-2"
- ip: "21.0.141.65"
hostname: "admin-cp-vm-3"
loadBalancer:
vips:
controlPlaneVIP: "172.16.20.59"
kind: "MetalLB"
antiAffinityGroups:
enabled: true
adminMaster:
cpus: 4
memoryMB: 16384
replicas: 3
componentAccessServiceAccountKeyPath: "sa-key.json"
gkeConnect:
projectID: "my-project-123"
registerServiceAccountKeyPath: "connect-register-sa-2203040617.json"
stackdriver:
projectID: "my-project-123"
clusterLocation: "us-central1"
enableVPC: false
serviceAccountKeyPath: "log-mon-sa-2203040617.json"
disableVsphereResourceMetrics: false
clusterBackup:
datastore: "vc-01-datastore-bu"
autoRepair:
enabled: true
osImageType: "ubuntu_containerd"
구성 파일 유효성 검사
관리자 클러스터 구성 파일을 입력한 후 gkectl check-config를 실행하여 파일이 유효한지 확인합니다.
gkectl check-config --config ADMIN_CLUSTER_CONFIG
ADMIN_CLUSTER_CONFIG를 관리자 클러스터 구성 파일의 경로로 바꿉니다.
명령어가 실패 메시지를 반환하면 문제를 해결하고 파일을 다시 검사합니다.
시간이 오래 걸리는 검사를 건너뛰려면 --fast 플래그를 전달합니다.
개별 검사를 건너뛰려면 --skip-validation-xxx 플래그를 사용합니다. check-config 명령어에 대해 자세히 알아보려면 실행 전 검사 실행을 참조하세요.
3. OS 이미지 가져오기
gkectl prepare를 실행하여 vSphere 환경을 초기화합니다.
gkectl prepare --config ADMIN_CLUSTER_CONFIG
gkectl prepare 명령어는 다음 준비 태스크를 수행합니다.
OS 이미지를 vSphere로 가져오고 VM 템플릿으로 표시합니다.
비공개 Docker 레지스트리를 사용하는 경우 컨테이너 이미지를 레지스트리에 푸시합니다.
선택적으로 컨테이너 이미지의 빌드 증명을 검사하여 이미지가 빌드되었고, Google에서 서명되었으며, 배포에 사용할 준비가 되었는지 확인합니다.
5. 관리자 클러스터 만들기
관리자 클러스터를 만듭니다.
gkectl create admin --config ADMIN_CLUSTER_CONFIG
VPC 서비스 제어를 사용하는 경우 일부 gkectl 명령어를 실행할 때 "Validation Category: GCP - [UNKNOWN] GCP
service: [Stackdriver] could not get GCP services" 같은 오류가 표시될 수 있습니다. 이러한 오류를 방지하려면 명령어에 --skip-validation-gcp 매개변수를 추가하세요.
실패 후 관리자 클러스터 만들기 재개
관리자 클러스터 만들기가 실패하거나 취소된 경우 create 명령어를 다시 실행할 수 있습니다.
gkectl create admin --config ADMIN_CLUSTER_CONFIG
관리자 클러스터 kubeconfig 파일 찾기
gkectl create admin 명령어는 현재 디렉터리에 kubeconfig라는 kubeconfig 파일을 만듭니다. 나중에 관리자 클러스터와 상호작용하려면 이 kubeconfig 파일이 필요합니다.
kubeconfig 파일에는 관리자 클러스터의 이름이 포함되어 있습니다. 클러스터 이름을 보려면 다음을 실행합니다.
kubectl config get-clusters --kubeconfig ADMIN_CLUSTER_KUBECONFIG
출력에 클러스터의 이름이 표시됩니다. 예를 들면 다음과 같습니다.
NAME gke-admin-tqk8x
원하는 경우 kubeconfig 파일의 이름과 위치를 변경할 수 있습니다.
checkpoint.yaml 파일 관리
관리자 클러스터를 만들기 위해 gkectl create admin 명령어를 실행할 때 관리자 클러스터 데이터 디스크와 동일한 Datastore 폴더에 체크포인트 파일이 생성되었습니다. 기본적으로 이 파일은 이름이 DATA_DISK_NAME‑checkpoint.yaml입니다. DATA_DISK_NAME 길이가 245자 이상이면 vSphere의 파일 이름 제한으로 인해 이름이 DATA_DISK_NAME.yaml입니다.
이 파일에는 관리자 클러스터 상태 및 사용자 인증 정보가 포함되며, 이후 업그레이드를 위해 사용됩니다. 관리자 클러스터 삭제 프로세스를 수행하는 경우가 아니라면 이 파일을 삭제하지 마세요.
vCenter Server 인스턴스에 VM 암호화를 사용 설정한 경우 관리자 클러스터를 만들거나 업그레이드하기 전에 Cryptographic operations.Direct Access 권한이 있어야 합니다. 그렇지 않으면 체크포인트가 업로드되지 않습니다. 이 권한을 얻을 수 없으면 관련 명령어를 실행할 때 숨겨진 플래그 --disable-checkpoint를 사용하여 체크포인트 파일 업로드를 사용 중지할 수 있습니다.
checkpoint.yaml 파일은 gkectl upgrade admin 명령어를 실행할 때 또는 관리자 클러스터에 영향을 주는 gkectl update 명령어를 실행할 때 자동으로 업데이트됩니다.
6. 관리자 클러스터 실행 여부 확인
클러스터가 실행 중인지 확인합니다.
kubectl get nodes --kubeconfig ADMIN_CLUSTER_KUBECONFIG
ADMIN_CLUSTER_KUBECONFIG를 관리자 클러스터 kubeconfig 파일의 경로로 바꿉니다.
출력에 관리자 클러스터 노드가 표시됩니다. 예를 들면 다음과 같습니다.
admin-cp-vm-1 Ready control-plane,master ... admin-cp-vm-2 Ready control-plane,master ... admin-cp-vm-3 Ready control-plane,master ...
7. 파일 백업
관리자 클러스터 kubeconfig 파일을 백업하는 것이 좋습니다. 즉, kubeconfig 파일을 관리자 워크스테이션에서 다른 위치로 복사합니다. 그러면 관리자 워크스테이션에 대한 액세스 권한을 상실하거나 관리자 워크스테이션의 kubeconfig 파일이 실수로 삭제된 경우에도 관리자 클러스터에 액세스할 수 있습니다.
또한 관리자 클러스터의 비공개 SSH 키를 백업하는 것이 좋습니다. 그러면 관리자 클러스터에 대한 액세스 권한을 상실한 경우에도 SSH를 사용하여 관리자 클러스터 노드에 연결할 수 있습니다. 이렇게 하면 관리자 클러스터 연결과 관련된 문제를 해결하고 조사할 수 있습니다.
관리자 클러스터에서 admin-cluster-ssh-key라는 파일로 SSH 키를 추출합니다.
kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG get secrets -n kube-system sshkeys \
-o jsonpath='{.data.vsphere_tmp}' | base64 -d > admin-cluster-ssh-key
이제 admin-cluster-ssh-key를 원하는 다른 위치에 백업할 수 있습니다.
RBAC 정책
관리자 클러스터 구성 파일의 gkeConnect 섹션을 입력하면 클러스터가 만들기 또는 업데이트 중에 Fleet에 등록됩니다. Fleet 관리 기능을 사용 설정하도록 Google Cloud는 Connect 에이전트를 배포하고 클러스터가 등록된 프로젝트를 나타내는 Google 서비스 계정을 만듭니다.
Connect 에이전트는 클러스터의 Kubernetes API 서버에 대한 요청이 처리되도록 서비스 계정과의 연결을 설정합니다. 이렇게 하면 클러스터와 상호작용할 수 있는 Google Cloud 콘솔에 대한 액세스를 포함하여 Google Cloud의 클러스터 및 워크로드 관리 기능에 액세스할 수 있습니다.
관리자 클러스터의 Kubernetes API 서버에서 Connect 에이전트의 요청을 승인할 수 있어야 합니다. 이를 위해 다음 역할 기반 액세스 제어(RBAC) 정책이 서비스 계정에 구성됩니다.
Connect 에이전트가 서비스 계정을 대신하여 Kubernetes API 서버에 요청을 보낼 수 있도록 승인하는 명의 도용 정책입니다.
다른 Kubernetes 리소스에서 허용되는 작업을 지정하는 권한 정책입니다.
Google Cloud 콘솔에서 사용자 클러스터의 수명 주기를 관리할 수 있도록 서비스 계정과 RBAC 정책이 필요합니다.
문제 해결
클러스터 생성 및 업그레이드 문제 해결을 참조하세요.