관리 클러스터 구성 파일

이 페이지에서는 VMware용 Anthos 클러스터(GKE On-Prem)의 관리자 클러스터 구성 파일에 있는 필드를 설명합니다.

구성 파일 템플릿 생성

gkeadm을 사용하여 관리자 워크스테이션을 만든 경우 gkeadm은 관리자 클러스터 구성 파일의 템플릿을 생성했습니다. 또한 gkeadm에는 일부 필드도 채워져 있습니다.

gkeadm을 사용하여 관리자 워크스테이션을 만들지 않은 경우 gkectl을 사용하여 관리자 클러스터 구성 파일의 템플릿을 생성할 수 있습니다.

관리자 클러스터 구성 파일의 템플릿을 생성하려면 다음 안내를 따르세요.

gkectl create-config admin --config=OUTPUT_FILENAME

OUTPUT_FILENAME을 생성된 템플릿에 선택한 경로로 바꿉니다. 이 플래그를 생략하면 gkectl은 파일 이름을 admin-cluster.yaml로 지정하고 현재 디렉터리에 넣습니다.

템플릿

구성 파일 작성

구성 파일에 다음 섹션에 설명된 대로 필드 값을 입력합니다.

bundlePath

문자열. VMware용 Anthos 클러스터 번들 파일의 경로입니다.

VMware용 Anthos 클러스터 정식 번들 파일에는 VMware용 Anthos 클러스터의 특정 출시 버전에 있는 모든 구성요소가 포함되어 있습니다. 관리자 워크스테이션을 만들 때는 다음 위치에서 전체 번들과 함께 제공됩니다.

/var/lib/gke/bundles/gke-onprem-vsphere-VERSION-full.tgz

예를 들면 다음과 같습니다.

bundlePath: "/var/lib/gke/bundles/gke-onprem-vsphere-1.6.0-gke.7-full.tgz"

vCenter

이 섹션에서는 사용자의 vCenter 환경에 대한 정보를 제공합니다.

vCenter.address

문자열. vCenter Server의 IP 주소 또는 호스트 이름입니다.

address 필드를 입력하기 전에 vCenter Server의 사용 중인 인증서를 다운로드하여 검사합니다. 다음 명령어를 입력하여 인증서를 다운로드하고 vcenter.pem이라는 파일로 저장합니다.

true | openssl s_client -connect VCENTER_IP:443 -showcerts 2>/dev/null | sed -ne '/-BEGIN/,/-END/p' > vcenter.pem

VCENTER_IP를 vCenter Server의 IP 주소로 바꿉니다.

인증서 파일을 열어서 제목 일반 이름 및 제목 대체 이름을 확인합니다.

openssl x509 -in vcenter.pem -text -noout

결과에 Subject 일반 이름(CN)이 표시됩니다. 이 이름은 IP 주소이거나 호스트 이름일 수 있습니다. 예를 들면 다음과 같습니다.

Subject: ... CN = 203.0.113.100
Subject: ... CN = my-vcenter-server.my-domain.example

결과의 Subject Alternative Name 아래에는 DNS 이름이 1개 이상 포함될 수도 있습니다.

X509v3 Subject Alternative Name:
    DNS:vcenter.my-domain.example

Subject 일반 이름을 선택하거나 Subject Alternative Name 아래에서 구성 파일의 vcenter.address 값으로 사용할 DNS 이름 중 하나를 선택합니다. 예를 들면 다음과 같습니다.

vCenter:
  address: "203.0.113.100"
vCenter:
  address: "my-vcenter-server.my-domain.example"

vCenter.datacenter

문자열. vCenter 데이터 센터의 이름입니다. 예를 들면 다음과 같습니다.

vCenter:
  datacenter: "MY-DATACENTER"

vCenter.folder

문자열. 클러스터 VM이 위치하게 될 vCenter 폴더의 이름입니다. 예를 들면 다음과 같습니다.

vCenter:
  folder: "MY-FOLDER"

vCenter.cluster

문자열. vCenter 클러스터의 이름입니다. 예를 들면 다음과 같습니다.

vCenter:
  cluster: "MY-CLUSTER"

vCenter.resourcePool

문자열. vCenter 리소스 풀의 이름입니다. 예를 들면 다음과 같습니다.

기본이 아닌 리소스 풀을 사용하는 경우에는 vCenter 리소스 풀의 이름을 입력합니다. 예를 들면 다음과 같습니다.

vCenter:
  resourcePool: "MY-POOL"

기본 리소스 풀을 사용하는 경우 다음 값을 제공합니다.

vCenter:
  resourcePool: "VCENTER_CLUSTER/Resources"

VCENTER_CLUSTER를 vCenter 클러스터의 이름으로 바꿉니다.

vCenter.datastore

문자열. vCenter Datastore의 이름입니다. 예를 들면 다음과 같습니다.

vCenter:
  datastore: "MY-DATASTORE"

독립형 호스트의 루트 리소스 풀 지정을 참조하세요.

vCenter.caCertPath

문자열. VMware용 Anthos 클러스터와 같은 클라이언트가 vCenter Server로 요청을 전송할 때 서버는 인증서 또는 인증서 번들을 제공하여 클라이언트에 해당 ID를 입증해야 합니다. 인증서 또는 번들을 확인하려면 VMware용 Anthos 클러스터의 신뢰 체인에 루트 인증서가 있어야 합니다.

vCenter.caCertPath를 루트 인증서의 경로로 설정합니다. 예를 들면 다음과 같습니다.

vCenter:
  caCertPath: "/usr/local/google/home/me/certs/vcenter-ca-cert.pem"

VMware 설치에는 vCenter Server에 인증서를 발급하는 인증 기관(CA)이 포함됩니다. 신뢰 체인의 루트 인증서는 VMware에서 생성된 자체 서명 인증서입니다.

기본값인 VMWare CA를 사용하지 않을 경우 다른 인증 기관을 사용하도록 VMware를 구성할 수 있습니다.

사용자의 vCenter 서버가 기본 VMware CA에서 발급한 인증서를 사용하는 경우 다음과 같이 인증서를 다운로드합니다.

curl -k "https://SERVER_ADDRESS/certs/download.zip" > download.zip

SERVER_ADDRESS를 vCenter 서버의 주소로 바꿉니다.

unzip 명령어를 설치하고 인증서 파일의 압축을 풉니다.

sudo apt-get install unzip
unzip downloads.zip

처음에 unzip 명령어가 작동하지 않으면 명령어를 다시 입력합니다.

certs/lin에서 인증서 파일을 찾습니다.

vCenter.credentials.fileRef.path

문자열. vCenter 사용자 계정의 사용자 이름과 비밀번호가 포함된 사용자 인증 정보 구성 파일의 경로입니다. 사용자 계정에 관리자 역할 또는 이에 상응하는 권한이 있어야 합니다. vSphere 요구사항을 참조하세요. 예를 들면 다음과 같습니다.

vCenter:
  credentials:
    fileRef:
      path: "my-config-folder/admin-creds.yaml"

vCenter.credentials.fileRef.entry

문자열. vCenter 사용자 계정의 사용자 이름과 비밀번호가 포함된 사용자 인증 정보 구성 파일의 사용자 인증 정보 블록의 이름입니다. 예를 들면 다음과 같습니다.

vCenter:
  credentials:
    fileRef:
      entry: "vcenter-creds"

vCenter.dataDisk

문자열. VMware용 Anthos 클러스터는 Kubernetes 객체 데이터를 저장할 가상 머신 디스크(VMDK)를 만듭니다. 설치 프로그램에서 VMDK가 자동으로 생성되지만 vCenter.dataDisk 필드에 VMDK 이름을 제공해야 합니다. 예를 들면 다음과 같습니다.

vCenter:
  dataDisk: "my-disk.vmdk"

network

이 섹션에는 관리자 클러스터 네트워크에 대한 정보가 포함되어 있습니다.

network.hostConfig

이 섹션에는 클러스터에서 사용하는 NTP 서버, DNS 서버, DNS 검색 도메인에 대한 정보를 제공합니다.

다음 필드 중 하나 또는 모두에 값을 제공한 경우 이 섹션을 입력합니다. 그렇지 않으면 이 섹션을 삭제하세요.

  • loadBalancer.seesaw.ipBlockFilePath
  • network.ipMode.ipBlockFilePath

network.hostConfig.dnsServers

문자열 배열. 호스트에 대해 사용할 DNS 서버의 주소입니다. 예를 들면 다음과 같습니다.

network:
  hostConfig:
    dnsServers:
    - "172.16.255.1"
    - "172.16.255.2"

network.hostConfig.ntpServers

문자열 배열. 호스트에 대해 사용할 시간 서버의 주소입니다. 예를 들면 다음과 같습니다.

network:
  hostConfig:
    ntpServers:
    - "216.239.35.0"

network.hostConfig.searchDomainsForDNS

문자열 배열. 호스트에 대해 사용할 DNS 검색 도메인입니다. 이러한 도메인은 도메인 검색 목록의 일부로 사용됩니다. 예를 들면 다음과 같습니다.

network:
  hostConfig:
    searchDomainsForDNS:
    - "my.local.com"

network.ipMode.type

문자열. 클러스터 노드가 DHCP 서버에서 IP 주소를 가져오도록 하려면 "dhcp"로 설정합니다. 사용자가 제공한 목록에서 클러스터 노드에 고정 IP 주소를 선택하려면 이를 "static"으로 설정합니다.

예를 들면 다음과 같습니다.

network:
  ipMode:
    type: "static"

network.ipMode.ipBlockFilePath

ipMode.type"static"으로 설정한 경우 이 필드를 입력합니다.

ipMode.type"dhcp"로 설정한 경우 이 필드를 삭제합니다.

문자열. 관리자 클러스터 노드의 IP 블록 파일 경로입니다. 예를 들면 다음과 같습니다.

network:
  ipMode:
    ipBlockFilePath: "/my-config-folder/admin-cluster-ipblock.yaml"

network.serviceCIDRnetwork.podCiDR

문자열. 관리자 클러스터에는 서비스에 사용할 IP 주소 범위와 포드에 사용할 IP 주소 범위가 있어야 합니다. 이러한 범위는 network.serviceCIDRnetwork.podCIDR 필드로 지정됩니다. 이러한 필드는 기본값으로 채워집니다. 필요에 따라 채워진 값을 원하는 값으로 변경할 수 있습니다.

서비스 및 포드 범위는 겹치지 않아야 합니다. 또한 서비스 및 포드 범위는 클러스터의 노드에 사용되는 IP 주소와 겹치지 않아야 합니다.

예를 들면 다음과 같습니다.

network:
  ...
  serviceCIDR: "10.96.232.0/24"
  podCIDR: "192.168.0.0/16"

network.vCenter.networkName

문자열. 클러스터 노드의 vSphere 네트워크 이름입니다.

이름에 특수문자가 포함되어 있으면 이스케이프 시퀀스를 사용해야 합니다.

특수문자 이스케이프 시퀀스
슬래시(/) %2f
백슬래시(\) %5c
퍼센트 기호(%) %25

네트워크 이름이 고유하지 않은 경우 네트워크 경로를 지정할 수 있습니다(예: /DATACENTER/network/NETWORK_NAME).

예를 들면 다음과 같습니다.

network:
  vCenter:
    networkName: "MY-CLUSTER-NETWORK"

loadBalancer

이 섹션에서는 관리자 클러스터의 부하 분산기에 대한 정보를 제공합니다.

loadBalancer.vips.controlPlaneVIP

문자열. 관리자 클러스터의 Kubernetes API 서버에 대한 부하 분산기에서 구성하도록 선택한 IP 주소입니다. 예를 들면 다음과 같습니다.

loadBalancer:
  vips:
    controlplaneVIP: "203.0.113.3"

loadBalancer.vips.addonsVIP

문자열. 부가기능의 부하 분산기에서 구성하도록 선택한 IP 주소입니다. 예를 들면 다음과 같습니다.

loadBalancer:
  vips:
    addonsVIP: "203.0.113.4"

loadBalancer.kind

문자열. 이를 "Seesaw", "F5BigIP", "ManualLB"로 설정합니다. 예를 들면 다음과 같습니다.

loadBalancer:
  kind: "Seesaw"

loadBalancer.manualLB

loadbalancer.kind"ManualLB"로 설정한 경우 이 섹션을 입력합니다. 그렇지 않으면 이 섹션을 삭제하세요.

loadBalancer.manualLB.ingressHTTPNodePort

구성 파일에서 이 필드를 삭제합니다. 관리자 클러스터에서는 사용되지 않습니다.

loadBalancer.manualLB.ingressHTTPSNodePort

구성 파일에서 이 필드를 삭제합니다. 관리자 클러스터에서는 사용되지 않습니다.

loadBalancer.manualLB.controlPlaneNodePort

정수. 관리자 클러스터의 Kubernetes API 서버는 NodePort 유형 서비스로 구현됩니다. 서비스의 nodePort 값을 선택해야 합니다.

이 필드를 nodePort 값으로 설정합니다. 예를 들면 다음과 같습니다.

loadBalancer:
  manualLB:
    contolPlaneNodePort: 30968

loadBalancer.manualLB.addonsNodePort

정수. 관리자 클러스터의 부가기능 서버는 NodePort 유형 서비스로 구현됩니다. 서비스의 nodePort 값을 선택해야 합니다.

이 필드를 nodePort 값으로 설정합니다. 예를 들면 다음과 같습니다.

loadBalancer:
  manualLB:
    addonsNodePort: 31405

loadBalancer.f5BigIP

loadbalancer.kind"f5BigIP"로 설정한 경우 이 섹션을 입력합니다. 그러지 않으면 이 섹션을 삭제하세요.

loadBalancer.f5BigIP.address

문자열. F5 BIG-IP 부하 분산기의 주소입니다. 예를 들면 다음과 같습니다.

loadBalancer:
  f5BigIP:
    address: "203.0.113.2"

loadBalancer.f5BigIP.fileRef.path

문자열. 사용자 인증 정보 구성 파일의 경로이며 Anthos cluster on VMware가 F5 BIG-IP 부하 분산기에 연결하는 데 사용할 수 있는 계정의 사용자 이름과 비밀번호가 포함되어 있습니다. 예를 들면 다음과 같습니다.

loadBalancer:
  f5BigIP:
    fileRef:
      path: ""my-config-folder/admin-creds.yaml"

loadBalancer.f5BigIP.fileRef.entry

문자열. F5 BIG-IP 계정의 사용자 이름 및 비밀번호가 포함된 사용자 인증 정보 구성 파일에 있는 사용자 인증 정보 블록의 이름입니다. 예를 들면 다음과 같습니다.

loadBalancer:
  f5BigIP:
    fileRef:
      entry: "f5-creds"

loadBalancer.f5BigIP.partition

문자열. 관리자 클러스터용으로 만든 BIG-IP 파티션의 이름입니다. 예를 들면 다음과 같습니다.

loadBalancer:
  f5BigIP:
    partition: "my-f5-admin-partition"

loadBalancer.f5BigIP.snatPoolName

문자열. SNAT를 사용하는 경우 SNAT 풀 이름입니다. SNAT를 사용하지 않는 경우에는 이 필드를 삭제하세요. 예를 들면 다음과 같습니다.

loadBalancer:
  f5BigIP:
    snatPoolName: "my-snat-pool"

loadBalancer.seesaw

loadbalancer.kind"Seesaw"로 설정한 경우 이 섹션을 입력합니다. 그러지 않으면 이 섹션을 삭제하세요.

loadBalancer.seesaw.ipBlockFilePath

문자열. Seesaw VM의 IP 블록 파일 경로로 설정합니다. 예를 들면 다음과 같습니다.

loadBalancer:
  seesaw:
    ipBlockFilePath: "admin-seesaw-ipblock.yaml"

loadBalancer.seesaw.vrid

정수. Seesaw VM의 가상 라우터 식별자입니다. 이 ID는 VLAN 내에서 고유해야 합니다. 유효한 범위는 1~255입니다. 예를 들면 다음과 같습니다.

loadBalancer:
  seesaw:
    vrid: 125

loadBalancer.seesaw.masterIP

문자열. Seesaw VM 또는 VM 쌍의 VIP입니다. 예를 들면 다음과 같습니다.

loadBalancer:
  seesaw:
    masterIP: 172.16.20.21

loadBalancer.seesaw.cpus

정수. Seesaw VM의 CPU 수입니다. 예를 들면 다음과 같습니다.

loadBalancer:
  seesaw:
    cpus: 8

loadBalancer.seesaw.memoryMB

정수. Seesaw VM의 메모리 용량(MB)입니다. 예를 들면 다음과 같습니다.

loadBalancer:
  seesaw:
    memoryMB: 8192

loadBalancer.seesaw.vCenter.networkName

문자열. Seesaw VM이 포함된 네트워크의 이름입니다. 예를 들면 다음과 같습니다.

loadBalancer:
  seesaw:
    vCenter:
      networkName: "my-seesaw-network"

loadBalancer.seesaw.enableHA

부울. 고가용성 Seesaw 부하 분산기를 만들려면 true로 설정합니다. 그렇지 않으면 false로 설정합니다. 예를 들면 다음과 같습니다.

loadBalancer:
  seesaw:
    enableHA: true

antiAffinityGroups.enabled

부울. DRS 규칙 생성을 사용 설정하려면 이 값을 true로 설정합니다. 그렇지 않으면 false로 설정합니다. 예를 들면 다음과 같습니다.

antiAffinityGroups:
  enabled: true

VMware용 Anthos 클러스터는 관리자 클러스터 노드에 대해 VMware Distributed Resource Scheduler(DRS) 안티어피니티 규칙을 자동으로 만들어 데이터 센터에 있는 최소 3개 이상의 물리적 호스트에 분산되도록 합니다.

이 기능을 사용하려면 vSphere 환경이 다음 조건을 충족해야 합니다.

  • VMware DRS가 사용 설정되어 있습니다. VMware DRS에는 vSphere Enterprise Plus 라이선스 버전이 필요합니다.

  • vSphere 사용자 계정에 Host.Inventory.Modify cluster 권한이 있습니다.

  • 사용 가능한 물리적 호스트가 3개 이상입니다.

vSphere Standard 라이선스가 있으면 VMware DRS를 사용 설정할 수 없습니다.

DRS를 사용 설정하지 않았거나 vSphere VM을 예약할 수 있는 호스트가 3개 이상이 아니라면 antiAffinityGroups.enabledfalse로 설정합니다.

proxy

네트워크가 프록시 서버 뒤에 있는 경우 이 섹션을 입력합니다. 그러지 않으면 이 섹션을 삭제하세요.

proxy.url

문자열. 프록시 서버의 HTTP 주소입니다. 포트 번호가 스키마의 기본 포트와 동일하더라도 포함합니다. 예를 들면 다음과 같습니다.

proxy:
  url: "http://my-proxy.example.local:80"

여기에서 지정하는 프록시 서버는 VMware용 Anthos 클러스터 클러스터에서 사용됩니다. 또한 관리자 워크스테이션에서 HTTPS_PROXY 환경 변수를 설정하지 않는 한 관리자 워크스테이션은 동일한 프록시 서버를 사용하도록 자동으로 구성됩니다.

proxy.url을 지정하면 proxy.noProxy도 지정해야 합니다.

proxy.noProxy

문자열. IP 주소, IP 주소 범위, 호스트 이름 그리고 프록시 서버를 거치지 않아야 하는 도메인 이름의 쉼표로 구분된 목록입니다. VMware용 Anthos 클러스터가 이러한 주소, 호스트 또는 도메인 중 하나에 요청을 보내면 해당 요청이 직접 전송됩니다. 예를 들면 다음과 같습니다.

proxy:
  noProxy: "10.151.222.0/24, my-host.example.local,10.151.2.1"

privateRegistry

비공개 Docker 레지스트리가 있는 경우 이 섹션을 입력합니다. 그러지 않으면 이 섹션을 삭제하세요.

privateRegistry.address

문자열. 비공개 Docker 레지스트리를 실행하는 머신의 IP 주소입니다. 예를 들면 다음과 같습니다.

privateRegistry:
  address: "203.0.113.10"

privateRegistry.credentials.fileRef.path

문자열. VMware용 Anthos 클러스터가 비공개 Docker 레지스트리에 액세스하는 데 사용할 수 있는 계정의 사용자 이름과 비밀번호를 포함하는 사용자 인증 정보 구성 파일의 경로입니다. 예를 들면 다음과 같습니다.

privateRegistry:
  credentials:
    fileRef:
      path: "my-config-folder/admin-creds.yaml"

privateRegistry.credentials.fileRef.entry

문자열. 사용자 인증 정보 구성 파일의 사용자 인증 정보 블록 이름이며 비공개 Docker 레지스트리 계정의 사용자 이름과 비밀번호가 포함됩니다.

privateRegistry:
  credentials:
    fileRef:
      entry: "private-registry-creds"

privateRegistry.caCertPath

문자열. Docker가 비공개 레지스트리에서 이미지를 가져올 때 레지스트리는 인증서를 제공하여 해당 ID를 입증해야 합니다. 레지스트리의 인증서는 인증 기관(CA)에 의해 서명됩니다. Docker는 CA의 인증서를 사용하여 레지스트리의 인증서를 검사합니다.

이 필드를 CA 인증서의 경로로 설정합니다. 예를 들면 다음과 같습니다.

privateRegistry:
  caCertPath: "my-cert-folder/registry-ca.crt"

gcrKeyPath

문자열. Anthos clusters on VMware 구성요소를 다운로드하는 데 사용할 서비스 계정의 JSON 키 파일 경로입니다. 예를 들면 다음과 같습니다.

gcrKeyPath: "my-key-folder/access-key.json"

stackdriver

이 섹션에는 로그 및 측정항목을 저장하기 위해 사용하려는 프로젝트 및 서비스 계정에 대한 정보가 포함되어 있습니다.

stackdriver.projectID

문자열. 로그를 보려는 Google Cloud 프로젝트의 프로젝트 ID입니다. 예를 들면 다음과 같습니다.

stackdriver:
  projectID: "my-logs-project"

stackdriver.clusterLocation

문자열. 로그를 저장할 Google Cloud 리전입니다. 온프렘 데이터 센터와 가까운 리전을 선택하는 것이 좋습니다. 예를 들면 다음과 같습니다.

stackdriver:
  clusterLocation: "us-central1"

stackdriver.enableVPC

부울. 클러스터 네트워크가 VPC로 제어되는 경우 이 필드를 true로 설정합니다. 이렇게 하면 모든 원격 분석이 Google의 제한된 IP 주소를 통해 이동합니다. 그렇지 않으면 이 필드를 false로 설정합니다. 예를 들면 다음과 같습니다.

stackdriver:
  enableVPC: false

stackdriver.serviceAccountKeyPath

문자열. 로깅 모니터링 서비스 계정의 JSON 키 파일 경로입니다. 예를 들면 다음과 같습니다.

stackdriver:
  serviceAccountKeyPath: "my-key-folder/log-mon-key.json"

cloudAuditLogging

클러스터의 Kubernetes API 서버의 감사 로그를 Cloud 감사 로그와 통합하려면 이 섹션을 입력합니다. 그러지 않으면 이 섹션을 삭제하세요.

cloudAuditLogging.projectID

문자열. 감사 로그를 보려는 Google Cloud 프로젝트의 프로젝트 ID입니다. 예를 들면 다음과 같습니다.

cloudAuditLogging:
  projectID: "my-audit-project"

cloudAuditLogging.clusterLocation

문자열. 감사 로그를 저장할 Google Cloud 리전입니다. 온프렘 데이터 센터와 가까운 리전을 선택하는 것이 좋습니다. 예를 들면 다음과 같습니다.

cloudAuditLogging:
  clusterLocation: "us-central1"

cloudAuditLogging.serviceAccountKeyPath

문자열. 감사 로깅 서비스 계정의 JSON 키 파일 경로입니다. 예를 들면 다음과 같습니다.

cloudAuditLogging:
  serviceAccountKeyPath: "my-key-folder/audit-log-key.json"

autoRepair.enabled

부울. 노드 자동 복구를 사용 설정하려면 이 값을 true로 설정합니다. 그렇지 않으면 false로 설정합니다. 예를 들면 다음과 같습니다.

autoRepair:
  enabled: true