GKE On-Prem에는 다음이 필요합니다.
- vSphere 6.5, vCenter 6.5, vSphere ESXI 6.5가 포함된 VMware vSphere 6.5 환경입니다.
- 레이어 4 네트워크 부하 분산기. 기본적으로 GKE On-Prem은 F5 BIG-IP 버전 12.x 또는 13.x와 통합됩니다. 수동 부하 분산을 사용 설정하고 자체 L4 부하 분산기를 사용할 수도 있습니다.
시작하기 전에 GKE On-Prem 개요를 읽어보세요.
하드웨어 요구사항
GKE On-Prem을 사용하면 다양한 하드웨어 옵션 중에서 선택할 수 있습니다. vSphere에서 상속된 하드웨어 요구사항에 대해 알아보려면 VMware/vSphere 6.5 하드웨어 사양을 참조하세요.
Google은 검증된 하드웨어 솔루션을 제공하기 위해 여러 OEM 파트너와 협력하고 있습니다. 이러한 파트너의 옵션을 선택하면 알려진 작업 솔루션과 협업 지원의 이점을 모두 얻을 수 있습니다. 협업 지원을 통해 Google과 파트너는 공동으로 협력하여 설치 문제를 해결할 수 있습니다.
현재 OEM 파트너에는 다음이 포함됩니다. 새로운 플랫폼과 파트너가 Anthos 솔루션 제품군에 합류하면 목록이 업데이트됩니다.
- Cisco
- Dell
- HPE
- Intel
- Lenovo
vSphere 요구사항
GKE On-Prem을 VMware vSphere 6.5 환경에 설치합니다. vSphere 설치에 대한 자세한 내용은 VMware 문서의 vSphere 설치 및 설정 프로세스 개요를 참조하세요.
vSphere 6.5에는 다음 구성요소가 포함되어 있습니다.
GKE On-Prem에서 사용할 기존 vSphere 설치를 구성하는 방법은 아래 섹션을 참조하세요.
라이선스 에디션 및 버전 요구사항
현재 GKE On-Prem에는 VMware vSphere 6.5가 필요합니다. 특히 라이선스가 부여된 다음의 VMware 제품이 필요합니다.
- 데이터 센터의 각 호스트에 설치된 VMware ESXI 6.5(Enterprise Plus 라이선스 에디션 포함).
- 데이터 센터의 한 호스트에 설치된 VMware vCenter 6.5(표준 라이선스 에디션 포함).
자세한 내용은 다음 VMware 리소스를 참조하세요.
vCenter 사용자 계정 권한
GKE On-Prem 클러스터를 설치하는 데 사용하는 vSphere 사용자 계정에 충분한 권한이 있어야 합니다. vCenter의 관리자 역할은 사용자에게 모든 vCenter 객체에 대한 완전한 액세스 권한을 제공합니다.
또는 아래 표에 설명된 필요한 최소한의 권한으로 커스텀 역할을 만들 수 있습니다.
권한을 관리하는 방법은 vCenter 구성요소의 권한 관리를 참조하세요.
설치 중에 생성되는 가상 머신
새로 설치하는 동안 GKE On-Prem은 vSphere에 여러 가상 머신(VM 또는 '노드')을 만듭니다. 다음 표에서는 이러한 VM의 사양과 용도를 설명합니다.
또한 GKE On-Prem은 관리자 클러스터의 데이터를 저장할 100GB의 영구 디스크를 만듭니다.
관리자 클러스터
| 이름 | 시스템 프리픽스 | 구성 필드 | 사양 | 용도 |
|---|---|---|---|---|
| 관리자 클러스터 제어 영역 | gke-admin-master |
해당 없음 |
|
관리자 클러스터에서 관리 제어 영역을 실행합니다. |
| 부가기능 VM | gke-admin-node |
해당 없음 |
다음 사양으로 실행되는 두 개의 VM
|
관리자 클러스터에서 관리 제어 영역의 부가기능을 실행합니다. |
| 사용자 클러스터 제어 영역 | [USER_CLUSTER_NAME]-user-N |
usercluster.masternode |
|
각 사용자 클러스터에는 자체 제어 영역이 있습니다. 사용자 제어 영역 VM은 관리자 클러스터에서 실행됩니다. 1개 또는 3개의 사용자 제어 영역을 만들도록 선택할 수 있습니다. 3개의 사용자 제어 영역을 만들도록 선택하면 GKE On-Prem은 이러한 사양으로 제어 영역별로 하나씩 3개의 VM을 만듭니다. |
사용자 클러스터
| 이름 | 시스템 프리픽스 | 구성 필드 | 사양 | 용도 |
|---|---|---|---|---|
| 사용자 클러스터 워커 노드 | [USER_CLUSTER_NAME]-user |
usercluster.workernode |
다음은 사용자 클러스터 워커 노드의 기본값입니다.
|
사용자 클러스터 '노드'( '머신'이라고도 함)는 워크로드가 실행되는 가상 머신입니다. 사용자 클러스터를 만들 때 실행할 노드 수를 결정합니다. 각 노드에 필요한 구성은 실행 중인 워크로드에 따라 다릅니다. 만들 수 있는 최대 클러스터 및 노드 수에 대한 자세한 내용은 할당량 및 한도를 참조하세요. 기존 사용자 클러스터에서 VM을 추가하거나 삭제할 수 있습니다. 클러스터 크기 조절을 참조하세요. |
관리자 및 사용자 클러스터의 PersistentVolumeClaim
vSphere Datastore에는 관리자 및 사용자 클러스터에서 Prometheus 및 Google Cloud 운영 제품군에서 만든 PersistentVolumeClaim(PVC)을 수행할 수 있는 공간이 있어야 합니다. 예를 들어 Prometheus는 며칠의 측정항목을 저장하기에 충분한 스토리지가 필요하며, Google Cloud 운영 제품군은 네트워크 중단 시 로그를 버퍼할 저장용량이 필요합니다.
각 클러스터에는 다음과 같은 PVC가 있습니다.
- 로컬 Prometheus StatefulSet: 250GiB * 복제본 2개 = 500GiB
- Stackdriver Prometheus StatefulSet: 250GiB * 복제본 1개 = 250GiB
- 로그 애그리게이터 StatefulSet: 100GiB * 복제본 2개 = 200GiB
네트워크 시간 프로토콜
vSphere 환경의 모든 VM은 동일한 네트워크 시간 프로토콜(NTP) 서버를 사용해야 합니다.
관리 워크스테이션 및 클러스터 노드가 고정 IP 주소를 사용하는 경우 hostconfig파일의 tod 필드에서 NTP 서버의 IP 주소를 지정해야 합니다.
관리 워크스테이션 및 클러스터 노드가 DHCP 서버에서 IP 주소를 가져오는 경우 NTP 서버의 주소를 제공하도록 DHCP 서버를 구성할 수 있습니다. DHCP가 NTP 서버를 지정하지 않으면 GKE On-Prem은 기본적으로 ntp.ubuntu.com을 사용합니다.
부하 분산기 요구사항
GKE On-Prem에는 통합 및 수동의 두 가지 부하 분산 모드가 있습니다. 통합 모드는 F5 BIG-IP를 지원하고 수동 모드는 다음 부하 분산기를 지원합니다.
- Citrix
- Seesaw
어떤 부하 분산기를 선택하든 환경은 다음 네트워킹 요구사항을 충족해야 합니다.
부하 분산에 사용할 VIP 별도 설정
부하 분산에 사용할 VIP 몇 대를 별도로 설정해야 합니다. 다음의 각 목적으로 VIP를 별도로 설정합니다.
| 구성요소 | 설명 |
|---|---|
| 관리 제어 영역 | 관리자 클러스터의 Kubernetes API 서버에 액세스합니다. 관리자 클러스터의 kubeconfig 파일은 |
| 관리 제어 영역 부가기능 | 관리 제어 영역 부가기능 VM 간의 통신을 관리합니다. |
| 관리 제어 영역 인그레스 | 관리자 클러스터 내에서 실행되는 서비스와 상호작용하는 데 사용됩니다. Istio는 클러스터로의 인그레스를 관리하며 서비스는 외부 액세스용으로 명시적으로 구성해야 합니다. |
| 각 사용자 클러스터 제어 영역용 VIP | 각 사용자 클러스터의 Kubernetes API 서버에 대한 액세스 권한을 제공합니다. 각 사용자 클러스터의 kubeconfig 파일이 이러한 VIP 중 하나를 참조합니다. |
| 각 사용자 클러스터 인그레스 컨트롤러용 VIP | 사용자 클러스터에서 실행되는 서비스와 상호작용하는 데 사용됩니다. |
| 클러스터 업그레이드용 VIP | 클러스터 업그레이드 중에 GKE On-Prem에서 사용합니다. |
CIDR 차단 별도 설정
다음 범위에 대해 CIDR 차단을 별도로 설정해야 합니다.
범위 |
설명 |
|---|---|
Pod IP 범위 |
|
서비스 IP 범위 |
|
클러스터 수명 주기 이벤트를 위한 방화벽 열기
방화벽에서 다음 트래픽을 허용하도록 합니다. 별도로 명시되지 않는 한 기본 프로토콜은 TCP입니다.
시작 시간 |
종료 시간 |
수명 주기 이벤트 |
|---|---|---|
|
관리 제어 영역, 사용자 제어 영역, 사용자 클러스터 노드 |
*.googleapis.com에 대한 아웃바운드 액세스. Google Cloud Storage 및 Container Registry에 액세스할 수 있도록 Google 넷블록 IP 범위(포트 443)로 확인됩니다. |
|
|
관리 및 사용자 제어 영역 VM |
vCenter IP(포트 443) |
새 머신 추가 |
|
관리자 워크스테이션 VM |
vCenter IP(포트 443) |
클러스터 부트스트랩 |
|
관리자 워크스테이션 VM |
관리 및 사용자 제어 영역에 대한 SSH(포트 22) |
|
서비스 및 Pod 연결에 대한 요구사항 및 제약조건
GKE On-Prem을 준비하는 동안 다음 연결 영역을 고려하세요.
|
카테고리 |
요구사항/제약조건 |
|---|---|
|
라우팅 |
이러한 경우에는 vSphere VM이 서로 라우팅할 수 있어야 합니다. |
|
IP 범위 |
관리자 클러스터 및 만들려는 각 사용자 클러스터에 대해 2개의 개별 CIDR IPv4 블록(하나는 Pod IP용, 하나는 서비스 IP용)을 별도로 설정해야 합니다. |
|
SSL |
해당 없음 |
|
캡슐화 |
사용할 CNI 제공업체는 Calico입니다. |
클러스터의 요구사항 및 제약조건
GKE On-Prem 클러스터를 계획할 때 다음 사항을 고려하세요.
카테고리 |
요구사항/제약조건 |
|---|---|
라우팅 |
|
서비스 검색 가능 여부 |
HTTPS로 인그레스를 사용하는 사용자 클러스터별로 클러스터의 인그레스 컨트롤러에 대한 VIP를 가리키는 DNS 항목을 추가합니다. |
F5 BIG-IP 요구사항
F5 BIG-IP는 GKE On-Prem과 통합할 수 있으므로 권장됩니다. F5 BIG-IP 설치 방법을 알아보세요.
F5 BIG-IP 부하 분산기를 구성하려면 다음 안내를 따르세요.
F5 BIG-IP 사용자 계정 권한
GKE On-Prem에는 관리자 역할이 있는 F5 BIG-IP 사용자 계정이 필요합니다. F5의 사용자 역할 문서를 참조하세요.
설치하는 동안 GKE On-Prem에 F5 BIG-IP 사용자 인증 정보를 제공합니다. 제공하는 계정에는 F5 컨테이너 커넥터 사용자 가이드에 따라 관리자 역할이 있어야 합니다. 이 가이드에는 여기에는 "전체 기능을 제공하려면 BIG-IP 컨트롤러에 관리자 권한이 필요합니다."라고 명시되어 있습니다.F5 BIG-IP 파티션
미리 만들려는 클러스터마다 F5 BIG-IP 관리 파티션을 만들어야 합니다. 처음에는 2개 이상의 파티션을 만들어야 합니다. 하나는 관리자 클러스터용이고 다른 하나는 사용자 클러스터용입니다. F5의 사용자 액세스를 제어하도록 관리 파티션 구성 문서를 참조하세요.
연결된 클러스터 이외의 다른 항목에는 관리 파티션을 사용하지 마세요.