버전 1.6. 이 버전은 Anthos 버전 지원 정책에 설명된 대로 더 이상 지원되지 않습니다. VMware용 Anthos 클러스터(GKE On-Prem)에 영향을 미치는 보안 취약점, 노출, 문제에 대한 최신 패치와 업데이트를 확인하려면 지원되는 버전으로 업그레이드하세요. 최신 버전은 여기에서 확인할 수 있습니다.

사용 가능한 버전

프록시 및 방화벽 규칙

이 페이지에서는 VMware용 Anthos 클러스터(GKE On-Prem)의 프록시 및 방화벽 규칙을 설정하는 방법을 설명합니다.

프록시 허용 목록에 주소 추가

조직에서 프록시 서버를 통과하도록 아웃바운드 트래픽이 필요하면 프록시 서버에서 다음 주소를 허용 목록에 추가합니다. googleapis.com 대신 www.googleapis.com이 필요합니다.

dl.google.com(Google Cloud SDK 설치 프로그램에서 필요)
gcr.io
www.googleapis.com
accounts.google.com
cloudresourcemanager.googleapis.com
container.googleapis.com
gkeconnect.googleapis.com
gkehub.googleapis.com
iam.googleapis.com
iamcredentials.googleapis.com
logging.googleapis.com
monitoring.googleapis.com
oauth2.googleapis.com
securetoken.googleapis.com
servicecontrol.googleapis.com
serviceusage.googleapis.com
storage.googleapis.com
sts.googleapis.com
checkpoint-api.hashicorp.com
releases.hashicorp.com (선택사항. Terraform을 사용하여 관리자 워크스테이션을 만드는 경우에만 필요합니다.)

gkeadm을 사용하여 Anthos cluster on VMware를 설치할 경우 위의 hashicorp URL을 허용 목록에 추가할 필요가 없습니다.

또한 vCenter Server에 외부 IP 주소가 있으면 프록시 서버에서 주소를 허용 목록에 추가합니다.

방화벽 규칙

다음 트래픽을 허용하도록 방화벽 규칙을 설정합니다.

관리자 클러스터에서 사용할 수 있는 IP 주소에 대한 방화벽 규칙

관리자 클러스터에서 사용할 수 있는 IP 주소는 IP 블록 파일에 나열됩니다. 이러한 IP 주소는 관리자 클러스터 제어 영역 노드, 관리자 클러스터 부가기능 노드, 사용자 클러스터 제어 영역 노드에 사용됩니다. 관리자 클러스터의 IP 주소는 특정 노드에 할당되지 않기 때문에 다음 표에 나열된 모든 방화벽 규칙이 관리자 클러스터에서 사용 가능한 모든 IP 주소에 적용되는지 확인해야 합니다.

시작일	소스 포트	종료일	포트	프로토콜	설명
관리자 클러스터 제어 영역 노드	1024 - 65535	vCenter Server API	443	TCP/https	클러스터 크기 조절
관리자 클러스터 부가기능 노드	1024 - 65535	vCenter Server API	443	TCP/https	사용자 클러스터 수명 주기 관리
사용자 클러스터 제어 영역 노드	1024 - 65535	vCenter Server API	443	TCP/https	클러스터 크기 조절
관리자 클러스터 부가기능 노드에서 실행되는 Cloud Logging 수집기	1024 - 65535	oauth2.googleapis.com logging.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com	443	TCP/https
관리자 클러스터 부가기능 노드에서 실행되는 Cloud Monitoring 수집기	1024 - 65535	oauth2.googleapis.com monitoring.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com	443	TCP/https
관리자 클러스터 제어 영역 노드	1024 - 65535	F5 BIG-IP API	443	TCP/https
사용자 클러스터 제어 영역 노드	1024 - 65535	F5 BIG-IP API	443	TCP/https
관리자 클러스터 제어 영역 노드	1024 - 65535	온프레미스 로컬 Docker 레지스트리	레지스트리에 따라 달라집니다.	TCP/https	Anthos clusters on VMware가 gcr.io 대신 로컬 비공개 Docker 레지스트리를 사용하도록 구성된 경우에 필요합니다.
사용자 클러스터 제어 영역 노드	1024 - 65535	온프레미스 로컬 Docker 레지스트리	레지스트리에 따라 달라집니다.	TCP/https	Anthos clusters on VMware가 gcr.io 대신 로컬 비공개 Docker 레지스트리를 사용하도록 구성된 경우에 필요합니다.
관리자 클러스터 제어 영역 노드	1024 - 65535	gcr.io oauth2.googleapis.com storage.googleapis.com 관리자 클러스터에 사용 설정된 서비스에 필요한 모든 *.googleapis.com URL	443	TCP/https	공개 Docker 레지스트리에서 이미지 다운로드 비공개 Docker 레지스트리를 사용하는 경우에는 필요하지 않습니다.
사용자 클러스터 제어 영역 노드	1024 - 65535	gcr.io oauth2.googleapis.com storage.googleapis.com 관리자 클러스터에 사용 설정된 서비스에 필요한 모든 *.googleapis.com URL	443	TCP/https	공개 Docker 레지스트리에서 이미지 다운로드 비공개 Docker 레지스트리를 사용하는 경우에는 필요하지 않습니다.
관리자 클러스터 워커 노드	1024 - 65535	관리자 클러스터 워커 노드	전체	179 - bgp 443 - https 5473 - Calico/Typha 9443 - Envoy 측정항목 10250 - kubelet 노드 포트	모든 워커 노드는 인접한 레이어-2이고 방화벽이 없어야 합니다.
관리자 클러스터 노드	1024 - 65535	관리자 클러스터 pod CIDR	전체	모두	외부 트래픽은 첫 번째 노드에서 SNAT되고 pod IP로 전송됩니다.
관리자 클러스터 워커 노드	전체	사용자 클러스터 노드	22	ssh	SSH 터널을 통한 kubelet 통신에 대한 API 서버
관리자 클러스터 노드	1024 - 65535	관리자 클러스터의 Seesaw LB VM IP	20255,20257	TCP/http	LB 구성 푸시 및 측정항목 모니터링. 번들로 묶인 LB Seesaw를 사용하는 경우에만 필요합니다.

사용자 클러스터 노드의 방화벽 규칙

사용자 클러스터 노드에서 해당 IP 주소는 IP 블록 파일에 나열됩니다.

관리자 클러스터 노드와 마찬가지로 어떤 노드에 어떤 IP 주소가 사용될지는 알 수 없습니다. 따라서 사용자 클러스터 노드의 모든 규칙이 각 사용자 클러스터 노드에 적용됩니다.

시작일	소스 포트	종료일	포트	프로토콜	설명
사용자 클러스터 워커 노드	전체	gcr.io oauth2.googleapis.com storage.googleapis.com 이 클러스터에 사용 설정된 서비스에 필요한 모든 *.googleapis.com URL	443	TCP/https	공개 Docker 레지스트리에서 이미지 다운로드 비공개 Docker 레지스트리를 사용하는 경우에는 필요하지 않습니다.
사용자 클러스터 워커 노드	전체	F5 BIG-IP API	443	TCP/https
사용자 클러스터 워커 노드	전체	관리자 클러스터에서 실행되는 pushprox 서버의 VIP입니다.	8443	TCP/https	Prometheus 트래픽
사용자 클러스터 워커 노드	전체	사용자 클러스터 워커 노드	전체	22 - ssh 179 - bgp 443 - https 5473 - calico-typha 9443 - envoy 측정항목 10250 - kubelet 노드 포트'	모든 워커 노드는 인접한 레이어-2이고 방화벽이 없어야 합니다.
사용자 클러스터 노드	1024 - 65535	사용자 클러스터 pod CIDR	전체	모두	외부 트래픽은 첫 번째 노드에서 SNAT되고 pod IP로 전송됩니다.
임의 사용자 클러스터 워커 노드에서 실행되는 Cloud Logging 수집기	1024 - 65535	oauth2.googleapis.com logging.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com www.googleapis.com	443	TCP/https
임의 사용자 클러스터 워커 노드에서 실행되는 Connect Agent입니다.	1024 - 65535	cloudresourcemanager.googleapis.com gkeconnect.googleapis.com gkehub.googleapis.com www.googleapis.com iam.googleapis.com iamcredentials.googleapis.com oauth2.googleapis.com securetoken.googleapis.com sts.googleapis.com accounts.google.com	443	TCP/https	트래픽 연결
임의 사용자 클러스터 워커 노드에서 실행되는 Cloud Monitoring 수집기	1024 - 65535	oauth2.googleapis.com Monitoring.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com	443	TCP/https
사용자 클러스터 노드	1024 - 65535	사용자 클러스터의 Seesaw LB VM IP	20255,20257	TCP/http	LB 구성 푸시 및 측정항목 모니터링. 번들로 묶인 LB Seesaw를 사용하는 경우에만 필요합니다.

나머지 구성요소의 방화벽 규칙

이러한 규칙은 관리자 클러스터 및 사용자 클러스터 노드의 표에 나열되지 않은 다른 모든 구성요소에 적용됩니다.

시작일	소스 포트	종료일	포트	프로토콜	설명
관리자 클러스터 pod CIDR	1024 - 65535	관리자 클러스터 pod CIDR	전체	모두	pod 간 트래픽은 Pod CIDR 내에서 소스 및 대상 IP를 사용하여 직접 L2 전달을 수행합니다.
관리자 클러스터 pod CIDR	1024 - 65535	관리자 클러스터 노드	전체	모두	외부 트래픽의 트래픽을 반환합니다.
사용자 클러스터 pod CIDR	1024 - 65535	사용자 클러스터 pod CIDR	전체	모두	pod 간 트래픽은 Pod CIDR 내에서 소스 및 대상 IP를 사용하여 직접 L2 전달을 수행합니다.
사용자 클러스터 pod CIDR	1024 - 65535	사용자 클러스터 노드	전체	모두	외부 트래픽의 트래픽을 반환합니다.
클라이언트 및 애플리케이션 최종 사용자	전체	Istio 인그레스 VIP	80, 443	TCP	사용자 클러스터의 인그레스 서비스에 대한 최종 사용자 트래픽
서버를 건너뛰어 관리 워크스테이션 배포	임시 포트 범위	checkpoint-api.hashicorp.com releases.hashicorp.com vCenter Server API 대상 클러스터의 호스트 ESXi VMkernel(mgt) IP	443	TCP/https	관리 워크스테이션의 Terraform 배포 (선택사항 Terraform을 사용하여 관리자 워크스테이션을 만드는 경우에만 필요합니다.) `cat /proc/sys/net/ipv4/ip_local_port_range`에서 임시 포트 범위를 확인합니다.
관리 워크스테이션	32768 - 60999	gcr.io cloudresourcemanager.googleapis.com oauth2.googleapis.com storage.googleapis.com 이 클러스터에 사용 설정된 서비스에 필요한 모든 *.googleapis.com URL	443	TCP/https	공개 Docker 레지스트리에서 Docker 이미지 다운로드
관리 워크스테이션	32768 - 60999	gcr.io cloudresourcemanager.googleapis.com iam.googleapis.com oauth2.googleapis.com serviceusage.googleapis.com storage.googleapis.com 관리자 또는 사용자 클러스터에 사용 설정된 서비스에 필요한 모든 *.googleapis.com URL	443	TCP/https	실행 전 검사(유효성 검사)
관리 워크스테이션	32768 - 60999	vCenter Server API F5 BIG-IP API	443	TCP/https	클러스터 부트스트랩
관리 워크스테이션	32768 - 60999	대상 클러스터에 있는 호스트의 ESXi VMkernel(mgt) IP	443	TCP/https	관리 워크스테이션이 ESXi 호스트를 통해 OVA를 Datastore에 업로드합니다.
관리 워크스테이션	32768 - 60999	관리자 클러스터 제어 영역 VM의 노드 IP	443	TCP/https	클러스터 부트스트랩
관리 워크스테이션	32768 - 60999	관리자 클러스터의 Kubernetes API 서버 VIP 사용자 클러스터의 Kubernetes API 서버 VIP	443	TCP/https	클러스터 부트스트랩 사용자 클러스터 삭제
관리 워크스테이션	32768 - 60999	관리자 클러스터 제어 영역 노드 및 워커 노드	443	TCP/https	클러스터 부트스트랩 제어 영역 업그레이드
관리 워크스테이션	32768 - 60999	모든 관리자 클러스터 노드 및 모든 사용자 클러스터 노드	443	TCP/https	`gkectl check-config` 명령어 일부로 네트워크 유효성 검사
관리 워크스테이션	32768 - 60999	관리자 클러스터 Istio 인그레스의 VIP 사용자 클러스터 Istio 인그레스의 VIP	443	TCP/https	`gkectl check-config` 명령어 일부로 네트워크 유효성 검사
관리 워크스테이션	32768 - 60999	관리자 클러스터와 사용자 클러스터 모두의 Seesaw LB VM IP 관리자 클러스터와 사용자 클러스터 모두의 Seesaw LB VIP	20256,20258	TCP/http/gRPC	LB 상태 확인. 번들로 묶인 LB Seesaw를 사용하는 경우에만 필요합니다.
관리 워크스테이션	32768 - 60999	클러스터 제어 영역의 노드 IP	22	TCP	관리 워크스테이션에서 관리자 클러스터 제어 영역의 SSH 액세스가 필요한 경우 필수입니다.
LB VM IP	32768 - 60999	해당 클러스터의 노드 IP	10256: 노드 상태 확인 30000 - 32767: healthCheckNodePort	TCP/http	노드 상태 확인 healthCheckNodePort는 externalTrafficPolicy가 로컬로 설정된 서비스용입니다. 번들로 묶인 LB Seesaw를 사용하는 경우에만 필요합니다.
F5 Self-IP	1024 - 65535	모든 관리자 클러스터와 사용자 클러스터 노드	30000~32767	모두	F5 BIG-IP가 가상 서버 VIP를 통해 Kubernetes 클러스터 노드의 노드 포트로 부하를 분산하는 데이터 영역 트래픽의 경우. 일반적으로 F5 self-ip는 Kubernetes 클러스터 노드와 동일한 네트워크/서브넷에 있습니다.