이 페이지에서는 VMware용 Anthos 클러스터(GKE On-Prem)의 프록시 및 방화벽 규칙을 설정하는 방법을 설명합니다.
프록시 허용 목록에 주소 추가
조직에서 프록시 서버를 통과하도록 아웃바운드 트래픽이 필요하면 프록시 서버에서 다음 주소를 허용 목록에 추가합니다. googleapis.com
대신 www.googleapis.com
이 필요합니다.
- dl.google.com(Google Cloud SDK 설치 프로그램에서 필요)
- gcr.io
- www.googleapis.com
- accounts.google.com
- cloudresourcemanager.googleapis.com
- container.googleapis.com
- gkeconnect.googleapis.com
- gkehub.googleapis.com
- iam.googleapis.com
- iamcredentials.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- oauth2.googleapis.com
- opsconfigmonitoring.googleapis.com
- securetoken.googleapis.com
- servicecontrol.googleapis.com
- serviceusage.googleapis.com
- storage.googleapis.com
- sts.googleapis.com
- checkpoint-api.hashicorp.com
- releases.hashicorp.com (선택사항. Terraform을 사용하여 관리자 워크스테이션을 만드는 경우에만 필요합니다.)
gkeadm
을 사용하여 Anthos cluster on VMware를 설치할 경우 위의 hashicorp URL을 허용 목록에 추가할 필요가 없습니다.
또한 vCenter Server에 외부 IP 주소가 있으면 프록시 서버에서 주소를 허용 목록에 추가합니다.
방화벽 규칙
다음 트래픽을 허용하도록 방화벽 규칙을 설정합니다.
관리자 클러스터에서 사용할 수 있는 IP 주소에 대한 방화벽 규칙
관리자 클러스터에서 사용할 수 있는 IP 주소는 IP 블록 파일에 나열됩니다. 이러한 IP 주소는 관리자 클러스터 제어 영역 노드, 관리자 클러스터 부가기능 노드, 사용자 클러스터 제어 영역 노드에 사용됩니다. 관리자 클러스터의 IP 주소는 특정 노드에 할당되지 않기 때문에 다음 표에 나열된 모든 방화벽 규칙이 관리자 클러스터에서 사용 가능한 모든 IP 주소에 적용되는지 확인해야 합니다.
시작일 |
소스 포트 |
종료일 |
포트 |
프로토콜 |
설명 |
---|---|---|---|---|---|
관리자 클러스터 제어 영역 노드 |
1024 - 65535 |
vCenter Server API |
443 |
TCP/https |
클러스터 크기 조절 |
관리자 클러스터 부가기능 노드 |
1024 - 65535 |
vCenter Server API |
443 |
TCP/https |
사용자 클러스터 수명 주기 관리 |
사용자 클러스터 제어 영역 노드 |
1024 - 65535 |
vCenter Server API |
443 |
TCP/https |
클러스터 크기 조절 |
사용자 클러스터 제어 영역 노드 |
1024 - 65535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com gkehub.googleapis.com |
443 |
TCP/https |
허브 등록을 위해 액세스 권한이 필요합니다. |
관리자 클러스터 부가기능 노드에서 실행되는 Cloud Logging 수집기 |
1024 - 65535 |
oauth2.googleapis.com logging.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com |
443 |
TCP/https |
|
관리자 클러스터 부가기능 노드에서 실행되는 Cloud Metadata 수집기 |
1024 - 65535 |
opsconfigmonitoring.googleapis.com |
443 |
TCP/https |
|
관리자 클러스터 부가기능 노드에서 실행되는 Cloud Monitoring 수집기 |
1024 - 65535 |
oauth2.googleapis.com monitoring.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com |
443 |
TCP/https |
|
관리자 클러스터 제어 영역 노드 |
1024 - 65535 |
F5 BIG-IP API |
443 |
TCP/https |
|
사용자 클러스터 제어 영역 노드 |
1024 - 65535 |
F5 BIG-IP API |
443 |
TCP/https |
|
관리자 클러스터 제어 영역 노드 |
1024 - 65535 |
온프레미스 로컬 Docker 레지스트리 |
레지스트리에 따라 달라집니다. |
TCP/https |
Anthos clusters on VMware가 gcr.io 대신 로컬 비공개 Docker 레지스트리를 사용하도록 구성된 경우에 필요합니다. |
사용자 클러스터 제어 영역 노드 |
1024 - 65535 |
온프레미스 로컬 Docker 레지스트리 |
레지스트리에 따라 달라집니다. |
TCP/https |
Anthos clusters on VMware가 gcr.io 대신 로컬 비공개 Docker 레지스트리를 사용하도록 구성된 경우에 필요합니다. |
관리자 클러스터 제어 영역 노드 |
1024 - 65535 |
gcr.io oauth2.googleapis.com storage.googleapis.com 관리자 클러스터에 사용 설정된 서비스에 필요한 모든 *.googleapis.com URL |
443 |
TCP/https |
공개 Docker 레지스트리에서 이미지 다운로드 비공개 Docker 레지스트리를 사용하는 경우에는 필요하지 않습니다. |
사용자 클러스터 제어 영역 노드 |
1024 - 65535 |
gcr.io oauth2.googleapis.com storage.googleapis.com 관리자 클러스터에 사용 설정된 서비스에 필요한 모든 *.googleapis.com URL |
443 |
TCP/https |
공개 Docker 레지스트리에서 이미지 다운로드 비공개 Docker 레지스트리를 사용하는 경우에는 필요하지 않습니다. |
관리자 클러스터 워커 노드 |
1024 - 65535 |
관리자 클러스터 워커 노드 |
전체 |
179 - bgp 443 - https 5473 - Calico/Typha 9443 - Envoy 측정항목 10250 - kubelet 노드 포트 |
모든 워커 노드는 인접한 레이어-2이고 방화벽이 없어야 합니다. |
관리자 클러스터 노드 |
1024 - 65535 |
관리자 클러스터 pod CIDR |
전체 |
모두 |
외부 트래픽은 첫 번째 노드에서 SNAT되고 포드 IP로 전송됩니다. |
관리자 클러스터 워커 노드 |
모두 |
사용자 클러스터 노드 |
22 |
ssh |
SSH 터널을 통한 kubelet 통신에 대한 API 서버 |
관리자 클러스터 노드 |
1024 - 65535 |
관리자 클러스터의 Seesaw LB VM IP |
20255,20257 |
TCP/http |
LB 구성 푸시 및 측정항목 모니터링. 번들로 묶인 LB Seesaw를 사용하는 경우에만 필요합니다. |
사용자 클러스터 노드의 방화벽 규칙
사용자 클러스터 노드에서 해당 IP 주소는 IP 블록 파일에 나열됩니다.
관리자 클러스터 노드와 마찬가지로 어떤 노드에 어떤 IP 주소가 사용될지는 알 수 없습니다. 따라서 사용자 클러스터 노드의 모든 규칙이 각 사용자 클러스터 노드에 적용됩니다.
시작일 |
소스 포트 |
종료일 |
포트 |
프로토콜 |
설명 |
---|---|---|---|---|---|
사용자 클러스터 워커 노드 |
모두 |
gcr.io oauth2.googleapis.com storage.googleapis.com 이 클러스터에 사용 설정된 서비스에 필요한 모든 *.googleapis.com URL |
443 |
TCP/https |
공개 Docker 레지스트리에서 이미지 다운로드 비공개 Docker 레지스트리를 사용하는 경우에는 필요하지 않습니다. |
사용자 클러스터 워커 노드 |
모두 |
F5 BIG-IP API |
443 |
TCP/https |
|
사용자 클러스터 워커 노드 |
모두 |
관리자 클러스터에서 실행되는 pushprox 서버의 VIP입니다. |
8443 |
TCP/https |
Prometheus 트래픽 |
사용자 클러스터 워커 노드 |
모두 |
사용자 클러스터 워커 노드 |
전체 |
22 - ssh 179 - bgp 443 - https 5473 - calico-typha 9443 - envoy 측정항목 10250 - kubelet 노드 포트' |
모든 워커 노드는 인접한 레이어-2이고 방화벽이 없어야 합니다. |
사용자 클러스터 워커 노드 |
전체 |
사용자 제어 영역 VIP |
443 |
TCP/https |
|
사용자 클러스터 노드 |
1024 - 65535 |
사용자 클러스터 pod CIDR |
전체 |
모두 |
외부 트래픽은 첫 번째 노드에서 SNAT되고 포드 IP로 전송됩니다. |
임의 사용자 클러스터 워커 노드에서 실행되는 Cloud Logging 수집기 |
1024 - 65535 |
oauth2.googleapis.com logging.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com www.googleapis.com |
443 |
TCP/https |
|
임의 사용자 클러스터 워커 노드에서 실행되는 Connect Agent입니다. |
1024 - 65535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com gkehub.googleapis.com www.googleapis.com iam.googleapis.com iamcredentials.googleapis.com oauth2.googleapis.com securetoken.googleapis.com sts.googleapis.com accounts.google.com |
443 |
TCP/https |
트래픽 연결 |
임의 사용자 클러스터 워커 노드에서 실행되는 Cloud Metadata 수집기 |
1024 - 65535 |
opsconfigmonitoring.googleapis.com |
443 |
TCP/https |
|
임의 사용자 클러스터 워커 노드에서 실행되는 Cloud Monitoring 수집기 |
1024 - 65535 |
oauth2.googleapis.com Monitoring.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com |
443 |
TCP/https |
|
사용자 클러스터 노드 |
1024 - 65535 |
사용자 클러스터의 Seesaw LB VM IP |
20255,20257 |
TCP/http |
LB 구성 푸시 및 측정항목 모니터링. 번들로 묶인 LB Seesaw를 사용하는 경우에만 필요합니다. |
사용자 클러스터 네트워크 |
모두 |
사용자 클러스터 제어 영역 VIP |
443 |
TCP/https |
나머지 구성요소의 방화벽 규칙
이러한 규칙은 관리자 클러스터 및 사용자 클러스터 노드의 표에 나열되지 않은 다른 모든 구성요소에 적용됩니다.
시작일 |
소스 포트 |
종료일 |
포트 |
프로토콜 |
설명 |
---|---|---|---|---|---|
관리자 클러스터 pod CIDR |
1024 - 65535 |
관리자 클러스터 pod CIDR |
전체 |
모두 |
pod 간 트래픽은 Pod CIDR 내에서 소스 및 대상 IP를 사용하여 직접 L2 전달을 수행합니다. |
관리자 클러스터 pod CIDR |
1024 - 65535 |
관리자 클러스터 노드 |
전체 |
모두 |
외부 트래픽의 트래픽을 반환합니다. |
사용자 클러스터 pod CIDR |
1024 - 65535 |
사용자 클러스터 pod CIDR |
전체 |
모두 |
pod 간 트래픽은 Pod CIDR 내에서 소스 및 대상 IP를 사용하여 직접 L2 전달을 수행합니다. |
사용자 클러스터 pod CIDR |
1024 - 65535 |
사용자 클러스터 노드 |
전체 |
모두 |
외부 트래픽의 트래픽을 반환합니다. |
클라이언트 및 애플리케이션 최종 사용자 |
모두 |
Istio 인그레스 VIP |
80, 443 |
TCP |
사용자 클러스터의 인그레스 서비스에 대한 최종 사용자 트래픽 |
서버를 건너뛰어 관리 워크스테이션 배포 |
임시 포트 범위 |
checkpoint-api.hashicorp.com releases.hashicorp.com vCenter Server API 대상 클러스터의 호스트 ESXi VMkernel(mgt) IP |
443 |
TCP/https |
관리 워크스테이션의 Terraform 배포 (선택사항 Terraform을 사용하여 관리자 워크스테이션을 만드는 경우에만 필요합니다.) |
관리 워크스테이션 |
32768 - 60999 |
gcr.io cloudresourcemanager.googleapis.com oauth2.googleapis.com storage.googleapis.com 이 클러스터에 사용 설정된 서비스에 필요한 모든 *.googleapis.com URL |
443 |
TCP/https |
공개 Docker 레지스트리에서 Docker 이미지 다운로드 |
관리 워크스테이션 |
32768 - 60999 |
gcr.io cloudresourcemanager.googleapis.com iam.googleapis.com oauth2.googleapis.com serviceusage.googleapis.com storage.googleapis.com 관리자 또는 사용자 클러스터에 사용 설정된 서비스에 필요한 모든 *.googleapis.com URL |
443 |
TCP/https |
실행 전 검사(유효성 검사) |
관리 워크스테이션 |
32768 - 60999 |
vCenter Server API F5 BIG-IP API |
443 |
TCP/https |
클러스터 부트스트랩 |
관리 워크스테이션 |
32768 - 60999 |
대상 클러스터에 있는 호스트의 ESXi VMkernel(mgt) IP |
443 |
TCP/https |
관리 워크스테이션이 ESXi 호스트를 통해 OVA를 Datastore에 업로드합니다. |
관리 워크스테이션 |
32768 - 60999 |
관리자 클러스터 제어 영역 VM의 노드 IP |
443 |
TCP/https |
클러스터 부트스트랩 |
관리 워크스테이션 |
32768 - 60999 |
관리자 클러스터의 Kubernetes API 서버 VIP 사용자 클러스터의 Kubernetes API 서버 VIP |
443 |
TCP/https |
클러스터 부트스트랩 사용자 클러스터 삭제 |
관리 워크스테이션 |
32768 - 60999 |
관리자 클러스터 제어 영역 노드 및 워커 노드 |
443 |
TCP/https |
클러스터 부트스트랩 제어 영역 업그레이드 |
관리 워크스테이션 |
32768 - 60999 |
모든 관리자 클러스터 노드 및 모든 사용자 클러스터 노드 |
443 |
TCP/https |
|
관리 워크스테이션 |
32768 - 60999 |
관리자 클러스터 Istio 인그레스의 VIP 사용자 클러스터 Istio 인그레스의 VIP |
443 |
TCP/https |
|
관리 워크스테이션 |
32768 - 60999 |
관리자 클러스터와 사용자 클러스터 모두의 Seesaw LB VM IP 관리자 클러스터와 사용자 클러스터 모두의 Seesaw LB VIP |
20256,20258 |
TCP/http/gRPC |
LB 상태 확인. 번들로 묶인 LB Seesaw를 사용하는 경우에만 필요합니다. |
관리 워크스테이션 |
32768 - 60999 |
클러스터 제어 영역의 노드 IP |
22 |
TCP |
관리 워크스테이션에서 관리자 클러스터 제어 영역의 SSH 액세스가 필요한 경우 필수입니다. |
LB VM IP |
32768 - 60999 |
해당 클러스터의 노드 IP |
10256: 노드 상태 확인 |
TCP/http |
노드 상태 확인 healthCheckNodePort는 externalTrafficPolicy가 로컬로 설정된 서비스용입니다. 번들로 묶인 LB Seesaw를 사용하는 경우에만 필요합니다. |
F5 Self-IP |
1024 - 65535 |
모든 관리자 클러스터와 사용자 클러스터 노드 |
30000~32767 |
모두 |
F5 BIG-IP가 가상 서버 VIP를 통해 Kubernetes 클러스터 노드의 노드 포트로 부하를 분산하는 데이터 영역 트래픽의 경우. 일반적으로 F5 self-ip는 Kubernetes 클러스터 노드와 동일한 네트워크/서브넷에 있습니다. |