버전 1.9 이 버전은 Anthos 버전 지원 정책에 설명된 대로 지원되며 VMware용 Anthos 클러스터(GKE On-Prem)에 영향을 미치는 보안 취약점, 노출, 문제에 대한 최신 패치와 업데이트를 제공합니다. 자세한 내용은 출시 노트를 참조하세요. 이 버전은 최신 버전입니다.

프록시 및 방화벽 규칙

이 페이지에서는 VMware용 Anthos 클러스터(GKE On-Prem)의 프록시 및 방화벽 규칙을 설정하는 방법을 설명합니다.

프록시 허용 목록에 주소 추가

조직에서 프록시 서버를 통과하도록 아웃바운드 트래픽이 필요하면 프록시 서버에서 다음 주소를 허용 목록에 추가합니다. googleapis.com 대신 www.googleapis.com이 필요합니다.

  • dl.google.com(Google Cloud SDK 설치 프로그램에서 필요)
  • gcr.io
  • www.googleapis.com
  • accounts.google.com
  • cloudresourcemanager.googleapis.com
  • container.googleapis.com
  • gkeconnect.googleapis.com
  • gkehub.googleapis.com
  • iam.googleapis.com
  • iamcredentials.googleapis.com
  • logging.googleapis.com
  • monitoring.googleapis.com
  • oauth2.googleapis.com
  • opsconfigmonitoring.googleapis.com
  • securetoken.googleapis.com
  • servicecontrol.googleapis.com
  • serviceusage.googleapis.com
  • storage.googleapis.com
  • sts.googleapis.com
  • checkpoint-api.hashicorp.com
  • releases.hashicorp.com (선택사항. Terraform을 사용하여 관리자 워크스테이션을 만드는 경우에만 필요합니다.)

gkeadm을 사용하여 Anthos cluster on VMware를 설치할 경우 위의 hashicorp URL을 허용 목록에 추가할 필요가 없습니다.

또한 vCenter Server에 외부 IP 주소가 있으면 프록시 서버에서 주소를 허용 목록에 추가합니다.

방화벽 규칙

다음 트래픽을 허용하도록 방화벽 규칙을 설정합니다.

관리자 클러스터에서 사용할 수 있는 IP 주소에 대한 방화벽 규칙

관리자 클러스터에서 사용할 수 있는 IP 주소는 IP 블록 파일에 나열됩니다. 이러한 IP 주소는 관리자 클러스터 제어 영역 노드, 관리자 클러스터 부가기능 노드, 사용자 클러스터 제어 영역 노드에 사용됩니다. 관리자 클러스터의 IP 주소는 특정 노드에 할당되지 않기 때문에 다음 표에 나열된 모든 방화벽 규칙이 관리자 클러스터에서 사용 가능한 모든 IP 주소에 적용되는지 확인해야 합니다.

시작일

소스 포트

종료일

포트

프로토콜

설명

관리자 클러스터 제어 영역 노드

1024 - 65535

vCenter Server API

443

TCP/https

클러스터 크기 조절

관리자 클러스터 부가기능 노드

1024 - 65535

vCenter Server API

443

TCP/https

사용자 클러스터 수명 주기 관리

사용자 클러스터 제어 영역 노드

1024 - 65535

vCenter Server API

443

TCP/https

클러스터 크기 조절

사용자 클러스터 제어 영역 노드

1024 - 65535

cloudresourcemanager.googleapis.com
gkeconnect.googleapis.com
gkehub.googleapis.com

443

TCP/https

허브 등록을 위해 액세스 권한이 필요합니다.

관리자 클러스터 부가기능 노드에서 실행되는 Cloud Logging 수집기

1024 - 65535

oauth2.googleapis.com
logging.googleapis.com
stackdriver.googleapis.com
servicecontrol.googleapis.com
storage.googleapis.com
www.googleapis.com

443

TCP/https

관리자 클러스터 부가기능 노드에서 실행되는 Cloud Metadata 수집기

1024 - 65535

opsconfigmonitoring.googleapis.com

443

TCP/https

관리자 클러스터 부가기능 노드에서 실행되는 Cloud Monitoring 수집기

1024 - 65535

oauth2.googleapis.com
monitoring.googleapis.com
stackdriver.googleapis.com
servicecontrol.googleapis.com

443

TCP/https

관리자 클러스터 제어 영역 노드

1024 - 65535

F5 BIG-IP API

443

TCP/https

사용자 클러스터 제어 영역 노드

1024 - 65535

F5 BIG-IP API

443

TCP/https

관리자 클러스터 제어 영역 노드

1024 - 65535

온프레미스 로컬 Docker 레지스트리

레지스트리에 따라 달라집니다.

TCP/https

Anthos clusters on VMware가 gcr.io 대신 로컬 비공개 Docker 레지스트리를 사용하도록 구성된 경우에 필요합니다.

사용자 클러스터 제어 영역 노드

1024 - 65535

온프레미스 로컬 Docker 레지스트리

레지스트리에 따라 달라집니다.

TCP/https

Anthos clusters on VMware가 gcr.io 대신 로컬 비공개 Docker 레지스트리를 사용하도록 구성된 경우에 필요합니다.

관리자 클러스터 제어 영역 노드

1024 - 65535

gcr.io
oauth2.googleapis.com
storage.googleapis.com
관리자 클러스터에 사용 설정된 서비스에 필요한 모든 *.googleapis.com URL

443

TCP/https

공개 Docker 레지스트리에서 이미지 다운로드

비공개 Docker 레지스트리를 사용하는 경우에는 필요하지 않습니다.

사용자 클러스터 제어 영역 노드

1024 - 65535

gcr.io
oauth2.googleapis.com
storage.googleapis.com
관리자 클러스터에 사용 설정된 서비스에 필요한 모든 *.googleapis.com URL
443

TCP/https

공개 Docker 레지스트리에서 이미지 다운로드

비공개 Docker 레지스트리를 사용하는 경우에는 필요하지 않습니다.

관리자 클러스터 워커 노드

1024 - 65535

관리자 클러스터 워커 노드

전체

179 - bgp

443 - https

5473 - Calico/Typha

9443 - Envoy 측정항목

10250 - kubelet 노드 포트

모든 워커 노드는 인접한 레이어-2이고 방화벽이 없어야 합니다.

관리자 클러스터 노드

1024 - 65535

관리자 클러스터 pod CIDR

전체

모두

외부 트래픽은 첫 번째 노드에서 SNAT되고 pod IP로 전송됩니다.

관리자 클러스터 워커 노드

모두

사용자 클러스터 노드

22

ssh

SSH 터널을 통한 kubelet 통신에 대한 API 서버

관리자 클러스터 노드

1024 - 65535

관리자 클러스터의 Seesaw LB VM IP

20255,20257

TCP/http

LB 구성 푸시 및 측정항목 모니터링. 번들로 묶인 LB Seesaw를 사용하는 경우에만 필요합니다.

사용자 클러스터 노드의 방화벽 규칙

사용자 클러스터 노드에서 해당 IP 주소는 IP 블록 파일에 나열됩니다.

관리자 클러스터 노드와 마찬가지로 어떤 노드에 어떤 IP 주소가 사용될지는 알 수 없습니다. 따라서 사용자 클러스터 노드의 모든 규칙이 각 사용자 클러스터 노드에 적용됩니다.

시작일

소스 포트

종료일

포트

프로토콜

설명

사용자 클러스터 워커 노드

모두

gcr.io
oauth2.googleapis.com
storage.googleapis.com
이 클러스터에 사용 설정된 서비스에 필요한 모든 *.googleapis.com URL

443

TCP/https

공개 Docker 레지스트리에서 이미지 다운로드

비공개 Docker 레지스트리를 사용하는 경우에는 필요하지 않습니다.

사용자 클러스터 워커 노드

모두

F5 BIG-IP API

443

TCP/https

사용자 클러스터 워커 노드

모두

관리자 클러스터에서 실행되는 pushprox 서버의 VIP입니다.

8443

TCP/https

Prometheus 트래픽

사용자 클러스터 워커 노드

모두

사용자 클러스터 워커 노드

전체

22 - ssh

179 - bgp

443 - https

5473 - calico-typha

9443 - envoy 측정항목

10250 - kubelet 노드 포트'

모든 워커 노드는 인접한 레이어-2이고 방화벽이 없어야 합니다.

사용자 클러스터 노드

1024 - 65535

사용자 클러스터 pod CIDR

전체

모두

외부 트래픽은 첫 번째 노드에서 SNAT되고 pod IP로 전송됩니다.

임의 사용자 클러스터 워커 노드에서 실행되는 Cloud Logging 수집기

1024 - 65535

oauth2.googleapis.com
logging.googleapis.com
stackdriver.googleapis.com
servicecontrol.googleapis.com
www.googleapis.com

443

TCP/https

임의 사용자 클러스터 워커 노드에서 실행되는 Connect Agent입니다.

1024 - 65535

cloudresourcemanager.googleapis.com
gkeconnect.googleapis.com
gkehub.googleapis.com
www.googleapis.com
iam.googleapis.com
iamcredentials.googleapis.com
oauth2.googleapis.com
securetoken.googleapis.com
sts.googleapis.com
accounts.google.com

443

TCP/https

트래픽 연결

임의 사용자 클러스터 워커 노드에서 실행되는 Cloud Metadata 수집기

1024 - 65535

opsconfigmonitoring.googleapis.com

443

TCP/https

임의 사용자 클러스터 워커 노드에서 실행되는 Cloud Monitoring 수집기

1024 - 65535

oauth2.googleapis.com
Monitoring.googleapis.com
stackdriver.googleapis.com
servicecontrol.googleapis.com

443

TCP/https

사용자 클러스터 노드

1024 - 65535

사용자 클러스터의 Seesaw LB VM IP

20255,20257

TCP/http

LB 구성 푸시 및 측정항목 모니터링. 번들로 묶인 LB Seesaw를 사용하는 경우에만 필요합니다.

나머지 구성요소의 방화벽 규칙

이러한 규칙은 관리자 클러스터 및 사용자 클러스터 노드의 표에 나열되지 않은 다른 모든 구성요소에 적용됩니다.

시작일

소스 포트

종료일

포트

프로토콜

설명

관리자 클러스터 pod CIDR

1024 - 65535

관리자 클러스터 pod CIDR

전체

모두

pod 간 트래픽은 Pod CIDR 내에서 소스 및 대상 IP를 사용하여 직접 L2 전달을 수행합니다.

관리자 클러스터 pod CIDR

1024 - 65535

관리자 클러스터 노드

전체

모두

외부 트래픽의 트래픽을 반환합니다.

사용자 클러스터 pod CIDR

1024 - 65535

사용자 클러스터 pod CIDR

전체

모두

pod 간 트래픽은 Pod CIDR 내에서 소스 및 대상 IP를 사용하여 직접 L2 전달을 수행합니다.

사용자 클러스터 pod CIDR

1024 - 65535

사용자 클러스터 노드

전체

모두

외부 트래픽의 트래픽을 반환합니다.

클라이언트 및 애플리케이션 최종 사용자

모두

Istio 인그레스 VIP

80, 443

TCP

사용자 클러스터의 인그레스 서비스에 대한 최종 사용자 트래픽

서버를 건너뛰어 관리 워크스테이션 배포

임시 포트 범위

checkpoint-api.hashicorp.com
releases.hashicorp.com
vCenter Server API
대상 클러스터의 호스트 ESXi VMkernel(mgt) IP

443

TCP/https

관리 워크스테이션의 Terraform 배포 (선택사항 Terraform을 사용하여 관리자 워크스테이션을 만드는 경우에만 필요합니다.)
`cat /proc/sys/net/ipv4/ip_local_port_range`에서 임시 포트 범위를 확인합니다.

관리 워크스테이션

32768 - 60999

gcr.io
cloudresourcemanager.googleapis.com
oauth2.googleapis.com
storage.googleapis.com
이 클러스터에 사용 설정된 서비스에 필요한 모든 *.googleapis.com URL

443

TCP/https

공개 Docker 레지스트리에서 Docker 이미지 다운로드

관리 워크스테이션

32768 - 60999

gcr.io
cloudresourcemanager.googleapis.com
iam.googleapis.com
oauth2.googleapis.com
serviceusage.googleapis.com
storage.googleapis.com
관리자 또는 사용자 클러스터에 사용 설정된 서비스에 필요한 모든 *.googleapis.com URL

443

TCP/https

실행 전 검사(유효성 검사)

관리 워크스테이션

32768 - 60999

vCenter Server API

F5 BIG-IP API

443

TCP/https

클러스터 부트스트랩

관리 워크스테이션

32768 - 60999

대상 클러스터에 있는 호스트의 ESXi VMkernel(mgt) IP

443

TCP/https

관리 워크스테이션이 ESXi 호스트를 통해 OVA를 Datastore에 업로드합니다.

관리 워크스테이션

32768 - 60999

관리자 클러스터 제어 영역 VM의 노드 IP

443

TCP/https

클러스터 부트스트랩

관리 워크스테이션

32768 - 60999

관리자 클러스터의 Kubernetes API 서버 VIP

사용자 클러스터의 Kubernetes API 서버 VIP

443

TCP/https

클러스터 부트스트랩

사용자 클러스터 삭제

관리 워크스테이션

32768 - 60999

관리자 클러스터 제어 영역 노드 및 워커 노드

443

TCP/https

클러스터 부트스트랩

제어 영역 업그레이드

관리 워크스테이션

32768 - 60999

모든 관리자 클러스터 노드 및 모든 사용자 클러스터 노드

443

TCP/https

gkectl check-config 명령어 일부로 네트워크 유효성 검사

관리 워크스테이션

32768 - 60999

관리자 클러스터 Istio 인그레스의 VIP

사용자 클러스터 Istio 인그레스의 VIP

443

TCP/https

gkectl check-config 명령어 일부로 네트워크 유효성 검사

관리 워크스테이션

32768 - 60999

관리자 클러스터와 사용자 클러스터 모두의 Seesaw LB VM IP

관리자 클러스터와 사용자 클러스터 모두의 Seesaw LB VIP

20256,20258

TCP/http/gRPC

LB 상태 확인. 번들로 묶인 LB Seesaw를 사용하는 경우에만 필요합니다.

관리 워크스테이션

32768 - 60999

클러스터 제어 영역의 노드 IP

22

TCP

관리 워크스테이션에서 관리자 클러스터 제어 영역의 SSH 액세스가 필요한 경우 필수입니다.

LB VM IP

32768 - 60999

해당 클러스터의 노드 IP

10256: 노드 상태 확인
30000 - 32767: healthCheckNodePort

TCP/http

노드 상태 확인 healthCheckNodePort는 externalTrafficPolicy가 로컬로 설정된 서비스용입니다. 번들로 묶인 LB Seesaw를 사용하는 경우에만 필요합니다.

F5 Self-IP

1024 - 65535

모든 관리자 클러스터와 사용자 클러스터 노드

30000~32767

모두

F5 BIG-IP가 가상 서버 VIP를 통해 Kubernetes 클러스터 노드의 노드 포트로 부하를 분산하는 데이터 영역 트래픽의 경우.

일반적으로 F5 self-ip는 Kubernetes 클러스터 노드와 동일한 네트워크/서브넷에 있습니다.