컨테이너 기본 부하 분산 사용

이 페이지에서는 Google Kubernetes Engine에서 컨테이너 기본 부하 분산을 사용하는 방법을 설명합니다.

개요

HTTP(S) Google Cloud 부하 분산기(GCLB)컨테이너 기본 부하 분산을 통해 포드를 직접 대상 지정하고 트래픽을 포드에 고르게 분산할 수 있습니다.

컨테이너 기본 부하 분산은 IP 포트 쌍으로 표시되는 네트워크 엔드포인트의 모음인 네트워크 엔드포인트 그룹(NEG)이라는 데이터 모델을 활용합니다.

이점

컨테이너 기본 부하 분산의 이점은 다음과 같습니다.

포드의 부하 분산을 최우선 처리
kube-proxy는 노드의 iptables 규칙을 구성하여 트래픽을 포드에 분산합니다. 컨테이너 기본 부하 분산이 없으면 부하 분산기 트래픽은 노드 인스턴스 그룹으로 이동하여 iptables 규칙을 통해 같은 노드에 있거나 없을 수 있는 포드로 라우팅됩니다. 컨테이너 기본 부하 분산을 사용하면 트래픽을 수신해야 하는 포드에 부하 분산기 트래픽이 직접 분산되어 추가 네트워크 홉이 제거됩니다. 컨테이너 기본 부하 분산은 포드를 직접 대상 지정하기 때문에 상태 확인 개선에도 도움이 됩니다.


기본 동작(왼쪽)과 컨테이너 기본 부하 분산기 동작을 비교한 다이어그램
네트워크 성능 개선
컨테이너 기본 부하 분산기가 포드와 직접 통신하고 연결에서 네트워크 홉이 줄어들기 때문에 지연 시간과 처리량이 모두 개선됩니다.
가시성 향상
컨테이너 기본 부하 분산을 사용하면 소스 IP가 보존되어 트래픽 소스를 보다 쉽게 추적할 수 있습니다. Stackdriver UI 지원을 비롯하여 클라이언트에서 HTTP(S) 부하 분산기까지의 왕복 시간(RTT)을 볼 수 있습니다. 이를 통해 NEG 수준에서 서비스 문제를 쉽게 해결할 수 있습니다.
GCLB 기능 지원
컨테이너 기본 부하 분산은 Google Kubernetes Engine에서 Cloud Armor, Cloud 콘텐츠 전송 네트워크, Cloud Identity-Aware Proxy 같은 GCP 서비스와의 통합 등 몇 가지 GCLB 기능을 기본 지원합니다. 또한 정확한 트래픽 분산을 위한 부하 분산 알고리즘도 제공합니다.

요건

Google Kubernetes Engine의 컨테이너 기본 부하 분산기의 요건은 다음과 같습니다.

Google Kubernetes Engine 버전 1.10
컨테이너 기본 부하 분산기는 Google Kubernetes Engine 버전 1.10 이상을 실행하는 Google Kubernetes Engine 클러스터에서 사용할 수 있습니다.
VPC 네이티브
컨테이너 기본 부하 분산을 사용하려면 클러스터가 VPC 네이티브여야 합니다. 자세한 내용은 별칭 IP를 사용하여 VPC 네이티브 클러스터 만들기를 참조하세요.

제한사항

컨테이너 기본 부하 분산기는 이전 네트워크에서 작동하지 않습니다.

제한사항

컨테이너 기본 부하 분산기는 내부 부하 분산기 또는 네트워크 부하 분산기를 지원하지 않습니다.

가격 책정

이 가이드에서 만드는 Ingress에 의해 프로비저닝되는 HTTP(S) 부하 분산기에 대한 요금이 부과됩니다. 부하 분산기 가격 정보는 Compute Engine 가격 책정 페이지의 부하 분산 및 전달 규칙을 참조하세요.

컨테이너 기본 부하 분산 사용

다음 섹션에서는 Google Kubernetes Engine의 컨테이너 기본 부하 분산 구성을 설명합니다.

VPC 네이티브 클러스터 만들기

컨테이너 기본 부하 분산을 사용하려면 별칭 IP가 사용 설정된 클러스터를 만들어야 합니다.

예를 들어 다음 명령어는 us-central1-a 영역에 하위 네트워크가 자동 프로비저닝된 클러스터 neg-demo-cluster를 만듭니다.

gcloud container clusters create neg-demo-cluster \
    --enable-ip-alias \
    --create-subnetwork="" \
    --network=default \
    --zone=us-central1-a

배포 만들기

다음으로 작업 부하를 클러스터에 배포합니다.

다음 샘플 Deployment neg-demo-app은 컨테이너식 HTTP 서버의 단일 인스턴스를 실행합니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    run: neg-demo-app # Label for the Deployment
  name: neg-demo-app # Name of Deployment
spec: # Deployment's specification
  minReadySeconds: 60 # Number of seconds to wait after a Pod is created and its status is Ready
  selector:
    matchLabels:
      run: neg-demo-app
  template: # Pod template
    metadata:
      labels:
        run: neg-demo-app # Labels Pods from this Deployment
    spec: # Pod specification; each Pod created by this Deployment has this specification
      containers:
      - image: k8s.gcr.io/serve_hostname:v1.4 # Application to run in Deployment's Pods
        name: hostname # Container name
        ports:
        - containerPort: 9376 # Port used by containers running in these Pods
          protocol: TCP
      terminationGracePeriodSeconds: 60 # Number of seconds to wait for connections to terminate before shutting down Pods

이 Deployment에서 각 컨테이너는 HTTP 서버를 실행합니다. HTTP 서버는 단순히 애플리케이션 서버의 호스트 이름(서버가 실행되는 포드의 이름)을 응답으로 반환합니다.

이 매니페스트를 neg-demo-app.yaml로 저장한 후 다음 명령을 실행하여 배포를 만듭니다.

kubectl apply -f neg-demo-app.yaml

컨테이너 기본 부하 분산기용 서비스 만들기

배포를 만든 후에 배포의 포드를 서비스로 그룹화해야 합니다.

다음 샘플 서비스 neg-demo-svc는 이전 섹션에서 만든 샘플 배포를 대상으로 지정합니다.

apiVersion: v1
kind: Service
metadata:
  name: neg-demo-svc # Name of Service
  annotations:
    cloud.google.com/neg: '{"ingress": true}' # Creates an NEG after an Ingress is created
spec: # Service's specification
  selector:
    run: neg-demo-app # Selects Pods labelled run: neg-demo-app
  ports:
  - port: 80 # Service's port
    protocol: TCP
    targetPort: 9376 # Should match the containerPort used by the Deployment's containers

서비스의 주석인 cloud.google.com/neg: '{"ingress": true}'는 컨테이너 기본 부하 분산을 사용 설정합니다. 하지만 부하 분산기는 서비스용 Ingress를 만들 때까지 만들어지지 않습니다.

이 매니페스트를 neg-demo-svc.yaml로 저장한 후 다음 명령어를 실행하여 서비스를 만듭니다.

kubectl apply -f neg-demo-svc.yaml

서비스용 Ingress 만들기

다음 샘플 Ingress neg-demo-ing는 만든 서비스를 대상으로 지정합니다.

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: neg-demo-ing
spec:
  backend:
    serviceName: neg-demo-svc # Name of the Service targeted by the Ingress
    servicePort: 80 # Should match the port used by the Service

이 매니페스트를 neg-demo-ing.yaml로 저장한 후 다음 명령어를 실행하여 Ingress를 만듭니다.

kubectl apply -f neg-demo-ing.yaml

Ingress를 만들면 프로젝트에 GCLB가 만들어지고, 클러스터가 실행되는 각 영역에 NEG가 만들어집니다. NEG의 엔드포인트와 서비스의 엔드포인트는 동기화 상태로 유지됩니다.

Ingress 확인

작업 부하를 배포하고 포드를 서비스로 그룹화하고 서비스용 Ingress를 만든 후 Ingress가 컨테이너 기본 부하 분산기를 성공적으로 프로비저닝했는지 확인해야 합니다.

Ingress의 상태를 검색하려면 다음 명령어를 실행합니다.

kubectl describe ingress neg-demo-ing

명령어 출력에서 ADD 이벤트와 CREATE 이벤트를 찾습니다.

Events:
Type     Reason   Age                From                     Message
----     ------   ----               ----                     -------
Normal   ADD      16m                loadbalancer-controller  default/neg-demo-ing
Normal   Service  4s                 loadbalancer-controller  default backend set to neg-demo-svc:32524
Normal   CREATE   2s                 loadbalancer-controller  ip: 192.0.2.0

부하 분산기 기능 테스트

다음 섹션에서는 컨테이너 기본 부하 분산기의 기능을 테스트하는 방법을 설명합니다.

Ingress IP 주소 방문

Ingress의 IP 주소를 방문하여 컨테이너 기본 부하 분산기가 작동하는지 확인할 수 있습니다.

Ingress IP 주소를 얻으려면 다음 명령어를 실행하세요.

kubectl get ingress neg-demo-ing

명령어 출력의 ADDRESS 열에 Ingress의 IP 주소가 표시됩니다. 웹 브라우저에서 이 IP 주소를 방문합니다.

백엔드 서비스 상태 확인

부하 분산기의 [백엔드 서비스] 상태를 확인할 수도 있습니다.

먼저 프로젝트에서 실행되는 백엔드 서비스의 목록을 가져옵니다.

gcloud beta compute backend-services list

neg-demo-svc 같은 서비스 이름을 포함하는 백엔드 이름의 복사본. 그런 다음 백엔드 서비스의 상태를 확인합니다.

gcloud compute backend-services get-health [BACKEND_SERVICE_NAME] --global

Ingress 기능 확인

부하 분산기가 예상대로 작동하는지 테스트하는 또 다른 방법은 샘플 배포를 확장하고 테스트 요청을 Ingress에 전송하여 올바른 수의 복제본이 응답하는지 확인하는 것입니다.

다음 명령어는 neg-demo-app 배포를 한 인스턴스에서 두 인스턴스로 확장합니다.

kubectl scale deployment neg-demo-app --replicas 2

롤아웃이 완료될 때까지 몇 분 정도 기다립니다. 롤아웃이 완료되었는지 확인하려면 다음 명령어를 실행하세요.

kubectl get deployment neg-demo-app

사용할 수 있는 복제본이 2개 있는지 명령어 출력에서 확인합니다.

NAME           DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
neg-demo-app   2         2         2            2           26m

그러고 나서 다음 명령어를 실행하여 부하 분산기의 고유 응답 수를 계산합니다.

for i in `seq 1 100`; do \
  curl --connect-timeout 1 -s [IP_ADDRESS] && echo; \
done  | sort | uniq -c

여기서 [IP_ADDRESS]는 Ingress의 IP 주소입니다. kubectl describe ingress neg-demo-ing에서 Ingress의 IP 주소를 가져올 수 있습니다.

명령어 출력에서 고유 응답 수와 복제본의 수가 같은지 확인합니다. 이것은 모든 백엔드 포드가 트래픽을 처리하고 있음을 나타냅니다.

44 neg-demo-app-7f7dfd7bc6-dcn95
56 neg-demo-app-7f7dfd7bc6-jrmzf

삭제

이 페이지의 작업을 완료한 후에는 다음 단계에 따라 리소스를 제거하여 계정에서 원치 않는 요금이 부과되지 않도록 합니다.

클러스터 삭제

gcloud

gcloud container clusters delete neg-demo-cluster

콘솔

  1. GCP 콘솔에서 Google Kubernetes Engine 메뉴로 이동합니다.

    Google Kubernetes Engine 메뉴로 이동

  2. neg-demo-cluster를 선택합니다.

  3. 삭제를 클릭합니다.

문제해결

다음 섹션에서는 컨테이너 기본 부하 분산과 관련된 일반적 문제를 해결하는 방법을 설명합니다.

별칭 IP로 클러스터를 만들 수 없음

증상
별칭 IP를 사용하여 클러스터를 만들려고 할 때 다음과 같은 오류가 나타날 수 있습니다.
ResponseError: code=400, message=IP aliases cannot be used with a legacy network.
가능한 원인
이전 네트워크도 사용하는 별칭 IP로 클러스터를 만들려고 하면 이 오류가 발생합니다.
해결 방법
별칭 IP와 이전 네트워크가 동시에 사용 설정된 상태로 클러스터를 만들지 않아야 합니다. 별칭 IP 사용에 대한 자세한 내용은 별칭 IP를 사용하여 VPC 네이티브 클러스터 만들기를 참조하세요.

트래픽이 엔드포인트에 도달하지 않음

증상
502 오류 또는 연결이 거부됩니다.
가능한 원인
새 엔드포인트는 일반적으로 부하 분산기에 연결한 후에 도달 가능합니다. 단, 엔드포인트가 상태 확인에 응답해야 합니다. 트래픽이 엔드포인트에 도달할 수 없으면 502 오류가 발생하거나 연결이 거부될 수 있습니다.
해결 방법

이 문제를 해결하려면 방화벽 규칙이 130.211.0.0/22 범위와 35.191.0.0/16 범위에서 엔드포인트로 들어오는 TCP 트래픽을 허용하는지 확인하세요. 자세한 내용은 Cloud Load Balancing 문서의 상태 확인 추가를 참조하세요.

프로젝트의 백엔드 서비스를 확인합니다. 관련 백엔드 서비스에는 해당 Google Kubernetes Engine 서비스의 이름이 있습니다.

gcloud beta compute backend-services list

백엔드 서비스에서 백엔드 상태를 검색합니다.

gcloud beta compute backend-services get-health [BACKEND_SERVICE_NAME]

모든 백엔드가 비정상이라면 방화벽, Ingress 또는 Service가 잘못 구성되었을 수 있습니다.

일부 백엔드가 잠깐 동안 비정상이라면 네트워크 프로그래밍 지연 시간이 원인일 수 있습니다.

일부 백엔드가 백엔드 서비스 목록에 나타나지 않으면 프로그래밍 지연 시간이 원인일 수 있습니다. 이것은 다음 명령어를 실행하여 확인할 수 있습니다. 여기서 [NEG]는 백엔드 서비스의 이름입니다. (NEG와 백엔드 서비스는 같은 이름을 공유합니다).

gcloud beta compute network-endpoint-groups list-network-endpoints [NEG]

예상되는 모든 엔드포인트가 NEG에 있는지 확인하세요.

알려진 문제

Google Kubernetes Engine의 컨테이너 기본 부하 분산은 베타 단계에서 다음과 같은 알려진 문제를 가지고 있습니다.

작업 부하 롤아웃을 엔드포인트 전파에 정렬

작업 부하를 클러스터에 배포하거나 기존 작업 부하를 업데이트할 때 컨테이너 기본 부하 분산기가 새 엔드포인트를 전파하는 시간이 작업 부하 롤아웃을 완료하는 시간보다 길어질 수 있습니다. 이 가이드에서 배포하는 샘플 배포는 terminationGracePeriodSeconds 필드와 minReadySeconds 필드를 사용하여 롤아웃을 엔드포인트 전파에 정렬합니다.

terminationGracePeriodSeconds는 포드가 삭제 예약된 후 연결이 종료되기를 기다려 포드가 정상적으로 종료되도록 합니다.

minReadySeconds는 포드가 생성된 후 지연 시간을 추가합니다. 컨테이너의 비정상 종료 없이 사용 가능한 것으로 간주되기 위해 새 포드가 Ready 상태로 있어야 하는 최소 시간(초)를 지정합니다.

작업 부하 롤아웃으로 인해 서비스가 중단되지 않도록 하려면 작업 부하의 minReadySeconds 값과 terminationGracePeriodSeconds 값을 60초 이상으로 구성해야 합니다.

terminationGracePeriodSeconds는 모든 포드 사양에서 사용할 수 있으며, minReadySeconds는 배포와 DaemonSet에 사용할 수 있습니다.

롤아웃 미세 조정에 대한 자세한 내용은 RollingUpdateStrategy를 참조하세요.

불완전한 가비지 컬렉션

Google Kubernetes Engine 가비지는 10분마다 컨테이너 기본 부하 분산기를 수집합니다. 부하 분산기가 완전히 제거되기 전에 클러스터가 삭제되면 부하 분산기의 NEG를 수동으로 삭제해야 합니다.

프로젝트의 NEG를 보려면 다음 명령어를 실행합니다.

gcloud beta compute network-endpoint-groups list

명령어 출력에서 관련 NEG를 찾습니다.

NEG를 삭제하려면 다음 명령어를 실행하세요. 여기서 [NEG]는 NEG의 이름입니다.

gcloud beta compute network-endpoint-groups delete [NEG]

scale-to-zero 작업 부하 중단

scale-to-zero 작업 부하는 NEG의 엔드포인트 수가 0에서 0이 아닌 수로 바뀌는 경우나 그 반대의 경우에 잠시 중단될 수 있습니다. 이러한 중단 도중에는 부하 분산기가 200이 아닌 응답을 반환하고 백엔드가 비정상으로 표시될 수 있습니다.

다음 단계

이 페이지가 도움이 되었나요? 평가를 부탁드립니다.

다음에 대한 의견 보내기...

Kubernetes Engine