Anthos Service Mesh와 IAP 통합

이 가이드에서는 Anthos Service Mesh와 IAP(Identity-Aware Proxy)를 통합하는 방법을 설명합니다. Anthos Service Mesh와 IAP를 통합하면 Google의 BeyondCorp 원칙에 따라 서비스에 안전하게 액세스할 수 있습니다. IAP는 사용자가 애플리케이션 또는 리소스에 액세스하도록 허용할지 결정하기 위해 요청의 사용자 ID와 컨텍스트를 확인합니다. Anthos Service Mesh와의 IAP 통합은 다음과 같은 이점을 제공합니다.

  • Anthos Service Mesh에서 실행되는 워크로드에 대한 컨텍스트 인식 액세스 제어를 완료합니다. 사용자 ID, IP 주소, 기기 유형과 같은 원래 요청의 속성을 기반으로 세분화된 액세스 정책을 설정할 수 있습니다. 요청 URL의 호스트 이름 및 경로에 따라 액세스 정책을 제한사항과 결합할 수 있습니다.

  • Anthos Service Mesh 승인에서 컨텍스트 인식 클레임 지원을 사용 설정합니다.

  • Google Cloud 부하 분산기를 통한 확장 가능하고 안전하며 가용성이 높은 애플리케이션 액세스. 고성능 부하 분산은 기본적으로 DDoS 공격에 대한 보호 및 전역 Anycast IP 주소 지정을 제공합니다.

기본 요건

이 가이드에서는 다음 작업을 이미 완료했다고 가정합니다.

Anthos Service Mesh로 클러스터 설정

이 섹션에서는 Anthos Service Mesh의 신규 설치 및 업그레이드에 대해 IAP 통합을 설정하는 방법을 설명합니다.

신규 설치

  1. iap.googleapis.com를 사용 설정합니다. 다음 명령어에서 PROJECT_ID를 Anthos Service Mesh를 설치할 프로젝트로 바꿉니다.

    gcloud services enable \
  --project=PROJECT_ID \
  iap.googleapis.com

  2. 업데이트할 클러스터에 --addons=HttpLoadBalancing 옵션이 설정되어 있어야 합니다. HttpLoadBalancing 부가기능은 클러스터에 HTTP(L7) 부하 분산 컨트롤러를 사용 설정합니다. Anthos Service Mesh에 필요한 옵션으로 클러스터를 업데이트하려면 다음 명령어를 실행하세요. 기본 영역 또는 리전을 설정하지 않은 경우 명령어에 리전(--region=REGION) 또는 영역(--zone=ZONE)을 제공해야 합니다.

    gcloud container clusters update CLUSTER_NAME \
  --project=PROJECT_ID \
  --update-addons=HttpLoadBalancing=ENABLED

  3. asm/istio/options 디렉터리에 iap-operator.yaml이라는 구성 파일이 포함된 asm 패키지를 다운로드합니다.

    kpt pkg get \
https://github.com/GoogleCloudPlatform/anthos-service-mesh-packages.git/asm@release-1.8-asm asm

    Anthos Service Mesh를 설치할 때 iap-operator.yaml 파일은 istio-ingressgateway 서비스의 type 필드를 NodePort로 설정하여 서비스 메시의 특정 포트를 열도록 게이트웨이를 구성합니다. 이렇게 하면 도메인 이름으로 전송된 트래픽을 이 포트로 라우팅하도록 부하 분산기를 설정할 수 있습니다.

    기본적으로 iap-operator.yaml 파일에는 포트 31223이 상태 포트로 설정되고 포트 31224가 http 포트로 설정됩니다.

  4. 포트 31223이 클러스터에서 이미 사용 중인 경우 다음을 실행하여 다른 상태 포트를 설정합니다.

    kpt cfg set asm gcloud.container.cluster.ingress.statusPort STATUS_PORT

  5. 클러스터에서 이미 포트 31224를 사용 중이면 다음을 실행하여 다른 http 포트를 설정합니다.

    kpt cfg set asm gcloud.container.cluster.ingress.httpPort HTTP_PORT

  6. GKE에 Anthos Service Mesh 설치의 단계를 따라 Google에서 제공하는 스크립트를 사용하여 Anthos Service Mesh를 설치합니다. 스크립트를 실행할 때 다음 옵션을 포함합니다.

    --custom_overlay asm/istio/options/iap-operator.yaml

    예를 들면 다음과 같습니다.

    ./install_asm \
  --project_id PROJECT_ID \
  --cluster_name CLUSTER_NAME \
  --cluster_location CLUSTER_LOCATION \
  --mode install \
  --enable_all \
  --custom_overlay asm/istio/options/iap-operator.yaml

Anthos Service Mesh를 설치한 후 이 가이드로 돌아와서 다음 섹션으로 계속 진행하여 IAP와의 통합을 설정합니다.

업그레이드

이 섹션에서는 다음 업그레이드 사용 사례를 설명합니다.

  • IAP 통합이 이미 설정되었고 Anthos Service Mesh를 업그레이드하려고 합니다. 여기에서는 프로젝트에 iap.googleapis.com이 이미 사용 설정되었고 클러스터에 HttpLoadBalancing 부가기능이 사용 설정되어 있습니다. 3단계로 건너 뛰어 asm 패키지를 다운로드하고 Anthos Service Mesh를 업그레이드합니다.

  • Anthos Service Mesh를 업그레이드하고 처음으로 IAP와의 통합을 설정하려는 경우 다음 단계를 모두 완료하고 Anthos Service Mesh를 업그레이드한 후 이 가이드로 돌아와 통합을 완료해야 합니다.

  1. iap.googleapis.com를 사용 설정합니다. 다음 명령어에서 PROJECT_ID를 Anthos Service Mesh를 설치할 프로젝트로 바꿉니다.

    gcloud services enable \
  --project=PROJECT_ID \
  iap.googleapis.com

  2. 업데이트할 클러스터에 --addons=HttpLoadBalancing 옵션이 설정되어 있어야 합니다. HttpLoadBalancing 부가기능은 클러스터에 HTTP(L7) 부하 분산 컨트롤러를 사용 설정합니다. Anthos Service Mesh에 필요한 옵션으로 클러스터를 업데이트하려면 다음 명령어를 실행하세요. 기본 영역 또는 리전을 설정하지 않은 경우 명령어에 리전(--region=REGION) 또는 영역(--zone=ZONE)을 제공해야 합니다.

    gcloud container clusters update CLUSTER_NAME \
  --project=PROJECT_ID
  --update-addons=HttpLoadBalancing=ENABLED

  3. asm/istio/options 디렉터리에 iap-operator.yaml이라는 구성 파일이 포함된 asm 패키지를 다운로드합니다.

    kpt pkg get \
https://github.com/GoogleCloudPlatform/anthos-service-mesh-packages.git/asm@release-1.8-asm asm

    Anthos Service Mesh를 업그레이드할 때 iap-operator.yaml 파일은 istio-ingressgateway 서비스의 type 필드를 NodePort로 설정하여 서비스 메시의 특정 포트를 열도록 게이트웨이를 구성합니다. 이렇게 하면 도메인 이름으로 전송된 트래픽을 이 포트로 라우팅하도록 부하 분산기를 설정할 수 있습니다.

    기본적으로 iap-operator.yaml 파일에는 포트 31223이 상태 포트로 설정되고 포트 31224가 http 포트로 설정됩니다.

  4. 기존의 HTTP Cloud 부하 분산기를 업데이트하는 경우 다음을 실행하여 기존 http 및 상태 포트를 보존합니다.

    kpt cfg set asm gcloud.container.cluster.ingress.httpPort $(kubectl -n istio-system get service istio-ingressgateway -o jsonpath='{.spec.ports[?(@.name=="http2")].nodePort}')

    kpt cfg set asm gcloud.container.cluster.ingress.statusPort $(kubectl -n istio-system get service istio-ingressgateway -o jsonpath='{.spec.ports[?(@.name=="status-port")].nodePort}')

  5. GKE에 Anthos Service Mesh 업그레이드의 단계를 따라 Google에서 제공하는 스크립트를 사용하여 Anthos Service Mesh를 업그레이드합니다. 스크립트를 실행할 때 다음 옵션을 포함합니다.

    --custom_overlay asm/istio/options/iap-operator.yaml

    예를 들면 다음과 같습니다.

    ./install_asm \
  --project_id PROJECT_ID \
  --cluster_name CLUSTER_NAME \
  --cluster_location CLUSTER_LOCATION \
  --mode upgrade \
  --enable_all \
  --custom_overlay asm/revisioned-istio-ingressgateway.yaml \
  --custom_overlay asm/istio/options/iap-operator.yaml

    스크립트를 실행할 때 이전 예시와 같이 revisioned-istio-ingressgateway.yaml을 포함해야 합니다. 이 옵션을 사용하면 스크립트가 버전 지정된 istio-ingressgateway 배포를 만듭니다. 이렇게 해서 새 버전으로 전환할 시간을 제어할 수 있습니다. 이 옵션을 포함하지 않는 경우 스크립트는 istio-ingressgateway의 인플레이스(In-Place) 업그레이드를 수행합니다.

  6. 워크로드에서 자동 사이드카 프록시 삽입을 트리거하여 업그레이드를 완료합니다. 자세한 내용은 워크로드 배포 및 재배포를 참조하세요.

    업그레이드를 완료한 후에는 이 가이드로 돌아와 다음 섹션을 진행하여 IAP와의 통합을 설정합니다.

고정 IP 주소 예약 및 DNS 구성

IAP(Identity-Aware Proxy)를 Anthos Service Mesh와 통합하려면 고정 IP 주소를 가리키는 도메인 이름이 필요한 Google Cloud HTTP(S) 부하 분산기를 설정해야 합니다. 고정 외부 IP 주소를 예약할 수 있습니다. 그러면 해당 주소는 명시적으로 해제될 때까지 프로젝트에 무기한으로 할당됩니다.

  1. 정적 외부 IP 주소를 예약합니다.

    gcloud compute addresses create example-static-ip --global

  2. 고정 IP 주소를 가져옵니다.

    gcloud compute addresses describe example-static-ip --global

  3. 도메인 이름 등록기관에서 고정 IP 주소로 정규화된 도메인 이름(FQDN)을 구성합니다. 일반적으로 DNS 설정에 A 레코드를 추가합니다. FQDN의 A 레코드를 추가하기 위한 구성 단계와 용어는 도메인 이름 등록기관에 따라 다릅니다.

    DNS 설정이 적용되려면 24~48시간이 소요될 수 있습니다. 이 가이드의 모든 내용을 계속 설정할 수 있지만 DNS 설정이 적용될 때까지 설정을 테스트할 수 없습니다.

샘플 애플리케이션 배포

IAP를 사용 설정하기 전에 모든 요청에 ID가 있는지 확인할 수 있도록 GKE 클러스터에서 실행되는 애플리케이션이 필요합니다. 이 가이드에서는 Bookinfo 샘플을 사용하여 HTTP(S) 부하 분산기를 설정하고 IAP를 사용 설정하는 방법을 보여줍니다.

단계에 따라 Bookinfo를 배포합니다. 부하 분산기를 배포하기 전에는 GKE 클러스터 외부에서(예: 브라우저에서) Bookinfo 애플리케이션에 액세스할 수 없습니다.

외부 요청

Bookinfo의 게이트웨이 리소스(samples/bookinfo/networking/bookinfo-gateway.yaml에 정의됨)는 사전 구성된 istio-ingressgateway를 사용합니다. Anthos Service Mesh를 배포 할 때 istio-ingressgateway에 NodePort를 지정하여 서비스 메시에서 특정 포트를 엽니다. 클러스터의 노드에 외부 IP 주소가 있더라도 클러스터 외부에서 들어오는 요청은 Google Cloud 방화벽 규칙에 의해 차단됩니다. IAP를 사용하는 경우, 부하 분산기를 사용하여 공개 인터넷에 애플리케이션을 노출해야 합니다. IAP를 우회하는 방화벽 규칙을 사용하여 노드 주소를 노출하지 마세요.

요청을 Bookinfo로 라우팅하려면 Google Cloud 프로젝트에서 HTTP(S) 부하 분산기를 설정합니다. 부하 분산기가 프로젝트에 있으므로 방화벽 내에 있으며 클러스터의 노드에 액세스할 수 있습니다. 고정 IP 주소와 도메인 이름을 사용하여 부하 분산기를 구성한 후에는 도메인 이름으로 요청을 보낼 수 있고 부하 분산기가 요청을 클러스터의 노드로 전달합니다.

IAP 사용 설정

다음 단계에서는 IAP를 사용 설정하는 방법을 설명합니다.

  1. list 명령어를 사용하여 기존 브랜드가 있는지 확인합니다. 프로젝트당 하나의 브랜드만 있을 수 있습니다.

    gcloud iap oauth-brands list

    다음은 브랜드가 있는 경우 gcloud 응답의 예시입니다.

    name: projects/[PROJECT_NUMBER]/brands/[BRAND_ID]
applicationTitle: [APPLICATION_TITLE]
supportEmail: [SUPPORT_EMAIL]
orgInternalOnly: true

  2. 브랜드가 없으면 create 명령어를 사용합니다.

    gcloud iap oauth-brands create --application_title=APPLICATION_TITLE --support_email=SUPPORT_EMAIL

    이 API를 호출할 때 위의 필드가 필요합니다.

    • supportEmail: OAuth 동의 화면에 표시되는 지원 이메일. 이 이메일 주소는 사용자의 주소이거나 Google 그룹스 별칭입니다. 서비스 계정에도 이메일 주소가 있지만 실제 유효한 이메일 주소가 아니며 브랜드를 만들 때 사용할 수 없습니다. 그러나 서비스 계정은 Google 그룹의 소유자일 수 있습니다. 새 Google 그룹을 만들거나 기존 그룹을 구성하고 원하는 서비스 계정을 그룹의 소유자로 설정합니다.

    • applicationTitle: OAuth 동의 화면에 표시되는 애플리케이션 이름.

    응답에는 다음 필드가 포함됩니다.

    name: projects/[PROJECT_NUMBER]/brands/[BRAND_ID]
applicationTitle: [APPLICATION_TITLE]
supportEmail: [SUPPORT_EMAIL]
orgInternalOnly: true

IAP OAuth 클라이언트 만들기

  1. create 명령어를 사용하여 클라이언트를 만듭니다. 이전 단계의 name 브랜드를 사용합니다.

    gcloud iap oauth-clients create projects/PROJECT_NUMBER/brands/BRAND-ID --display_name=NAME

    응답에는 다음 필드가 포함됩니다.

    name: projects/[PROJECT_NUMBER]/brands/[BRAND_NAME]/identityAwareProxyClients/[CLIENT_ID]
secret: [CLIENT_SECRET]
displayName: [NAME]

  2. 클라이언트 ID(위의 단계에서 CLIENT_ID) 및 CLIENT_SECRET을 사용하여 IAP를 사용 설정합니다. OAuth 클라이언트의 자료를 사용하여 kubernetes 보안 비밀을 만듭니다.

    kubectl create secret generic -n istio-system my-secret --from-literal=client_id=CLIENT_ID \
--from-literal=client_secret=CLIENT_SECRET

부하 분산기 배포

인그레스 리소스를 사용하여 자동으로 구성된 SSL 인증서로 HTTP(S) 부하 분산기를 만들 수 있습니다. 도메인 이름의 Google 관리 SSL 인증서가 프로비저닝, 갱신, 관리됩니다.

  1. ManagedCertificate 리소스를 만듭니다. 이 리소스는 SSL 인증서의 도메인을 지정합니다. spec.domains 목록에 도메인이 하나만 포함되어야 합니다. 와일드 카드 도메인은 지원되지 않습니다. 다음 YAML에서 DOMAIN_NAME을 외부 고정 IP 주소로 구성된 도메인 이름으로 바꿉니다.

    cat <<EOF | kubectl apply -f -
apiVersion: networking.gke.io/v1beta1
kind: ManagedCertificate
metadata:
  name: example-certificate
  namespace: istio-system
spec:
  domains:
    - DOMAIN_NAME
EOF

  2. BackendConfig 리소스를 만듭니다. 이 리소스는 GCLB에서 IAP(Identity-Aware Proxy) 구성은 물론 인그레스 게이트웨이에서 상태 확인을 수행하는 방법을 보여줍니다. 먼저 인그레스 게이트웨이에서 상태 확인에 대한 몇 가지 값을 수집합니다.

    • 상태 확인 인그레스 포트: istio-ingress의 상태 확인 포트입니다.

      export HC_INGRESS_PORT=$(kubectl -n istio-system get service istio-ingressgateway -o jsonpath='{.spec.ports[?(@.name=="status-port")].nodePort}')

    • 상태 확인 인그레스 경로: istio-ingress의 상태 확인 경로입니다.

      export HC_INGRESS_PATH=$(kubectl -n istio-system get deployments istio-ingressgateway -o jsonpath='{.spec.template.spec.containers[?(@.name=="istio-proxy")].readinessProbe.httpGet.path}')

    cat <<EOF | kubectl apply -n istio-system -f -
apiVersion: cloud.google.com/v1beta1
kind: BackendConfig
metadata:
  name: http-hc-config
spec:
  healthCheck:
    checkIntervalSec: 2
    timeoutSec: 1
    healthyThreshold: 1
    unhealthyThreshold: 10
    port: ${HC_INGRESS_PORT}
    type: HTTP
    requestPath: ${HC_INGRESS_PATH}
  iap:
    enabled: true
    oauthclientCredentials:
      secretName: my-secret
EOF

  3. 인그레스 서비스에 BackendConfig를 사용하여 주석을 추가합니다.

        kubectl annotate -n istio-system service/istio-ingressgateway --overwrite \
      cloud.google.com/backend-config='{"default": "http-hc-config"}' \
      cloud.google.com/neg='{"ingress":false}'

  4. 인그레스 리소스를 정의하여 부하 분산기를 만듭니다.

    • networking.gke.io/managed-certificates 주석을 이전 단계에서 만든 인증서 이름인 example-certificate으로 설정합니다.

    • kubernetes.io/ingress.global-static-ip-name 주석을 예약한 고정 IP 주소의 이름인 example-static-ip로 설정합니다.

    • serviceName을 Bookinfo 샘플의 게이트웨이 리소스에서 사용되는 istio-ingressgateway로 설정합니다.

    cat <<EOF | kubectl create -f -
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: example-ingress
  namespace: istio-system
  annotations:
    kubernetes.io/ingress.global-static-ip-name: example-static-ip
    networking.gke.io/managed-certificates: example-certificate
spec:
  backend:
    serviceName: istio-ingressgateway
    servicePort: 80
EOF

  5. Google Cloud 콘솔에서 Kubernetes Engine > 서비스 및 인그레스 페이지로 이동합니다.

    서비스 및 인그레스 페이지로 이동

    상태 열에 '인그레스 만들기' 메시지가 표시됩니다. 계속 진행하기 전에 GKE가 인그레스를 완전히 프로비저닝할 때까지 기다립니다. 몇 분마다 페이지를 새로고침하여 인그레스에 대한 최신 상태를 확인하세요. 인그레스가 프로비저닝되면 '확인' 상태 또는 '모든 백엔드 서비스가 비정상 상태'라는 오류가 표시될 수 있습니다. GKE가 프로비저닝하는 리소스 중 하나는 기본 상태 확인입니다. 오류 메시지가 표시되면 인그레스가 프로비저닝되고 기본 상태 확인이 실행되었음을 나타냅니다. '확인' 상태 또는 오류가 표시되면 다음 섹션을 진행하여 부하 분산기의 상태 확인을 구성합니다.

IAP 액세스 목록 구성

IAP의 액세스 정책에 사용자를 추가합니다.

gcloud beta iap web add-iam-policy-binding \
    --member=user:EMAIL_ADDRESS \
    --role=roles/iap.httpsResourceAccessor

여기서 EMAIL_ADDRESS는 alice@example.com과 같이 사용자의 전체 이메일 주소입니다.

  1. 부하 분산기를 테스트합니다. 브라우저에서 다음으로 이동합니다.

    http://DOMAIN_NAME/productpage

    여기서 DOMAIN_NAME은 외부 고정 IP 주소로 구성한 도메인 이름입니다.

    Bookinfo 애플리케이션의 productpage가 표시됩니다. 페이지를 여러 번 새로고침하면 여러 버전의 리뷰가 라운드 로빈 스타일로 표시됩니다(빨간색 별, 검은색 별, 별 없음).

    Bookinfo에 대한 https 액세스 권한도 테스트해야 합니다.

서비스 메시에서 RCToken 지원 사용 설정

기본적으로 IAP는 OAuth 클라이언트로 범위가 지정된 JSON 웹 토큰(JWT)을 생성합니다. Anthos Service Mesh의 경우, JWT이지만 구성 가능한 대상이 포함된 RequestContextToken(RCToken)을 생성하도록 IAP를 구성할 수 있습니다. RCToken을 사용하면 JWT의 대상을 임의 문자열로 구성할 수 있습니다. 이 문자열은 Anthos Service Mesh 정책에서 세밀한 승인을 위해 사용할 수 있습니다.

RCToken을 구성하려면 다음 안내를 따르세요.

  1. 프로젝트 번호의 환경 변수를 만듭니다. 프로젝트를 만들 때 자동으로 생성되고 프로젝트에 할당된 번호입니다. 프로젝트 ID와는 다릅니다.

    export PROJECT_NUMBER=YOUR_PROJECT_NUMBER

  2. RCToken 대상의 환경 변수를 만듭니다. 원하는 어떤 문자열이라도 가능합니다.

    export RCTOKEN_AUD="your-rctoken-aud"

  3. 기존 IAP 설정을 가져옵니다.

    gcloud beta iap settings get --format json \
--project=YOUR_PROJECT_NUMBER --resource-type=compute --service=BACKEND_SERVICE > iapSettings.json

  4. IapSettings를 RCToken 대상으로 업데이트합니다.

    cat iapSettings.json | jq --arg RCTOKEN_AUD_STR $RCTOKEN_AUD \
'. + {applicationSettings: {csmSettings: {rctokenAud: $RCTOKEN_AUD_STR}}}' \
> updatedIapSettings.json

    gcloud beta iap settings set updatedIapSettings.json --format json \
--project=YOUR_PROJECT_NUMBER --resource-type=compute --service=BACKEND_SERVICE

  5. Istio 인그레스 게이트웨이에서 RCToken 인증을 사용 설정합니다.

    cat <<EOF | kubectl apply -f -
apiVersion: "security.istio.io/v1beta1"
kind: "RequestAuthentication"
metadata:
  name: "ingressgateway-jwt-policy"
  namespace: "istio-system"
spec:
  selector:
    matchLabels:
      app: istio-ingressgateway
  jwtRules:
  - issuer: "https://cloud.google.com/iap"
    jwksUri: "https://www.gstatic.com/iap/verify/public_key-jwk"
    audiences:
    - $RCTOKEN_AUD
    fromHeaders:
    - name: ingress-authorization
      prefix: "Istio "
    outputPayloadToHeader: "verified-jwt"
    forwardOriginalToken: true
EOF

  6. 선택사항: 유효한 JWT가 없는 요청이 거부되었는지 확인합니다.

      apiVersion: security.istio.io/v1beta1
  kind: AuthorizationPolicy
  metadata:
    name: iap-gateway-require-jwt
    namespace: istio-system
  spec:
    selector:
      matchLabels:
        app: istio-iap-ingressgateway
    action: DENY
    rules:
      - from:
          - source:
              notRequestPrincipals: ["*"]

  7. Bookinfo productpage에 대한 요청이 여전히 성공적인지 확인합니다.

    http://DOMAIN_NAME/productpage

정책을 테스트하려면 다음을 수행하세요.

  1. IapSettings 요청 객체를 만들되 rctokenAud를 다른 문자열로 설정합니다.

    echo $(cat <<EOF
{
   "name": "projects/YOUR_PROJECT_NUMBER/iap_web/compute/services/BACKEND_SERVICE",
   "applicationSettings": {
     "csmSettings": {
       "rctokenAud": "some-other-arbitrary-string"
     }
   }
 }
EOF
) > request.txt

  2. IapSettings API를 호출하여 RCtoken 대상을 설정합니다.

    gcloud beta iap settings update request.txt --project=YOUR_PROJECT_NUMBER --resource-type=compute --service=${BACKEND_SERVICE}

  3. Bookinfo productpage에 요청하고 요청이 실패합니다.

    http://DOMAIN_NAME/productpage

삭제

이 튜토리얼을 완료한 후에는 계정에 원치 않는 요금이 청구되지 않도록 다음 리소스를 삭제하세요.

  1. 관리형 인증서를 삭제합니다.

    kubectl delete managedcertificates example-certificate

  2. 인그레스를 삭제하면 부하 분산 리소스 할당이 해제됩니다.

    kubectl -n istio-system delete ingress example-ingress

  3. 고정 IP 주소를 삭제합니다.

    gcloud compute addresses delete example-static-ip --global

    이렇게 하려면 도메인 등록기관에서 IP 주소를 삭제해야 합니다.

  4. 클러스터를 삭제합니다. 그러면 컴퓨팅 인스턴스, 디스크, 네트워크 리소스와 같이 클러스터를 구성하는 리소스가 삭제됩니다.

    gcloud container clusters delete ${CLUSTER_NAME}