Jump Start 솔루션: Kubernetes에 배포된 전자상거래 웹 앱

Last reviewed 2023-08-29 UTC

이 가이드에서는 Kubernetes에 배포된 전자상거래 웹 앱 점프 스타트 솔루션을 이해, 배포, 사용하는 방법을 안내합니다. 이 솔루션에서는 공개적으로 표시되는 매장 웹사이트를 사용하여 소매업체를 위한 전자상거래 애플리케이션을 빌드하고 실행하는 방법을 보여줍니다. 이를 통해 사용량 급증(예: 할인과 같이 이용량이 갑작스럽게 증가하는 대규모 이벤트)을 처리하기 위해 확장할 수 있고 방문자의 위치를 기반으로 요청을 관리할 수 있어 온라인 매장에서 지리적으로 분산된 고객층에 일관된 서비스를 제공하는 데 도움이 되는 애플리케이션을 만드는 방법을 알 수 있습니다.

이 애플리케이션은 Google Cloud의 Google 관리형 Kubernetes 클러스터에서 실행되는 여러 개의 작은 서비스 또는 마이크로서비스로 배포됩니다. 각 서비스는 웹 프런트엔드 제공 또는 장바구니 관리와 같은 특정 태스크를 수행합니다.

이 솔루션은 웹사이트를 관리할 때 Kubernetes 기능에서 제공하는 구성 가능성과 유연성이 필요한 경우 좋은 출발점이 될 수 있습니다. 이와 같은 마이크로서비스 아키텍처는 여러 팀 또는 개발자가 애플리케이션의 다양한 부분을 개별적으로 만들고 관리할 수 있으므로 대규모 엔지니어링팀에 특히 유용합니다. 내 조직에 해당되지 않는 경우이거나 잘 모르겠다면 Cloud Run에 배포된 전자상거래 웹 앱 솔루션을 사용해 볼 수도 있습니다. 이 솔루션은 Kubernetes를 사용할 필요 없이 Cloud Run으로 유사한 온라인 매장 애플리케이션을 배포하며 마이크로서비스를 사용하지 않습니다.

이 문서에서는 사용자가 Google Cloud는 아니더라도 기본 클라우드 개념에 익숙하다고 가정합니다. Terraform 사용 경험이 도움이 됩니다.

Cymbal Shops 정보

이 솔루션에 사용된 애플리케이션은 Cymbal Shops라는 가상의 소매 체인점이 운영하는 데모 온라인 매장입니다. 방문자가 회사 제품을 둘러보고 장바구니에 제품을 추가하고 결제 단계로 이동하여 제품을 구매할 수 있는 웹사이트가 포함되어 있습니다. 솔루션을 배포한 후 직접 사용해 볼 수 있습니다(실제로 제품을 구매할 수는 없음). Cymbal Shops는 미국과 유럽 모두에 고객이 있으므로 일부 방문자에게 속도 저하가 발생하지 않는 웹사이트 솔루션이 필요합니다. Cymbal Shops에서는 종종 할인을 진행하고 연말연시에 많은 쇼핑객이 방문하기 때문에 실제로 필요하지 않은 Cloud 리소스에 비용을 지출하지 않고도 속도 저하 또는 다른 문제 없이 트래픽 급증을 처리할 수 있는 웹사이트가 필요합니다.

사용 제품

이 솔루션에는 다음과 같은 Google Cloud 제품이 사용됩니다.

Google Kubernetes Engine(GKE): Google 인프라를 사용하여 컨테이너화된 애플리케이션을 배포, 관리, 확장하는 관리형 환경입니다.
멀티 클러스터 인그레스: 클러스터와 리전에서 공유 부하 분산 리소스 배포를 지원하는 Google 호스팅 서비스입니다.

이러한 제품의 구성 방법과 어떻게 상호작용하는지에 대한 자세한 내용은 다음 섹션을 참조하세요.

아키텍처

이 솔루션은 공개적으로 액세스할 수 있는 웹 인터페이스를 사용하여 전자상거래 애플리케이션을 배포합니다. 다음 다이어그램은 이 솔루션으로 배포되는 Google Cloud 리소스의 아키텍처를 보여줍니다.

Kubernetes에 배포된 전자상거래 웹 앱 Jump Start 솔루션의 다이어그램

요청 흐름

다음은 배포된 애플리케이션의 요청 처리 흐름입니다. 흐름의 단계에는 앞의 아키텍처 다이어그램에 표시된 대로 번호가 지정되어 있습니다.

사용자가 브라우저의 Cymbal Shops 웹사이트와 상호작용하여 Google Cloud 부하 분산기에 HTTP 요청을 전송합니다. Google 네트워크 에지에 배치되어 트래픽을 Google Cloud 내의 적절한 대상으로 전달하는 부하 분산기입니다.
사용자 요청이 애플리케이션 프런트엔드가 실행 중인 GKE 클러스터 2개 중 하나로 전달됩니다. 기본적으로 이 클러스터는 사용자와 가장 가까운 클러스터입니다. 앞선 다이어그램에서 사용자와 가장 가까운 클러스터는 유럽에 있으므로 이 위치로 요청이 전송됩니다. 다음 섹션에서는 멀티 클러스터 인그레스 서비스를 사용하여 이를 구성하는 방법을 자세히 알아봅니다.
Cymbal Shops 애플리케이션의 나머지 부분을 구성하는 하나 이상의 백엔드 마이크로서비스에서 이 요청을 처리합니다.
애플리케이션의 cartservice가 Redis 데이터베이스를 사용하여 사용자가 사이트를 방문 중인 동안 장바구니 상태를 저장합니다. Redis 데이터베이스 1개가 미국 클러스터에만 배포됩니다.

구성요소 및 구성

Cymbal Shops 앱은 Google Kubernetes Engine(GKE) 클러스터에서 실행됩니다. Kubernetes는 컨테이너화된 애플리케이션 배포, 확장, 관리를 자동화하는 오픈소스 시스템으로, 애플리케이션이 환경의 영향을 받지 않는 방식으로 종속 항목과 함께 패키징(또는 컨테이너화)됩니다. Kubernetes 클러스터는 컨테이너를 실행하는 데 사용하는 머신 집합으로서 이를 노드라고 부릅니다. Autopilot을 사용하는 GKE는 Google의 확장 가능하고 완전 자동화된 Kubernetes 서비스로서, 클러스터가 Google Cloud의 Compute Engine 가상 머신으로 구성됩니다.

Cymbal Shops 솔루션에는 다음 구성요소가 포함됩니다.

다음과 같은 GKE 클러스터 3개:
- 애플리케이션의 멀티 클러스터 인그레스 서비스를 관리하는 데 사용되는 구성 클러스터라고 하는 클러스터 하나. 멀티 클러스터 인그레스는 애플리케이션의 단일 가상 IP 주소로 지정된 클러스터 집합에서 트래픽을 부하 분산할 수 있게 해주는 서비스입니다.
- 서로 다른 리전의 클러스터 2개가 Cymbal Shops 마이크로서비스를 실행하는 데 사용됩니다. 각 클러스터에는 같은 Kubernetes 네임스페이스에서 실행되는 동일한 Cymbal Shops 서비스가 있습니다. 이를 통해 멀티 클러스터 인그레스에서 두 프런트엔드 서비스를 동일한 서비스인 것처럼 취급하여 웹사이트 방문자 근접성에 따라 트래픽을 전송할 클러스터를 선택할 수 있습니다. 또한 멀티 클러스터 인그레스를 사용하여 트래픽을 정상 클러스터로만 전송하거나 업그레이드 시 점진적 출시를 수행하는 등의 작업을 수행할 수도 있습니다.
GKE 클러스터 3개 모두에서 Autopilot이 사용 설정되었습니다. Autopilot은 Google에서 노드, 확장, 보안, 기타 사전 구성된 설정을 포함하여 클러스터 구성을 관리하는 클러스터를 만들 수 있게 해주는 GKE 기능입니다. Cymbal Shops의 경우 평소보다 사이트 방문자가 많으면 클러스터가 애플리케이션 요구사항에 따라 사용하는 CPU, 메모리, 스토리지의 양을 자동으로 확장할 수 있습니다. Autopilot을 사용 설정하면 Cymbal Shops 플랫폼 관리자가 평소에 실제로 필요한 것보다 많은 Cloud 리소스 요청(및 비용 지불)이나 성수기에 클러스터에서 트래픽 증가를 처리하기 위한 리소스 부족에 대해 걱정할 필요가 없습니다.

비용

기본 리소스 위치와 예상 사용 시간에 따른 월별 예상 비용은 Kubernetes에 배포된 전자상거래 웹 앱 페이지를 참조하세요. GKE, Autopilot, 멀티 클러스터 인그레스의 가격 책정에 대한 자세한 내용은 GKE 가격 책정 페이지를 참조하세요.

시작하기 전에

이 솔루션을 배포하려면 먼저 Google Cloud 프로젝트와 일부 IAM 권한이 필요합니다.

Google Cloud 프로젝트 만들기 또는 선택

솔루션을 배포할 때 리소스가 배포되는 Google Cloud 프로젝트를 선택합니다. 기존 프로젝트를 사용할지 아니면 새 프로젝트를 만들지 결정할 때는 다음 요소를 고려하세요.

솔루션에 대한 프로젝트를 만들 경우 배포가 더 이상 필요하지 않으면 프로젝트를 삭제하고 비용이 계속 청구되지 않도록 할 수 있습니다. 기존 프로젝트를 사용하는 경우 더 이상 필요하지 않을 때 배포를 삭제해야 합니다.
새 프로젝트를 사용하면 프로덕션 워크로드에 사용되는 리소스와 같이 이전에 프로비저닝된 리소스와의 충돌을 방지할 수 있습니다.

새 프로젝트에 솔루션을 배포하려면 배포를 시작하기 전에 프로젝트를 만듭니다.

프로젝트를 만들려면 다음 단계를 수행합니다.

In the Google Cloud console, go to the project selector page.

Go to project selector
Click Create project.
Name your project. Make a note of your generated project ID.
Edit the other fields as needed.
Click Create.

필수 IAM 권한 가져오기

배포 프로세스를 시작하려면 다음 표에 나온 Identity and Access Management(IAM) 권한이 필요합니다. 솔루션을 배포하려는 프로젝트에 대한 roles/owner 기본 역할이 있으면 이미 모든 필수 권한을 갖춘 것입니다. roles/owner 역할이 없으면 관리자에게 연락하여 해당 권한(또는 이러한 권한이 포함된 역할)을 부여해 달라고 요청하세요.

필수 IAM 권한	필수 권한이 포함된 사전 정의된 역할
`serviceusage.services.enable`	서비스 사용량 관리자 (`roles/serviceusage.serviceUsageAdmin`)
`iam.serviceAccounts.create`	서비스 계정 관리자 (`roles/iam.serviceAccountAdmin`)
`resourcemanager.projects.setIamPolicy`	프로젝트 IAM 관리자 (`roles/resourcemanager.projectIamAdmin`)
`config.deployments.create` `config.deployments.list`	Cloud Infrastructure Manager 관리자 (`roles/config.admin`)

솔루션을 위해 생성된 서비스 계정

콘솔을 통해 배포 프로세스를 시작하면 Google이 솔루션 배포를 위해 서비스 계정을 자동으로 생성합니다(이후 필요할 때 배포 삭제 가능). 이 서비스 계정에는 특정 일시적으로 IAM 권한이 할당됩니다. 즉, 솔루션 배포 및 삭제 작업이 완료되면 권한이 자동으로 취소됩니다. 이 가이드 뒷부분에서 설명한 대로 배포를 삭제한 후에는 서비스 계정을 삭제하는 것이 좋습니다.

서비스 계정에 할당된 역할 보기

Google Cloud 프로젝트 또는 조직 관리자에게 이 정보가 필요한 경우를 대비해 여기에 역할을 나열해 두었습니다.

roles/container.admin
roles/gkehub.editor
roles/compute.networkAdmin
roles/iam.serviceAccountAdmin
roles/iam.serviceAccountUser
roles/resourcemanager.projectIamAdmin
roles/serviceusage.serviceUsageAdmin

솔루션 배포

최소한의 노력으로 이 솔루션을 배포할 수 있도록 GitHub에서 Terraform 구성을 제공합니다. Terraform 구성은 솔루션에 필요한 모든 Google Cloud 리소스를 정의합니다.

다음 방법 중 하나를 사용하여 솔루션을 배포할 수 있습니다.

콘솔을 통해: 기본 구성으로 솔루션을 사용해 보고 작동 방식을 확인하려면 이 방법을 사용합니다. Cloud Build에서 솔루션에 필요한 모든 리소스를 배포합니다. 배포된 솔루션이 더 이상 필요하지 않으면 콘솔을 통해 이 솔루션을 삭제할 수 있습니다. 솔루션을 배포한 후 만든 모든 리소스를 개별적으로 삭제해야 할 수도 있습니다.

이 배포 방법을 사용하려면 콘솔을 통해 배포의 안내를 따르세요.
Terraform CLI 사용: 솔루션을 맞춤설정하거나 코드형 인프라(IaC) 방식을 사용하여 리소스 프로비저닝과 관리를 자동화하려면 이 방법을 사용합니다. GitHub에서 Terraform 구성을 다운로드하고 원하는 경우 필요에 따라 코드를 맞춤설정한 후 Terraform CLI를 사용하여 솔루션을 배포합니다. 솔루션을 배포한 후에도 계속 Terraform을 사용하여 솔루션을 관리할 수 있습니다.

이 배포 방법을 사용하려면 Terraform CLI를 사용하여 배포의 안내를 따르세요.

콘솔을 통해 배포

사전 구성된 솔루션을 배포하려면 다음 단계를 완료하세요.

Google Cloud 점프 스타트 솔루션 카탈로그에서 Kubernetes에 배포된 전자상거래 웹 앱 솔루션 페이지로 이동합니다.

Kubernetes에 배포된 전자상거래 웹 앱 솔루션 페이지로 이동
솔루션의 예상 비용 및 예상 배포 시간 등 페이지에 제공된 정보를 검토합니다.
솔루션 배포를 시작할 준비가 되면 배포를 클릭합니다.

단계별 대화형 가이드가 표시됩니다.
대화형 가이드의 단계를 완료합니다.

배포에 입력하는 이름을 기록해 둡니다. 이 이름은 나중에 배포를 삭제할 때 필요합니다.

배포를 클릭하면 솔루션 배포 페이지가 표시됩니다. 이 페이지의 상태 필드에 배포 중이 표시됩니다.
솔루션이 배포될 때까지 기다립니다.

배포가 실패하면 상태 필드에 실패가 표시됩니다. Cloud Build 로그를 사용하여 오류를 진단할 수 있습니다. 자세한 내용은 콘솔을 통해 배포 시 오류를 참조하세요.

배포가 완료되면 상태 필드가 배포됨으로 변경됩니다.

솔루션이 더 이상 필요하지 않으면 Google Cloud 리소스 비용이 계속 청구되지 않도록 배포를 삭제할 수 있습니다. 자세한 내용은 배포 삭제를 참조하세요.

솔루션을 테스트하고 탐색하는 방법을 알아보려면 Cymbal Shops 살펴보기로 계속 진행하세요.

Terraform CLI를 사용하여 배포

이 섹션에서는 솔루션을 맞춤설정하거나 Terraform CLI를 사용하여 솔루션 프로비저닝과 관리를 자동화하는 방법을 설명합니다. Terraform CLI를 사용하여 배포하는 솔루션은 Google Cloud 콘솔의 솔루션 배포 페이지에 표시되지 않습니다.

더 이상 배포가 필요하지 않으면 Terraform CLI를 사용하여 삭제의 설명대로 Terraform CLI를 사용하여 배포를 삭제할 수 있습니다.

Terraform 클라이언트 설정

Cloud Shell 또는 로컬 호스트에서 Terraform을 실행할 수 있습니다. 이 가이드에서는 Google Cloud에서 인증을 수행하기 위해 Terraform이 사전 설치되어 구성된 Cloud Shell에서 Terraform을 실행하는 방법을 설명합니다.

이 솔루션의 Terraform 코드는 GitHub 저장소에서 사용할 수 있습니다.

GitHub 저장소를 Cloud Shell에 클론합니다.

GitHub 저장소를 Cloud Shell로 다운로드하는 것을 확인하는 메시지가 표시됩니다.
확인을 클릭합니다.

Cloud Shell이 별도의 브라우저 탭에서 시작되고 Terraform 코드가 Cloud Shell 환경의 $HOME/cloudshell_open 디렉터리에 다운로드됩니다.
Cloud Shell에서 현재 작업 디렉터리가 $HOME/cloudshell_open/terraform-ecommerce-microservices-on-gke/infra인지 확인합니다. 이 디렉터리에 솔루션에 대한 Terraform 구성 파일이 포함되어 있습니다. 해당 디렉터리로 변경해야 하는 경우 다음 명령어를 실행합니다.
```
cd $HOME/cloudshell_open/terraform-ecommerce-microservices-on-gke/infra
```
다음 명령어를 실행하여 Terraform을 초기화합니다.
```
terraform init
```
다음 메시지가 표시될 때까지 기다립니다.
```
Terraform has been successfully initialized!
```

Terraform 변수 구성

다운로드한 Terraform 코드에는 요구사항에 따라 배포를 맞춤설정하는 데 사용할 수 있는 변수가 포함되어 있습니다. 예를 들어 Google Cloud 프로젝트와 솔루션을 배포할 리전을 지정할 수 있습니다.

현재 작업 디렉터리가 $HOME/cloudshell_open/terraform-ecommerce-microservices-on-gke/infra인지 확인합니다. 그렇지 않으면 해당 디렉터리로 이동합니다.
동일한 디렉터리에서 terraform.tfvars라는 텍스트 파일을 만듭니다.
terraform.tfvars 파일에서 다음 코드 스니펫을 복사하고 필수 변수의 값을 설정합니다.
- 코드 스니펫에서 주석으로 제공된 안내를 따릅니다.
- 이 코드 스니펫에는 값을 설정해야 하는 변수만 포함됩니다. Terraform 구성에는 기본값이 있는 다른 변수가 포함됩니다. 모든 변수 및 기본값을 검토하려면 $HOME/cloudshell_open/terraform-ecommerce-microservices-on-gke/infra 디렉터리에서 사용할 수 있는 variables.tf 파일을 참조하세요.
- terraform.tfvars 파일에 설정한 각 값이 variables.tf 파일에 선언된 변수 유형과 일치하는지 확인합니다. 예를 들어 variables.tf 파일의 변수에 정의된 유형이 bool인 경우 terraform.tfvars 파일에서 해당 변수 값으로 true 또는 false를 지정해야 합니다.

# This is an example of the terraform.tfvars file.
# The values in this file must match the variable types declared in variables.tf.
# The values in this file override any defaults in variables.tf.

# ID of the project in which you want to deploy the solution
project_id = "PROJECT_ID"

project_id 변수에 할당할 수 있는 값에 대한 자세한 내용은 프로젝트 식별을 참조하세요.

Terraform 구성 검증 및 검토

현재 작업 디렉터리가 $HOME/cloudshell_open/terraform-ecommerce-microservices-on-gke/infra인지 확인합니다. 그렇지 않으면 해당 디렉터리로 이동합니다.
Terraform 구성에 오류가 없는지 확인합니다.
```
terraform validate
```
명령어가 오류를 반환하면 구성에서 수정이 필요한 항목을 변경한 후 terraform validate 명령어를 다시 실행합니다. 명령어가 다음 메시지를 반환할 때까지 이 단계를 반복합니다.
```
Success! The configuration is valid.
```
구성에서 정의된 리소스를 검토합니다.
```
terraform plan
```
앞에서 설명한 대로 terraform.tfvars 파일을 만들지 않은 경우 Terraform에서 기본값이 없는 변수의 값을 입력하라는 메시지를 표시합니다. 필수 값을 입력합니다.

terraform plan 명령어 출력은 구성을 적용할 때 Terraform이 프로비저닝하는 리소스 목록입니다.

변경하려면 구성을 수정한 후 terraform validate 및 terraform plan 명령어를 다시 실행합니다.

리소스 프로비저닝

Terraform 구성을 더 이상 변경할 필요가 없으면 리소스를 배포합니다.

현재 작업 디렉터리가 $HOME/cloudshell_open/terraform-ecommerce-microservices-on-gke/infra인지 확인합니다. 그렇지 않으면 해당 디렉터리로 이동합니다.
Terraform 구성을 적용합니다.
```
terraform apply
```
앞에서 설명한 대로 terraform.tfvars 파일을 만들지 않은 경우 Terraform에서 기본값이 없는 변수의 값을 입력하라는 메시지를 표시합니다. 필수 값을 입력합니다.

Terraform에서 생성될 리소스 목록을 표시합니다.
작업을 수행하라는 메시지가 표시되면 yes를 입력합니다.

Terraform에서 배포 진행 상황을 보여주는 메시지가 표시됩니다.

배포를 완료할 수 없으면 Terraform에서 실패를 일으킨 오류가 표시됩니다. 오류 메시지를 검토하고 구성을 업데이트하여 오류를 해결합니다. 그런 후 terraform apply 명령어를 다시 실행합니다. Terraform 오류 해결에 도움이 필요하면 Terraform CLI를 사용하여 솔루션 배포 시 오류를 참조하세요.

모든 리소스가 만들어지면 Terraform에 다음 메시지가 표시됩니다.
```
Apply complete!
```

솔루션을 테스트하고 탐색하는 방법을 알아보려면 Cymbal Shops 살펴보기로 계속 진행하세요.

Cymbal Shops 살펴보기

수고하셨습니다. Cymbal Shops 웹사이트를 배포했습니다. Cymbal Shops 웹사이트를 방문하여 둘러본 후 Google Cloud 콘솔에서 솔루션이 어떻게 작동하는지 살펴볼 수 있습니다. 제공된 주소에 사이트가 표시되려면 애플리케이션이 성공적으로 배포된 후 약 5분 정도 걸릴 수 있습니다.

Cymbal Shops 사이트 방문

Cymbal Shops 사이트를 찾는 방법은 솔루션 배포 방법에 따라 달라집니다.

콘솔 배포

콘솔을 통해 솔루션을 배포한 경우 솔루션 배포 페이지에서 직접 사이트를 방문할 수 있습니다.

솔루션 배포를 마쳤으면 웹 앱 보기를 클릭하여 사이트를 방문합니다. 그렇지 않으면 배포의 작업 메뉴를 클릭한 후 웹 앱 보기를 선택합니다.

Terraform 배포

Terraform CLI를 사용하여 솔루션을 배포한 경우 먼저 멀티 클러스터 인그레스에서 제공한 프런트엔드의 IP 주소를 찾습니다. 가장 간단한 방법인 Google Cloud CLI를 사용하여 명령줄을 통해 찾거나 Google Cloud 콘솔에서 이를 찾을 수 있습니다.

gcloud

최신 버전의 Google Cloud CLI가 설치되었는지 확인합니다. 도구가 이미 설치되어 있는 Cloud Shell에서 명령어를 실행하는 것이 좋습니다.

다음 명령어를 실행하여 IP 주소를 가져오고 PROJECT_ID를 Google Cloud 프로젝트 ID로 바꿉니다.

gcloud compute addresses list \
   --filter="name=('multi-cluster-ingress-ip-address-1')" \
   --project=PROJECT_ID

명령어에서 반환한 주소를 복사하여 브라우저에 붙여넣어 웹사이트에 방문합니다.

콘솔

Google Cloud 콘솔에서 Google Kubernetes Engine 페이지로 이동합니다.

Google Kubernetes Engine으로 이동
탐색 메뉴에서 객체 브라우저를 선택합니다.
객체 브라우저 목록에서 networking.gke.io 섹션을 펼친 후 MultiClusterIngress를 선택합니다. 이 섹션을 찾으려면 더 스크롤해야 할 수도 있습니다.
MultiClusterIngress 페이지에서 frontend-multi-cluster-ingress를 선택합니다.
frontend-multi-cluster-ingress 세부정보 페이지에서 IP 주소를 찾습니다. 이 주소를 클릭하여 웹사이트에 방문합니다.

웹사이트 살펴보기

이제 고객이 보는 것처럼 Cymbal Shops 웹사이트와 상호작용할 수 있습니다. 여기에는 제품 탐색, 장바구니에 제품 추가, 게스트로 결제 등이 포함됩니다.

솔루션 살펴보기

배포된 Google Cloud 리소스와 구성을 보려면 대화형 둘러보기를 사용합니다.

둘러보기 시작

배포 삭제

솔루션 배포가 더 이상 필요하지 않으면 만든 리소스에 대해 요금이 계속 청구되지 않도록 배포를 삭제합니다.

콘솔을 통해 삭제

콘솔을 통해 솔루션을 배포한 경우 다음 절차를 따릅니다.

Google Cloud 콘솔에서 솔루션 배포 페이지로 이동합니다.

솔루션 배포로 이동
삭제할 배포가 포함된 프로젝트를 선택합니다.
삭제할 배포를 찾습니다.
작업을 클릭한 다음 삭제를 선택합니다.
배포 이름을 입력한 후 확인을 클릭합니다.

상태 필드에 삭제 중이 표시됩니다.

삭제가 실패하면 배포 삭제 시 오류의 문제 해결 안내를 참조하세요.

솔루션에 사용한 Google Cloud 프로젝트가 더 이상 필요하지 않으면 프로젝트를 삭제할 수 있습니다. 자세한 내용은 선택사항: 프로젝트 삭제를 참조하세요.

Terraform CLI를 사용하여 삭제

Terraform CLI를 사용하여 솔루션을 배포한 경우 다음 절차를 수행합니다.

Cloud Shell에서 현재 작업 디렉터리가 $HOME/cloudshell_open/terraform-ecommerce-microservices-on-gke/infra인지 확인합니다. 그렇지 않으면 해당 디렉터리로 이동합니다.
Terraform에서 프로비저닝한 리소스를 삭제합니다.
```
terraform destroy
```
Terraform에서 소멸될 리소스 목록을 표시합니다.
작업을 수행하라는 메시지가 표시되면 yes를 입력합니다.

Terraform에서 진행 상황을 보여주는 메시지가 표시됩니다. 모든 리소스가 삭제되면 Terraform에 다음 메시지가 표시됩니다.
```
Destroy complete!
```
삭제가 실패하면 배포 삭제 시 오류의 문제 해결 안내를 참조하세요.

선택사항: 프로젝트 삭제

새 Google Cloud 프로젝트에 솔루션을 배포했고 프로젝트가 더 이상 필요 없으면 다음 단계에 따라 이를 삭제합니다.

Google Cloud 콘솔에서 리소스 관리 페이지로 이동합니다.
리소스 관리로 이동
프로젝트 목록에서 삭제할 프로젝트를 선택하고 삭제를 클릭합니다.
프롬프트에서 프로젝트 ID를 입력한 후 종료를 클릭합니다.

프로젝트를 보존하기로 결정한 경우에는 다음 섹션에 설명된 대로 이 솔루션을 위해 만든 서비스 계정을 삭제합니다.

선택사항: 서비스 계정 삭제

솔루션에 사용한 프로젝트를 삭제한 경우에는 이 섹션을 건너뜁니다.

이 가이드의 앞에서 설명한 것처럼 솔루션을 배포할 때 서비스 계정이 자동으로 생성되었습니다. 서비스 계정에 일시적으로 특정 IAM 권한이 할당되었습니다. 즉, 솔루션 배포 및 삭제 작업이 완료된 후 권한이 자동으로 취소되었지만 서비스 계정은 삭제되지 않았습니다. 이 서비스 계정을 삭제하는 것이 좋습니다.

Google Cloud 콘솔을 통해 솔루션을 배포했으면 솔루션 배포 페이지로 이동합니다. 이미 해당 페이지에 있으면 브라우저를 새로고침합니다. 백그라운드에서 프로세스가 트리거되어 서비스 계정이 삭제됩니다. 추가 작업은 필요 없습니다.
Terraform CLI를 사용하여 솔루션을 배포한 경우 다음 단계를 완료합니다.
1. Google Cloud 콘솔에서 서비스 계정 페이지로 이동합니다.
  
  서비스 계정으로 이동
2. 솔루션에 사용한 프로젝트를 선택합니다.
3. 삭제하려는 서비스 계정을 선택합니다.
  
  솔루션에서 만든 서비스 계정의 이메일 ID 형식은 다음과 같습니다.
```
goog-sc-DEPLOYMENT_NAME-NNN@PROJECT_ID.iam.gserviceaccount.com
```
  이메일 ID에는 다음 값이 포함됩니다.
  - DEPLOYMENT_NAME: 배포 이름입니다.
  - NNN: 임의의 3자리 숫자입니다.
  - PROJECT_ID: 솔루션을 배포한 프로젝트의 ID입니다.
4. 삭제를 클릭합니다.

오류 문제 해결하기

오류 진단 및 해결을 위해 수행할 수 있는 작업은 배포 방법 및 오류 복잡성에 따라 달라집니다.

콘솔을 통해 배포 시 오류

콘솔을 사용할 때 배포가 실패하면 다음을 수행합니다.

솔루션 배포 페이지로 이동합니다.

배포가 실패하면 상태 필드에 실패가 표시됩니다.
실패를 일으킨 오류에 대한 세부정보를 보려면 다음 안내를 따르세요.
1. 작업을 클릭합니다.
2. Cloud Build 로그 보기를 선택합니다.
Cloud Build 로그를 검토하고 적절한 조치에 따라 실패를 일으킨 문제를 해결합니다.

Terraform CLI를 사용하여 배포 시 오류

Terraform 사용 시 배포가 실패하면 terraform apply 명령어 출력에 문제 진단을 위해 검토할 수 있는 오류 메시지가 포함됩니다.

다음 섹션의 예시에서는 Terraform을 사용할 때 발생할 수 있는 배포 오류를 보여줍니다.

Error creating Feature: Resource already exists

멀티 클러스터 인그레스가 이미 구성된 프로젝트에 이 솔루션을 배포하면 다음과 비슷한 오류가 표시됩니다.

Error: Error creating Feature: Resource already exists - apply blocked by lifecycle params: &beta.Feature{Name:(*string)(0xc0017d1d00), Labels:map[string]string{}, ResourceState:(*beta.FeatureResourceState)(0xc001b9d890), Spec:(*beta.FeatureSpec)(0xc001792f00), State:(*beta.FeatureState)(0xc001792f50), CreateTime:(*string)(0xc001792fd0), UpdateTime:(*string)(0xc001792ff0), DeleteTime:(*string)(nil), Project:(*string)(0xc0017d1d40), Location:(*string)(0xc0017d1ca0)}.
running tf apply: terraform apply failed: running terraform failed: exit status 1

이 솔루션은 새 구성 GKE 클러스터를 선택한 프로젝트에 배포하므로 오류가 발생합니다. 프로젝트(특히 프로젝트의 Fleet)에는 멀티 클러스터 인그레스를 구성하는 단일 구성 클러스터만 포함될 수 있습니다. 이 문제를 해결하려면 기존 멀티 클러스터 인그레스 구성 클러스터를 삭제하거나 새 프로젝트에서 다시 시작합니다.

Error: job: default/kubernetes-manifests-deployer-job is in failed state

이 솔루션의 Terraform은 kubernetes-manifests-deployer-job이라는 Kubernetes 작업을 배포합니다. 이 Kubernetes 작업은 이 솔루션에 필요한 Kubernetes 리소스(Cymbal Shops 마이크로서비스, Redis 데이터베이스 등)를 3개의 클러스터 모두에 배포합니다.

이 Kubernetes 작업은 복잡하고 세 클러스터 모두의 준비 상태를 사용하므로 간혹 다음과 유사한 오류 메시지와 함께 실패할 수 있습니다.

kubernetes_job.kubernetes_manifests_deployer_job: Creation errored after 5m8s
...
Error: job: default/kubernetes-manifests-deployer-job is in failed state

이 오류가 발생한 경우 배포의 나머지 부분이 성공적으로 완료되지 않았더라도 솔루션의 일부 Google Cloud 인프라가 이미 프로비저닝되었을 수 있습니다. 이러한 리소스에 대한 요금이 청구되지 않도록 프로젝트를 삭제하고 별도의 새 프로젝트에서 배포를 다시 시도하는 것이 좋습니다.

API가 사용 설정되지 않는 오류

프로젝트를 만든 후 솔루션을 새 프로젝트에 즉시 배포하려고 하면 다음과 같은 오류가 표시되면서 배포가 실패할 수 있습니다.

Error: Error creating Network: googleapi: Error 403: Compute Engine API has not
been used in project PROJECT_ID before or it is disabled. Enable it by visiting
https://console.developers.google.com/apis/api/compute.googleapis.com/overview?project=PROJECT_ID
then retry. If you enabled this API recently, wait a few minutes for the action
to propagate to our systems and retry.

이 오류가 발생하면 몇 분 정도 기다린 후 terraform apply 명령어를 다시 실행합니다.

배포 삭제 시 오류

경우에 따라 배포를 삭제하려는 시도가 실패할 수 있습니다.

콘솔을 통해 솔루션을 배포한 후 솔루션에서 프로비저닝한 리소스를 변경한 후 배포를 삭제하려고 하면 삭제가 실패할 수 있습니다. 솔루션 배포 페이지의 상태 필드에 실패가 표시되고 Cloud Build 로그에 오류의 원인이 표시됩니다.
Terraform CLI를 사용하여 솔루션을 배포한 후 Terraform이 아닌 인터페이스(예: 콘솔)를 사용하여 리소스를 변경한 후 배포를 삭제하려고 하면 삭제가 실패할 수 있습니다. terraform destroy 명령어 출력의 메시지에 오류 원인이 표시됩니다.

오류 로그와 메시지를 검토하고 오류를 일으킨 리소스를 식별 및 삭제한 후 배포를 다시 삭제합니다.

콘솔 기반 배포가 삭제되지 않고 Cloud Build 로그를 사용하여 오류를 진단할 수 없으면 다음 섹션의 설명대로 Terraform CLI를 사용하여 배포를 삭제할 수 있습니다.

Terraform CLI를 사용하여 콘솔 기반 배포 삭제

이 섹션에서는 콘솔을 통해 삭제를 시도할 때 오류가 발생하는 경우 콘솔 기반 배포를 삭제하는 방법을 설명합니다. 이 방법에서는 삭제하려는 배포의 Terraform 구성을 다운로드한 후 Terraform CLI를 사용하여 배포를 삭제합니다.

배포의 Terraform 코드, 로그 및 기타 데이터가 저장된 리전을 식별합니다. 이 리전은 솔루션 배포 중 선택한 리전과 다를 수 있습니다.
1. Google Cloud 콘솔에서 솔루션 배포 페이지로 이동합니다.
  
  솔루션 배포로 이동
2. 삭제할 배포가 포함된 프로젝트를 선택합니다.
3. 배포 목록에서 삭제하려는 배포에 대한 행을 식별합니다.
4. 모든 행 콘텐츠 보기를 클릭합니다.
5. 위치 열에서 다음 예시에 강조 표시된 두 번째 위치를 기록해 둡니다.
In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
프로젝트 ID, 리전, 삭제하려는 배포 이름에 대해 환경 변수를 만듭니다.
```
export REGION="REGION"
export PROJECT_ID="PROJECT_ID"
export DEPLOYMENT_NAME="DEPLOYMENT_NAME"
```
이 명령어에서 다음 항목을 바꿉니다.
- REGION: 이 절차의 앞 부분에서 기록해 둔 위치
- PROJECT_ID: 솔루션을 배포한 프로젝트의 ID
- DEPLOYMENT_NAME: 삭제하려는 배포의 이름

삭제하려는 배포의 최신 버전에 대한 ID를 가져옵니다.

export REVISION_ID=$(curl \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \
    | jq .latestRevision -r)
    echo $REVISION_ID

출력은 다음과 비슷합니다.

projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME/revisions/r-0

배포에 대한 Terraform 구성의 Cloud Storage 위치를 가져옵니다.

export CONTENT_PATH=$(curl \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/${REVISION_ID}" \
    | jq .applyResults.content -r)
    echo $CONTENT_PATH

다음은 이 명령어의 출력 예시입니다.

gs://PROJECT_ID-REGION-blueprint-config/DEPLOYMENT_NAME/r-0/apply_results/content

Cloud Storage에서 Cloud Shell로 Terraform 구성을 다운로드합니다.
```
gsutil cp -r $CONTENT_PATH $HOME
cd $HOME/content/infra
```
다음 예시에 표시된 것처럼 Operation completed 메시지가 표시될 때까지 기다립니다.
```
Operation completed over 45 objects/268.5 KiB
```
Terraform을 초기화합니다.
```
terraform init
```
다음 메시지가 표시될 때까지 기다립니다.
```
Terraform has been successfully initialized!
```
배포된 리소스를 삭제합니다.
```
terraform destroy
```
Terraform에서 소멸될 리소스 목록을 표시합니다.

선언되지 않은 변수에 대한 경고가 표시되면 경고를 무시합니다.
작업을 수행하라는 메시지가 표시되면 yes를 입력합니다.

Terraform에서 진행 상황을 보여주는 메시지가 표시됩니다. 모든 리소스가 삭제되면 Terraform에 다음 메시지가 표시됩니다.
```
Destroy complete!
```

배포 아티팩트를 삭제합니다.

curl -X DELETE \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}?force=true&delete_policy=abandon"

몇 초 정도 기다린 후 배포 아티팩트가 삭제되었는지 확인합니다.

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \
    | jq .error.message

출력에 null이 표시되면 몇 초 정도 기다린 후 명령어를 다시 실행합니다.

배포 아티펙트가 삭제된 후 다음 예시와 같은 메시지가 표시됩니다.

Resource 'projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME' was not found

의견 보내기

점프 스타트 솔루션은 정보 제공만을 목적으로 하며 공식적으로 지원되는 제품은 아닙니다. Google은 사전 통지 없이 솔루션을 변경하거나 삭제할 수 있습니다.

오류를 해결하려면 Cloud Build 로그 및 Terraform 출력을 검토합니다.

의견을 제출하려면 다음을 수행합니다.

문서, 콘솔 내 튜토리얼, 솔루션의 경우 페이지에서 의견 보내기 버튼을 사용합니다.

수정되지 않은 Terraform 코드에 대해서는 GitHub 저장소에서 문제를 만드세요. GitHub 문제는 최선을 다해 검토되며 일반적인 사용 질문을 위한 것이 아닙니다.

솔루션에서 사용되는 제품 관련 문제는 Cloud Customer Care에 문의하세요.

또한 솔루션의 GitHub 저장소에서 (미해결 및 해결된) 문제 목록을 검토하는 것이 좋습니다.

다음 단계

컨테이너 및 Kubernetes를 처음 사용하는 경우:
- 이 튜토리얼 사용해 보기. Anthos Service Mesh 사용자를 대상으로 하지만 소스 코드에서 GKE에서 실행되는 컨테이너로 이동하는 방법을 확인하려는 사용자에게도 유용합니다.
- Kubernetes 만화 읽기
- Kubernetes 문서 사이트 방문하기
GKE 알아보기
Autopilot 알아보기
멀티 클러스터 인그레스 알아보기