ESP를 사용하여 Kubernetes용 Endpoints 시작하기

OpenAPI | gRPC

이 튜토리얼에서는 Google Cloud에서 실행 중이 아닌 Kubernetes 클러스터에 Extensible Service Proxy(ESP)를 사용하여 간단한 예시 gRPC 서비스를 배포하는 방법을 보여줍니다. 이 튜토리얼에서는 Python 버전의 bookstore-grpc 샘플을 사용합니다. 다른 언어의 gRPC 샘플은 다음 단계 섹션을 참조하세요.

이 튜토리얼은 Artifact Registry에 저장된 샘플 코드와 ESP의 사전 빌드된 컨테이너 이미지를 사용합니다. 컨테이너에 익숙하지 않은 경우 자세한 내용은 다음을 참조하세요.

Cloud Endpoints 개요는 Endpoints 정보와 Endpoints 아키텍처를 참조하세요.

목표

아래의 개략적인 작업 목록을 사용하여 튜토리얼을 진행합니다. API에 요청을 보내려면 모든 작업을 수행해야 합니다.

Google Cloud 프로젝트를 설정하고 필요한 소프트웨어를 다운로드합니다. 시작하기 전에를 참조하세요.
bookstore-grpc 샘플에서 파일을 복사하고 구성합니다. Cloud Endpoints 구성을 참조하세요.
Endpoints 구성을 배포하여 Endpoints 서비스를 만듭니다. Endpoints 구성 배포를 참조하세요.
Endpoints 서비스에 대한 사용자 인증 정보를 만듭니다. 서비스에 대한 사용자 인증 정보 만들기를 참조하세요.
API를 제공할 백엔드를 만들고 API를 배포합니다. API 백엔드 배포를 참조하세요.
서비스의 외부 IP 주소를 가져옵니다. 서비스의 외부 IP 주소 가져오기를 참조하세요.
API에 요청을 보냅니다. API에 요청 보내기를 참조하세요.
Google Cloud 계정에 요금이 청구되지 않도록 합니다. 삭제를 참조하세요.

비용

이 문서에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud 구성요소를 사용합니다.

Endpoints

프로젝트 사용량을 기준으로 예상 비용을 산출하려면 가격 계산기를 사용하세요. Google Cloud를 처음 사용하는 사용자는 무료 체험판을 사용할 수 있습니다.

이 문서에 설명된 태스크를 완료했으면 만든 리소스를 삭제하여 청구가 계속되는 것을 방지할 수 있습니다. 자세한 내용은 삭제를 참조하세요.

시작하기 전에

이 튜토리얼에서는 이미 Minikube 또는 Kubernetes 클러스터를 설정했다고 가정합니다. 자세한 내용은 Kubernetes 문서를 참조하세요.

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

나중에 필요하므로 Google Cloud 프로젝트 ID를 기록해 둡니다.
gcloud CLI를 설치하고 초기화합니다.
gcloud CLI를 업데이트하고 Endpoints 구성요소를 설치합니다.
```
gcloud components update
```
Google Cloud CLI(gcloud)에 Google Cloud의 데이터 및 서비스에 액세스할 수 있는 권한이 있는지 확인합니다.
```
gcloud auth login
```
새 탭이 열리면 계정을 선택합니다.
기본 프로젝트를 프로젝트 ID로 설정합니다.
```
gcloud config set project
    YOUR_PROJECT_ID
```
YOUR_PROJECT_ID를 Google Cloud 프로젝트 ID로 바꿉니다.

다른 Google Cloud 프로젝트가 있고, gcloud를 사용하여 이를 관리하려면 gcloud CLI 구성 관리를 참조하세요.
kubectl을 설치합니다.
```
gcloud components install kubectl
```
애플리케이션 기본 사용자 인증 정보에 사용할 새로운 사용자 인증 정보를 가져옵니다. 사용자 인증 정보는 kubectl을 승인하는 데 필요합니다.
```
gcloud auth application-default login
```
새 브라우저 탭이 열리면 계정을 선택합니다.
gRPC Python 빠른 시작의 단계를 따라 gRPC와 gRPC 도구를 설치합니다.

Endpoints 구성

bookstore-grpc 샘플에는 로컬로 복사하고 구성해야 하는 파일이 포함되어 있습니다.

서비스 .proto.파일에서 독립적인 protobuf 설명자 파일을 만듭니다.
1. 예시 저장소의 bookstore.proto 사본을 저장합니다. 이 파일은 Bookstore 서비스의 API를 정의합니다.
2. mkdir generated_pb2 디렉터리를 만듭니다.
3. protoc 프로토콜 버퍼 컴파일러를 사용하여 설명자 파일 api_descriptor.pb를 만듭니다. bookstore.proto를 저장한 디렉터리에서 다음 명령어를 실행합니다.
```
python -m grpc_tools.protoc \
    --include_imports \
    --include_source_info \
    --proto_path=. \
    --descriptor_set_out=api_descriptor.pb \
    --python_out=generated_pb2 \
    --grpc_python_out=generated_pb2 \
    bookstore.proto
```
  앞의 명령어에서 --proto_path는 현재 작업 디렉터리로 설정됩니다. gRPC 빌드 환경에서 .proto 입력 파일에 다른 디렉터리를 사용할 경우 컴파일러가 bookstore.proto 파일이 저장된 디렉터리를 검색하도록 --proto_path를 변경합니다.
다음 단계에 따라 gRPC API 구성 YAML 파일을 만듭니다.
1. api_config.yaml 파일의 사본을 저장합니다. 이 파일은 Bookstore 서비스에 대한 gRPC API 구성을 정의합니다.
2. api_config.yaml 파일의 MY_PROJECT_ID를 Google Cloud 프로젝트 ID로 바꿉니다. 예를 들면 다음과 같습니다.
```
#
# Name of the service configuration.
#
name: bookstore.endpoints.example-project-12345.cloud.goog
```
  참고로 이 파일의 apis.name 필드 값은 .proto 파일의 정규화된 API 이름과 정확히 일치하며, 그렇지 않은 경우 배포가 작동하지 않습니다. Bookstore 서비스는 endpoints.examples.bookstore 패키지 내의 bookstore.proto에 정의되어 있습니다. 정규화된 API 이름은 api_config.yaml 파일에 나타난 것과 같이 endpoints.examples.bookstore.Bookstore입니다.
```
apis:
  - name: endpoints.examples.bookstore.Bookstore
```

자세한 내용은 Endpoints 구성을 참조하세요.

Endpoints 구성 배포

Endpoints 구성을 배포하려면 gcloud endpoints services deploy 명령어를 사용합니다. 이 명령어는 Endpoints와 기타 서비스에서 API 및 서비스를 생성하고 관리하기 위해 사용되는 Google의 기반 서비스 플랫폼인 서비스 인프라를 사용합니다.

현재 위치가 api_descriptor.pb 및 api_config.yaml 파일이 있는 디렉터리인지 확인합니다.
gcloud 명령줄 도구에 현재 사용 중인 기본 프로젝트가 Endpoints 구성을 배포하려는 Google Cloud 프로젝트인지 확인합니다. 잘못된 프로젝트에 서비스가 만들어지지 않도록 다음 명령어로 반환되는 프로젝트 ID를 확인합니다.
```
gcloud config list project
```
기본 프로젝트를 변경해야 하는 경우 다음 명령어를 실행합니다.
```
gcloud config set project YOUR_PROJECT_ID
```
Google Cloud CLI를 사용하여 proto descriptor 파일 및 구성 파일을 배포합니다.
```
gcloud endpoints services deploy api_descriptor.pb api_config.yaml
```
Service Management에서 서비스를 만들고 구성하면서 터미널에 정보를 출력합니다. 배포가 완료되면 다음과 유사한 메시지가 표시됩니다.
```
Service Configuration [CONFIG_ID] uploaded for service [bookstore.endpoints.example-project.cloud.goog]
```
CONFIG_ID는 배포 시 만들어진 고유한 Endpoints 서비스 구성 ID입니다. 예를 들면 다음과 같습니다.
```
Service Configuration [2017-02-13r0] uploaded for service [bookstore.endpoints.example-project.cloud.goog]
```
이전 예시에서 2017-02-13r0은 서비스 구성 ID이고 bookstore.endpoints.example-project.cloud.goog는 서비스 이름입니다. 서비스 구성 ID는 날짜 스탬프와 버전 번호로 구성됩니다. 같은 날짜에 Endpoints 구성을 다시 배포하면 서비스 구성 ID에서 버전 번호가 증가합니다.

필수 서비스 확인

Endpoints와 ESP를 사용하려면 최소한 다음 Google 서비스를 사용 설정해야 합니다.

이름	제목
`servicemanagement.googleapis.com`	Service Management API
`servicecontrol.googleapis.com`	Service Control API
`endpoints.googleapis.com`	Google Cloud Endpoints

대부분의 경우 gcloud endpoints services deploy 명령어를 사용하여 이러한 필수 서비스를 사용 설정할 수 있습니다. 하지만 다음과 같은 경우에는 gcloud 명령어가 성공적으로 완료되더라도 필수 서비스가 사용 설정되지 않습니다.

Terraform과 같은 타사 애플리케이션을 사용하고 이러한 서비스를 포함하지 않은 경우
이러한 서비스가 명시적으로 중지된 기존 Google Cloud 프로젝트에 Endpoints 구성을 배포한 경우

다음 명령어를 사용하여 필수 서비스가 사용 설정되어 있는지 확인합니다.

gcloud services list

필수 서비스가 나열되지 않으면 서비스를 사용 설정하세요.

gcloud services enable servicemanagement.googleapis.com
gcloud services enable servicecontrol.googleapis.com
gcloud services enable endpoints.googleapis.com

Endpoints 서비스도 사용 설정해야 합니다.

gcloud services enable ENDPOINTS_SERVICE_NAME

ENDPOINTS_SERVICE_NAME을 확인하려면 다음 중 하나를 수행합니다.

Endpoints 구성을 배포한 후 Cloud 콘솔의 Endpoints 페이지로 이동합니다. 가능한 ENDPOINTS_SERVICE_NAME 목록이 서비스 이름 열 아래에 표시됩니다.
OpenAPI의 경우 ENDPOINTS_SERVICE_NAME은 OpenAPI 사양의 host 필드에 지정한 항목입니다. gRPC의 경우 ENDPOINTS_SERVICE_NAME은 gRPC 엔드포인트 구성의 name 필드에 지정한 항목입니다.

gcloud 명령어에 대한 자세한 내용은 gcloud 서비스를 참조하세요.

오류 메시지가 나타나면 Endpoints 구성 배포 문제해결을 참조하세요.

자세한 내용은 Endpoints 구성 배포를 참조하세요.

서비스에 대한 사용자 인증 정보 만들기

API 관리 기능을 제공하기 위해 ESP 및 ESPv2에는 Service Infrastructure의 서비스가 필요합니다. 이러한 서비스를 호출하려면 ESP와 ESPv2가 액세스 토큰을 사용해야 합니다. GKE 또는 Compute Engine과 같은 Google Cloud 환경에 ESP 또는 ESPv2를 배포하면 ESP와 ESPv2가 Google Cloud 메타데이터 서비스를 통해 액세스 토큰을 얻습니다.

로컬 데스크톱, 온프레미스 Kubernetes 클러스터, 기타 클라우드 제공업체와 같은 Google Cloud 환경이 아닌 환경에 ESP 또는 ESPv2를 배포하는 경우 비공개 키가 포함되어 있는 서비스 계정 JSON 파일을 제공해야 합니다. ESP와 ESPv2는 서비스 계정을 사용해 액세스 토큰을 생성하여 API 관리에 필요한 서비스를 호출합니다.

Google Cloud 콘솔 또는 Google Cloud CLI를 사용하여 서비스 계정과 비공개 키 파일을 만들 수 있습니다.

콘솔

Google Cloud 콘솔에서 서비스 계정 페이지를 엽니다.
서비스 계정 페이지로 이동
프로젝트 선택을 클릭합니다.
API가 생성된 프로젝트를 선택하고 열기를 클릭합니다.
+ 서비스 계정 만들기를 클릭합니다.
서비스 계정 이름 필드에 서비스 계정 이름을 입력합니다.
만들기를 클릭합니다.
계속을 클릭합니다.
완료를 클릭합니다.
새로 만든 서비스 계정의 이메일 주소를 클릭합니다.
키를 클릭합니다.
키 추가를 클릭한 후 새 키 만들기를 클릭합니다.
만들기를 클릭합니다. JSON 키 파일이 컴퓨터에 다운로드됩니다.

키 파일은 서비스 계정으로 인증하는 데 사용될 수 있으므로 키 파일을 안전하게 저장해야 합니다. 원하는 경우 이 파일을 이동하고 이름을 변경할 수 있습니다.
닫기를 클릭합니다.

`gcloud`

다음을 입력하여 Google Cloud 프로젝트의 프로젝트 ID를 표시합니다.
```
gcloud projects list
```
다음 명령어에서 PROJECT_ID를 바꿔 기본 프로젝트를 API가 있는 프로젝트로 설정합니다.
```
gcloud config set project PROJECT_ID
```
중요: API가 있는 동일한 프로젝트에서 서비스 계정을 만들어야 합니다.
Google Cloud CLI(gcloud)에 Google Cloud의 데이터 및 서비스에 액세스할 수 있는 권한이 있는지 확인합니다.
```
gcloud auth login
```
계정이 2개 이상이면 API가 포함된 Google Cloud 프로젝트에 있는 계정을 선택해야 합니다. gcloud auth list를 실행하면 선택한 계정이 프로젝트의 활성 계정으로 표시됩니다.
서비스 계정을 만들려면 다음 명령어를 실행합니다. 여기서 SERVICE_ACCOUNT_NAME과 My Service Account는 사용하려는 이름과 표시 이름으로 바꿉니다.
```
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME \
   --display-name "My Service Account"
```
이 명령어는 서비스 계정의 이메일 주소를 다음 형식으로 할당합니다.

SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

다음 명령어에 이 이메일 주소가 필요합니다.

서비스 계정 키 파일을 만듭니다.

gcloud iam service-accounts keys create ~/service-account-creds.json \
   --iam-account SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

필수 IAM 역할 추가

이 섹션에서는 ESP 및 ESPv2에 사용되는 IAM 리소스와 연결된 서비스 계정이 이러한 리소스에 액세스하는 데 필요한 IAM 역할을 설명합니다.

엔드포인트 서비스 구성

ESP 및 ESPv2는 엔드포인트 서비스 구성을 사용하는 Service Control을 호출합니다. 엔드포인트 서비스 구성은 IAM 리소스입니다. ESP 및 ESPv2가 여기에 액세스하려면 서비스 컨트롤러 역할이 필요합니다.

IAM 역할은 프로젝트가 아닌 엔드포인트 서비스 구성에 있습니다. 한 프로젝트에 여러 엔드포인트 서비스 구성이 포함될 수 있습니다.

다음 gcloud 명령어를 사용하여 엔드포인트 서비스 구성의 연결된 서비스 계정에 역할을 추가합니다.

gcloud endpoints services add-iam-policy-binding SERVICE_NAME \
  --member serviceAccount:SERVICE_ACCOUNT_NAME@DEPLOY_PROJECT_ID.iam.gserviceaccount.com \
  --role roles/servicemanagement.serviceController

여기서
* SERVICE_NAME은 엔드포인트 서비스 이름입니다.
* SERVICE_ACCOUNT_NAME@DEPLOY_PROJECT_ID.iam.gserviceaccount.com은 연결된 서비스 계정입니다.

Cloud Trace

ESP 및 ESPv2는 Cloud Trace 서비스를 호출하여 Trace를 프로젝트로 내보냅니다. 이 프로젝트를 trace 프로젝트라고 부릅니다. ESP에서 trace 프로젝트와 엔드포인트 서비스 구성을 소유하는 프로젝트는 동일합니다. ESPv2에서 trace 프로젝트는 --tracing_project_id 플래그로 지정될 수 있으며, 기본적으로 배포 프로젝트로 지정됩니다.

ESP 및 ESPv2에 Cloud Trace를 사용 설정하려면 Cloud Trace 에이전트 역할이 필요합니다.

다음 gcloud 명령어를 사용하여 연결 서비스 계정에 역할을 추가합니다.

gcloud projects add-iam-policy-binding TRACING_PROJECT_ID \
  --member serviceAccount:SERVICE_ACCOUNT_NAME@DEPLOY_PROJECT_ID.iam.gserviceaccount.com \
  --role roles/cloudtrace.agent

여기서
* TRACING_PROJECT_ID는 trace 프로젝트 ID입니다.
* SERVICE_ACCOUNT_NAME@DEPLOY_PROJECT_ID.iam.gserviceaccount.com는 연결 서비스 계정입니다. 자세한 내용은 역할 및 권한이란 무엇인가요?를 참조하세요.

명령어에 대한 자세한 내용은 gcloud iam service-accounts를 참조하세요.

API 백엔드 배포

이제까지 서비스 구성을 Service Management에 배포했지만 아직 API 백엔드를 제공할 코드를 배포하지 않았습니다. 이 섹션은 샘플 API와 ESP를 위해 사전 빌드된 컨테이너를 Kubernetes에 배포하는 과정을 단계별로 설명합니다.

ESP에 서비스 사용자 인증 정보 제공

컨테이너 내에서 실행되는 ESP는 service-account-creds.json 파일에 로컬로 저장된 사용자 인증 정보에 액세스해야 합니다. ESP가 사용자 인증 정보에 액세스할 수 있도록 Kubernetes 보안 비밀을 만들고 이 Kubernetes 보안 비밀을 Kubernetes 볼륨으로 마운트합니다.

Kubernetes 보안 비밀을 만들고 볼륨을 마운트하려면 다음 안내를 따르세요.

Google Cloud Console을 사용하여 서비스 계정을 만든 경우 JSON 파일 이름을 service-account-creds.json으로 변경합니다. 이 파일을 api_descriptor.pb 및 api_config.yaml 파일이 위치한 디렉터리로 이동합니다.
서비스 계정 사용자 인증 정보로 Kubernetes 보안 비밀을 만듭니다.
```
 kubectl create secret generic service-account-creds
      --from-file=service-account-creds.json
```
성공하면 secret "service-account-creds" created 메시지가 표시됩니다.

Kubernetes에 API와 ESP를 배포하기 위해 사용하는 배포 매니페스트 파일에는 다음 파일의 두 섹션에서 볼 수 있듯이 보안 비밀 볼륨이 이미 포함되어 있습니다.

volumes:
  - name: service-account-creds
    secret:
      secretName: service-account-creds

volumeMounts:
  - mountPath: /etc/nginx/creds
    name: service-account-creds
    readOnly: true

서비스 이름 구성 및 서비스 시작

gcloud endpoints services deploy 명령어를 사용하여 이전에 배포한 구성을 찾으려면 ESP가 서비스의 이름을 알아야 합니다.

서비스 이름을 구성하고 서비스를 시작하려면 다음 안내를 따르세요.

배포 매니페스트 파일 k8s-grpc-bookstore.yaml의 복사본을 service-account-creds.json과 동일한 디렉터리에 저장합니다.
k8s-grpc-bookstore.yaml을 열고 SERVICE_NAME을 Endpoints 서비스의 이름으로 바꿉니다. 이 이름은 api_config.yaml 파일의 name 필드에서 구성한 것과 같은 이름입니다.
```
containers:
  - name: esp
    image: gcr.io/endpoints-release/endpoints-runtime:1
    args: [
      "--http2_port=9000",
      "--service=SERVICE_NAME",
      "--rollout_strategy=managed",
      "--backend=grpc://127.0.0.1:8000",
      "--service_account_key=/etc/nginx/creds/service-account-creds.json"
    ]
```
--rollout_strategy=managed 옵션은 ESP가 배포된 최신 서비스 구성을 사용하도록 구성합니다. 이 옵션을 지정하면 새 서비스 구성을 배포하고 최대 5분 후 ESP가 변경사항을 감지하고 자동으로 사용하기 시작합니다. ESP에 사용할 특정 구성 ID 대신 이 옵션을 지정하는 것이 좋습니다. ESP 인수에 대한 자세한 내용은 ESP 시작 옵션을 참조하세요.

참고: MiniKube를 사용하는 경우 구성 파일에서 서비스의 type 필드를 LoadBalancer에서 NodePort로 변경해야 합니다.
참고: 위의 컨테이너 사양의 imagePullPolicy를 Always로 설정하는 것이 좋습니다. 이렇게 하면 새로 만든 포드가 항상 최신 버전의 ESP를 가져올 수 있습니다. 자세한 내용은 구성 권장사항을 참조하세요. 새 버전의 ESP가 출시되면 모든 pod를 지속적으로 다시 시작하여 최신 버전을 사용할 수 있습니다.
서비스를 시작하여 Kubernetes에 서비스를 배포합니다.
```
kubectl create -f k8s-grpc-bookstore.yaml
```
다음과 유사한 오류 메시지가 표시되는 경우:
```
The connection to the server localhost:8080 was refused - did you specify the right host or port?
```
kubectl이 올바르게 구성되지 않았음을 나타냅니다. 자세한 내용은 kubectl 구성을 참조하세요.

서비스의 외부 IP 주소 가져오기

샘플 API로 요청을 보내려면 서비스의 외부 IP 주소가 필요합니다. 외부 IP 주소가 준비되려면 컨테이너의 서비스를 시작한 후 몇 분 정도 걸릴 수 있습니다.

외부 IP 주소를 확인합니다.
```
kubectl get service
```
샘플 API에 요청을 보낼 때 사용되므로 EXTERNAL-IP의 값을 기록하고 SERVER_IP 환경 변수에 저장합니다.
```
export SERVER_IP=YOUR_EXTERNAL_IP
```

API에 요청 보내기

샘플 API에 요청을 전송하려면 Python으로 작성된 샘플 gRPC 클라이언트를 사용할 수 있습니다.

gRPC 클라이언트 코드가 호스팅된 git 저장소를 복제합니다.

git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git

작업 디렉토리를 다음과 같이 변경합니다.
```
cd python-docs-samples/endpoints/bookstore-grpc/
  
```

종속 항목을 설치합니다.

pip install virtualenv
virtualenv env
source env/bin/activate
python -m pip install -r requirements.txt

샘플 API로 요청을 전송합니다.
```
python bookstore_client.py --host SERVER_IP --port 80
```
- Endpoints > 서비스 페이지에서 API의 활동 그래프를 봅니다.
  
  Endpoints 서비스 페이지로 이동
  
  요청이 그래프에 반영되는 데 잠시 시간이 걸릴 수 있습니다.
- 로그 탐색기 페이지에서 API의 요청 로그를 봅니다.
  
  로그 탐색기 페이지로 이동

성공 응답을 받지 못하면 응답 오류 문제해결을 참조하세요.

Endpoints에 API를 배포하고 테스트했습니다.

삭제

이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.

API를 삭제합니다.
```
gcloud endpoints services delete SERVICE_NAME
```
SERVICE_NAME를 API 이름으로 바꿉니다.

GKE 클러스터를 삭제합니다.

gcloud container clusters delete NAME --zone ZONE

다음 단계

Endpoints용 자체 gRPC API를 구성하는 방법 알아보기
DNS 구성하기:
- cloud.goog 도메인에서 DNS 구성
- 도메인 이름 확인
GitHub에서 Bookstore 샘플 앱 더 자세히 살펴보기. 클라이언트와 서버 모두 Python 및 Java로 제공됩니다.
getting-started-grpc 샘플은 GitHub에서 다음 언어로 제공됩니다.
- 자바
- Python
- Ruby
- Go
- Node.js