클러스터 리소스 사용량 이해

이 페이지에서는 GKE 사용량 측정을 사용하여 GKE 클러스터의 사용량 프로필을 이해하고 사용량을 조직 내의 개별 팀이나 사업부에 연결하는 방법을 설명합니다. GKE 사용량 측정은 프로젝트 비용 청구에는 영향을 미치지 않으며, 리소스 사용량을 세분화하여 파악하는 데 도움을 줍니다.

개요

GKE 사용량 측정은 클러스터 워크로드의 리소스 요청 및 실제 리소스 사용량에 대한 정보를 추적합니다. 현재 GKE 사용량 측정은 CPU, GPU, TPU, 메모리, 저장용량, 그리고 선택적으로 네트워크 이그레스에 대한 정보를 추적합니다. Kubernetes 네임스페이스, 라벨 또는 이 둘의 조합을 사용하여 리소스 사용량을 구별할 수 있습니다.

데이터는 BigQuery에 저장되며, 여기에서 데이터를 직접 쿼리하거나 Google 데이터 스튜디오와 같은 외부 도구를 사용하여 분석하도록 내보낼 수 있습니다.

GKE 사용량 측정은 다음과 같은 시나리오에서 유용합니다.

  • 각 테넌트가 지정된 네임스페이스 내에서 작동하는 멀티테넌시 클러스터에서 테넌트당 리소스 요청 및 실제 리소스 소비를 추적합니다.
  • 워크로드와 연결된 Kubernetes 객체에 고유한 라벨을 할당하여 특정 클러스터에서 실행 중인 워크로드의 리소스 소비를 확인합니다.
  • 리소스 요청이 실제 리소스 소비와 크게 다른 워크로드를 식별하여 각 워크로드에 리소스를 보다 효율적으로 할당할 수 있습니다.

초기 베타 버전의 변경사항

GKE 사용량 측정에는 초기 베타 출시 이후 다음과 같은 변경사항이 적용되었습니다.

  • 리소스 요청 외에도 실제 리소스 소비가 추적됩니다. 리소스 소비는 v1.12.8-gke.8 이상, v1.13.6-gke.7 이상 또는 1.14.2-gke.8 이상을 실행하는 클러스터에서 추적됩니다. 리소스 소비 측정은 BigQuery 데이터세트의 gke_cluster_resource_consumption 테이블에 저장됩니다. 이전에는 리소스 요청만 추적되었습니다.
  • 이제 TPU 요청(실제 리소스 소비는 아님)을 추적합니다.
  • 이제 커스텀 머신 유형을 사용하는 노드에서 리소스 요청과 실제 리소스 소비를 추적할 수 있습니다.
  • 이제 Google Cloud Platform Console에서 클러스터를 만들거나 업데이트할 때 GKE 사용량 측정을 사용 설정할 수 있습니다.
  • BigQuery 데이터세트가 삭제되면 GKE 사용량 측정이 자동으로 다시 생성됩니다. 이전 데이터는 손실됩니다.

업그레이드

모든 변경사항은 이전 버전인 초기 베타 버전과 호환되며, 데이터를 수정하거나 마이그레이션할 필요가 없습니다.

클러스터를 리소스 소비 측정을 지원하는 GKE 버전으로 업그레이드하는 경우 자동으로 사용 설정되진 않습니다. --enable-resource-consumption-metering 플래그를 사용하여 명시적으로 사용 설정해야 합니다. BigQuery 데이터세트에서 추가 테이블이 자동으로 생성됩니다. 두 테이블이 동일한 스키마를 사용합니다.

업그레이드 후에는 새 데이터 스튜디오 대시보드를 만들어 실제 리소스 소비에 대한 정보를 추가하기만 하면 됩니다.

제한사항

샘플 BigQuery 쿼리 및 Google 데이터 스튜디오 템플릿을 사용하여 GKE 사용량 측정 데이터를 BigQuery에서 내보낸 GCP 청구 데이터와 결합함으로써 클러스터, 네임스페이스, 라벨별로 비용 내역을 추정할 수 있습니다. GKE 사용량 측정 데이터는 전적으로 참고용이며 GCP 청구에 영향을 미치지 않습니다. 청구 데이터는 오로지 GCP 청구 인보이스를 기준으로 합니다.

다음과 같은 제한사항이 적용됩니다.

  • 특별 계약 할인 또는 크레딧은 고려되지 않습니다.
  • GKE 범위 밖에서 생성된 리소스는 네임스페이스 또는 라벨별로 추적되지 않습니다.

기본 요건

GKE 사용량 측정을 사용하려면 다음과 같은 기본 요건이 충족되어야 합니다.

  • 실제 리소스 소비를 추적하려면 클러스터에서 GKE v1.11.10-gke.5 이상, v1.12.8-gke.8 이상, v1.13.6-gke.7 이상 또는 1.14.2-gke.3 이상을 사용해야 합니다.
  • BigQuery의 청구 내보내기를 사용 설정해야 합니다. 청구는 BigQuery 사용량과 연결됩니다.
  • gcloud 명령어의 버전 250.0.0 이상이 필요합니다. gcloud --version을 사용하여 확인하세요.
  • Google Cloud Platform 프로젝트에서 BigQuery API를 사용 설정해야 합니다. 2018년 7월 이후에 GKE를 처음 사용 설정한 경우에는 이미 BigQuery API가 사용 설정되어 있습니다.

GKE 사용량 측정 사용 설정

GKE 사용량 측정을 사용 설정하려면 먼저 단일 클러스터, 프로젝트의 여러 클러스터 또는 전체 프로젝트의 BigQuery 데이터세트를 만듭니다. 데이터세트와 클러스터 간 매핑을 선택하는 방법에 대한 자세한 내용은 하나 이상의 BigQuery 데이터세트 선택을 참조하세요.

그런 다음 새로운 클러스터를 만들거나 기존 클러스터를 수정하여 GKE 사용량 측정을 사용 설정합니다.

선택적으로 Google 데이터 스튜디오 대시보드를 만들어 클러스터의 리소스 사용량을 시각화할 수 있습니다.

BigQuery 데이터세트 만들기

Google Cloud Platform 프로젝트의 클러스터에 GKE 사용량 측정을 사용하려면 먼저 BigQuery 데이터세트를 만든 다음 이를 사용하도록 클러스터를 구성합니다. 단일 BigQuery 데이터세트를 사용하여 동일한 프로젝트의 여러 클러스터에 대한 리소스 사용량 정보를 저장할 수 있습니다.

자세한 내용은 데이터세트 만들기를 참조하세요. 테이블이 만료되지 않도록 데이터세트의 Default table expirationNever로 설정합니다. 하지만 두 번째 GKE 사용량 측정 베타에서 테이블이 만료되면 자동으로 빈 테이블로 다시 생성됩니다.

클러스터에서 GKE 사용량 측정 사용 설정

gcloud 명령어 또는 GCP Console을 사용하여 새 클러스터 또는 기존 클러스터에서 GKE 사용량 측정을 사용 설정할 수 있습니다.

GKE v1.12.8-gke.8 이상 또는 v1.13.6-gke.7 이상을 실행하는 클러스터의 경우 GKE 사용량 측정을 사용 설정하면 기본적으로 리소스 소비 측정도 사용 설정됩니다. 리소스 요청을 추적하면서 리소스 소비 측정을 선택적으로 사용 중지하려면 이 항목에서 gcloud 명령어를 사용하여 GKE 사용량 측정을 사용 설정하는 방법에 대한 자세한 안내를 참조하세요.

네트워크 이그레스 측정은 기본적으로 사용 중지되어 있습니다. 이를 사용 설정하려면 이 항목에서 선택사항: 네트워크 이그레스 측정 사용 설정에 있는 주의사항 및 안내를 참조하세요.

새 클러스터 만들기

gcloud

GKE 사용량 측정이 사용 설정된 클러스터를 만들려면 다음 명령어를 실행합니다.

붙여넣기 전에 자체 값을 예시에 삽입하려면 highlighted 상태인 필드를 클릭하여 값을 수정합니다. 값을 재설정하려면 이 페이지를 새로 고칩니다.

gcloud container clusters create [CLUSTER-NAME] \
  --resource-usage-bigquery-dataset [RESOURCE-USAGE-DATASET]

리소스 소비 측정은 GKE v1.12.8-gke.8 이상 또는 v1.13.6-gke.7 이상을 실행하는 클러스터에 기본적으로 사용됩니다. 이를 사용 중지하고 리소스 요청만 추적하려면 위의 명령어에 --no-enable-resource-consumption-metering 플래그를 추가합니다. 또한 리소스 소비를 쿼리하지 않도록 이 항목의 나머지 부분에서 예시 쿼리를 수정해야 합니다.

필요한 경우 클러스터가 시작될 때 BigQuery 데이터세트 내에 필수 테이블이 생성됩니다.

Console

  1. GCP Console에서 Google Kubernetes Engine 메뉴로 이동합니다.

    Google Kubernetes Engine 메뉴로 이동

  2. 클러스터 만들기를 클릭합니다.

  3. 표준 클러스터 템플릿을 선택하거나 워크로드에 적합한 템플릿을 선택합니다.

  4. 가용성, 네트워킹, 보안, 추가 기능을 클릭합니다.

  5. GKE 사용량 측정 사용 설정을 선택합니다.

  6. BigQuery 데이터세트의 이름을 입력합니다.

  7. 선택사항: 네트워크 이그레스 측정 사용 설정에서 주의사항과 안내를 검토한 후 네트워크 이그레스 측정 사용 설정을 선택적으로 사용 설정합니다.

  8. 클러스터를 계속 구성한 다음 저장을 클릭합니다.

기존 클러스터 구성

gcloud

기존 클러스터에서 GKE 사용량 측정을 사용 설정하려면 다음 명령어를 실행합니다.

붙여넣기 전에 자체 값을 예시에 삽입하려면 highlighted 상태인 필드를 클릭하여 값을 수정합니다. 값을 재설정하려면 이 페이지를 새로 고칩니다.

gcloud container clusters update [CLUSTER-NAME] \
  --resource-usage-bigquery-dataset [RESOURCE-USAGE-DATASET]"

리소스 소비 측정은 GKE v1.12.8-gke.8 이상 또는 v1.13.6-gke.7 이상을 실행하는 클러스터에 기본적으로 사용됩니다. 이를 사용 중지하고 리소스 요청만 추적하려면 위의 명령어에 --no-enable-resource-consumption-metering 플래그를 추가합니다. 또한 리소스 소비를 쿼리하지 않도록 이 항목의 나머지 부분에서 예시 쿼리를 수정해야 합니다.

--resource-usage-bigquery-dataset 플래그의 값을 변경하여 기존 클러스터가 사용량 측정 데이터를 저장하는 데 사용하는 데이터세트를 변경할 수도 있습니다.

필요한 경우 클러스터가 업데이트되면 BigQuery 데이터세트 내에 테이블이 생성됩니다.

Console

  1. GCP Console에서 Google Kubernetes Engine 메뉴로 이동합니다.

    Google Kubernetes Engine 메뉴로 이동

  2. 수정할 클러스터의 수정 버튼을 클릭합니다. 연필 모양입니다.

  3. GKE 사용량 측정을 사용 설정합니다.

  4. BigQuery 데이터세트 이름을 입력합니다.

  5. 선택사항: 네트워크 이그레스 측정 사용 설정에서 주의사항과 안내를 검토한 후 네트워크 이그레스 측정 사용 설정을 선택적으로 사용 설정합니다.

  6. 클러스터를 계속 구성한 다음 저장을 클릭합니다.

선택사항: 네트워크 이그레스 측정 사용 설정

기본적으로 네트워크 이그레스 데이터는 수집하거나 내보내지 않습니다. 네트워크 이그레스를 측정하려면 각 노드에서 네트워크 측정 에이전트(NMA)가 실행 중이어야 합니다. NMA는 권한이 있는 pod로 실행되고, 노드에서 일부 리소스(CPU, 메모리, 디스크 공간)를 사용하며, 연결 추적 흐름을 계산하기 위해 커널에서 nf_conntrack_acct sysctl 플래그를 사용 설정합니다.

이러한 주의사항을 따르면 네트워크 이그레스 추적을 GKE 사용량 측정과 함께 사용하도록 설정할 수 있습니다. 네트워크 이그레스 추적을 사용 설정하려면 클러스터를 만들거나 업데이트할 때 --enable-network-egress-metering 옵션을 포함하거나 Google Cloud Platform Console에서 GKE 사용량 측정을 사용 설정할 때 네트워크 이그레스 측정 사용 설정을 선택합니다.

GKE 사용량 측정이 사용 설정되었는지 확인

클러스터에서 GKE 사용량 측정이 사용 설정되었는지 그리고 어떤 BigQuery 데이터세트가 클러스터의 리소스 사용량 데이터를 저장하는지 확인하려면 gcloud container clusters describe 명령어를 사용합니다. 아래 예시를 참조하세요.

붙여넣기 전에 자체 값을 예시에 삽입하려면 highlighted 상태인 필드를 클릭하여 값을 수정합니다. 값을 재설정하려면 이 페이지를 새로 고칩니다.

gcloud container clusters describe [CLUSTER-NAME]\
  --format="value(resourceUsageExportConfig)"

GKE 사용량 측정이 사용 설정되어 있지 않으면 출력이 비어 있으며, 그렇지 않으면 다음 출력과 같이 클러스터에서 사용하는 BigQuery 데이터세트가 표시됩니다.

bigqueryDestination={u'datasetId': u'test_usage_metering_dataset'}

GKE 사용량 측정 사용 중지

gcloud

클러스터에서 GKE 사용량 측정을 사용 중지하려면 다음 명령어를 실행합니다.

붙여넣기 전에 자체 값을 예시에 삽입하려면 highlighted 상태인 필드를 클릭하여 값을 수정합니다. 값을 재설정하려면 이 페이지를 새로고침합니다.

gcloud container clusters update [CLUSTER-NAME] \
  --clear-resource-usage-bigquery-dataset

Console

  1. GCP Console에서 Google Kubernetes Engine 메뉴로 이동합니다.

    Google Kubernetes Engine 메뉴로 이동

  2. 수정할 클러스터의 수정 버튼을 클릭합니다. 연필 모양입니다.

  3. GKE 사용량 측정을 사용 중지합니다.

  4. 저장을 클릭합니다.

하나 이상의 BigQuery 데이터세트 선택

데이터세트는 프로젝트에서 하나 이상의 클러스터에 대한 GKE 사용량 측정 데이터를 보유할 수 있습니다. 데이터세트를 하나 사용할지 아니면 여러 개 사용할지는 보안 요구사항에 따라 다릅니다.

  • 전체 프로젝트에서 단일 데이터세트를 사용하면 간편하게 관리할 수 있습니다.
  • 클러스터별로 데이터세트를 사용하면 세분화된 액세스 권한을 데이터세트에 위임할 수 있습니다.
  • 관련 클러스터 그룹별로 데이터세트를 사용하면 필요한 수준에 맞춰 간편성과 세분성을 적절히 조율할 수 있습니다.

데이터 스튜디오 대시보드를 사용하여 GKE 사용량 측정 데이터 시각화

클러스터 이름, 네임스페이스, 라벨별로 데이터를 필터링하고 보고 기간을 동적으로 조정할 수 있는 데이터 스튜디오 대시보드를 사용하여 GKE 사용량 측정 데이터를 시각화할 수 있습니다. 데이터 스튜디오 및 BigQuery의 고급 사용자인 경우 완전히 맞춤설정된 대시보드를 만들 수 있지만, GKE 사용량 측정을 위해 특별히 만든 대시보드를 클론할 수도 있습니다.

대시보드를 사용하여 클러스터에서 시간 경과에 따른 리소스 요청 및 소비를 시각화할 수 있습니다.

기본 요건

  1. 아직 사용 설정되지 않은 경우, BigQuery로 Google Cloud Platform 청구 데이터 내보내기를 사용 설정합니다. 이 프로세스 중에 데이터세트를 만듭니다. 하지만 데이터세트의 테이블이 표시되고 입력되기 시작하는 데 최대 5시간이 걸립니다. 테이블이 나타나면 이름은 gcp_billing_export_v1_[BILLING_ACCOUNT_ID]입니다.
  2. 프로젝트의 하나 이상의 클러스터에서 GKE 사용량 측정을 사용 설정합니다. BigQuery 데이터세트에 대해 선택한 이름을 확인합니다.
  3. 데이터 스튜디오를 아직 사용 설정하지 않은 경우 사용 설정합니다.
  4. 대시보드 구성에 필요한 다음 정보를 수집합니다.

    • Cloud Billing 내보내기 데이터세트 ID 및 데이터 테이블
    • GKE 사용량 측정 데이터세트 ID

데이터 스튜디오 대시보드 만들기

데이터 소스 및 대시보드를 만드는 프로세스가 간소화되었습니다. 기본 요건을 충족한 후에 커스텀 데이터 스튜디오 커넥터를 사용하여 데이터 소스와 대시보드를 자동으로 만듭니다.

  1. GKE 사용량 측정 데이터 스튜디오 커넥터에 액세스합니다.

    또한 데이터 스튜디오 커넥터 갤러리에서 GKE 사용량 측정을 검색하여 커넥터를 찾을 수도 있습니다.

  2. 커넥터에 필요한 권한을 부여하라는 메시지를 읽고 승인합니다.

  3. 메시지가 표시되면 프로젝트 ID, Cloud Billing 내보내기 데이터세트 ID와 테이블, GKE 사용량 측정 데이터세트 ID를 입력합니다.

  4. 클러스터에 대해 리소스 소비 측정이 사용 설정된 경우 리소스 소비 측정을 사용 설정합니다. 이는 대부분의 사용자에게 해당합니다.

  5. 연결을 클릭합니다. 새 데이터 소스가 생성되며 기본 이름은 GKE Usage Metering입니다. 선택적으로 페이지 제목에서 이름을 클릭하여 이름을 바꿀 수 있습니다.

  6. 보고서 작성을 클릭하여 데이터 스튜디오 대시보드를 만듭니다.

대시보드가 생성되고 대시보드 편집기에서 열립니다. 이 대시보드를 사용하려면 보기를 클릭합니다.

언제든지 프로젝트의 데이터 스튜디오 보고서 목록에서 이 대시보드에 액세스할 수 있습니다.

데이터 스튜디오 대시보드 사용

대시보드에는 다음과 같은 여러 보고서가 있습니다.

Usage breakdown(사용량 분석)
사용량 측정 데이터를 동일한 BigQuery 데이터 소스로 전송하는 모든 클러스터 간의 전체 클러스터 사용량 비율과 네임스페이스별 리소스 유형(예: CPU, 메모리, 네트워크 이그레스)에 대한 자세한 정보입니다. 보고서 데이터를 하나 이상의 개별 클러스터나 네임스페이스로 제한할 수 있습니다.
Usage breadown with unallocated resources(할당되지 않은 리소스가 있는 사용량 분석)
이 보고서는 이전 보고서와 비슷하지만 할당되지 않은 리소스를 모든 네임스페이스에 비례하여 분산합니다. 할당되지 않은 리소스에는 유휴 리소스와 함께 특정 테넌트에 대한 GKE 사용량 측정에 의해 현재 할당되지 않은 리소스가 포함됩니다.
Cost trends - drill down by namespace(비용 추세 - 네임스페이스별 드릴다운)
사용량 측정 데이터를 동일한 BigQuery 데이터 소스로 보내는 모든 클러스터의 네임스페이스별 사용량 추세입니다. 하나 이상의 개별 클러스터, 네임스페이스, 리소스 또는 SKU를 선택할 수 있습니다.
Cost trends - drill down by label(비용 추세 - 라벨별 드릴다운)
사용량 측정 데이터를 동일한 BigQuery 데이터 소스로 보내는 모든 클러스터의 비용 추세입니다. 하나 이상의 개별 클러스터, 리소스, 라벨 이름 또는 라벨 값을 선택할 수 있습니다.
Consumption-based Metering(소비 기반 측정)
사용량 측정 데이터를 동일한 BigQuery 데이터 소스로 보내는 모든 클러스터의 소비 추세입니다. 하나 이상의 개별 네임스페이스, 라벨 키 또는 라벨 값을 선택할 수 있습니다. 이 보고서는 하나 이상의 클러스터에서 리소스 소비 측정이 사용 설정된 경우에만 채워집니다.

화면 왼쪽 상단 근처의 화살표를 사용하여 페이지를 변경할 수 있습니다. 날짜 선택도구를 사용하여 페이지의 기간을 변경할 수 있습니다. 보고서를 조직 구성원들과 공유하거나 액세스 권한을 취소하려면 보고서 공유 링크를 클릭하세요. 이 링크는 + 기호가 있는 사람의 모양입니다.

이 애니메이션은 대시보드의 각 화면을 보여줍니다.

보고서를 프로젝트에 복사한 후에는 데이터 스튜디오 보고서 편집기를 사용하여 맞춤설정할 수 있습니다. Google에서 제공하는 보고서 템플릿이 변경되는 경우에도 복사본은 영향을 받지 않습니다.

BigQuery를 사용하여 GKE 사용량 측정 데이터 탐색

BigQuery를 사용하여 리소스 요청에 대한 데이터를 보려면 관련 BigQuery 데이터세트의 gke_cluster_resource_usage 테이블을 쿼리합니다.

실제 리소스 소비에 대한 데이터를 보려면 gke_cluster_resource_usage_consumed 테이블을 쿼리합니다. 이그레스에 대한 리소스 요청 개념이 없으므로 네트워크 이그레스 소비 데이터가 gke_cluster_resource_usage에 남아 있습니다.

Cloud Bigtable에서 쿼리를 사용하는 방법에 대한 자세한 내용은 쿼리 실행을 참조하세요. 스키마의 필드는 안정적이며, 향후 더 많은 필드를 추가할 수도 있습니다.

아래의 쿼리는 간단한 예시입니다. 쿼리를 맞춤설정하여 필요한 데이터를 찾으세요.

리소스 요청 쿼리

붙여넣기 전에 자체 값을 예시에 삽입하려면 highlighted 상태인 필드를 클릭하여 값을 수정합니다. 값을 재설정하려면 이 페이지를 새로 고칩니다.

SELECT
  cluster_name,
  labels,
  usage
FROM
  `[CLUSTER_GCP_PROJECT].[USAGE_METERING_DATASET].gke_cluster_resource_usage`
WHERE
  namespace="[NAMESPACE]"

리소스 소비 쿼리

SELECT
  cluster_name,
  labels,
  usage
FROM
  `[CLUSTER_GCP_PROJECT].[USAGE_METERING_DATASET].gke_cluster_resource_usage_consumed`
WHERE
  namespace="[NAMESPACE]"

기타 예시

다음 섹션을 펼치면 더 복잡한 예시를 볼 수 있습니다.

BigQuery에서 GKE 사용량 측정 스키마

다음 표는 BigQuery 데이터세트의 GKE 사용량 측정 표의 스키마를 설명합니다. 클러스터가 리소스 요청뿐만 아니라 리소스 소비 측정을 지원하는 GKE 버전을 실행하는 경우, 동일한 스키마를 사용하여 추가 테이블이 생성됩니다.

필드 유형 설명
cluster_location STRING GKE 클러스터가 상주하는 Compute Engine 영역(zone) 또는 리전의 이름입니다.
cluster_name STRING GKE 클러스터의 이름입니다.
namespace STRING 사용량이 생성되는 Kubernetes 네임스페이스입니다.
resource_name STRING 'cpu', 'memory', 'storage' 등 리소스의 이름입니다.
sku_id STRING 기본 GCP 클라우드 리소스의 SKU ID입니다.
start_time TIMESTAMP 사용량이 시작되었을 때의 UNIX 타임스탬프입니다.
end_time TIMESTAMP 사용량이 끝났을 때의 UNIX 타임스탬프입니다.
fraction FLOAT 사용량에서 사용되는 클라우드 리소스의 분수입니다. 단일 네임스페이스에서만 사용되는 전용 클라우드 리소스의 경우, 분수는 항상 1.0입니다. 여러 네임스페이스 간에 공유되는 리소스의 경우, 요청된 양을 기본 클라우드 리소스의 총 용량으로 나눠서 분수를 계산합니다.
cloud_resource_size INTEGER 기본 GCP 리소스의 크기입니다. 예를 들어 n1-standard-2 인스턴스에서 vCPU 크기는 2입니다.
labels.key STRING 사용량과 연관된 Kubernetes 라벨의 키입니다.
labels.value STRING 사용량과 연관된 Kubernetes 라벨의 값입니다.
project.id STRING GKE 클러스터가 상주하는 프로젝트의 ID입니다.
usage.amount FLOAT 사용한 usage.unit의 양입니다.
usage.unit STRING 리소스 사용량을 측정하는 기본 단위입니다. 예를 들어 표준 스토리지의 기본 단위는 byte-seconds입니다.

다음 단계

이 페이지가 도움이 되었나요? 평가를 부탁드립니다.

다음에 대한 의견 보내기...

Kubernetes Engine 문서