Dataproc Metastore로 Private Service Connect

Private Service Connect를 사용하면 VPC 피어링을 사용하지 않는 Dataproc Metastore 서비스를 만들 수 있습니다. 이 페이지에서는 Private Service Connect의 정의와 Dataproc Metastore의 대체 네트워킹 옵션으로 사용하는 방법을 설명합니다.

VPC에서 Dataproc Metastore 작동 방법

Dataproc Metastore는 비공개 IP 엔드포인트만 노출하여 메타데이터 액세스를 보호합니다. 또한 VPC 피어링을 사용하여 VPC 네트워크 내 VM에 대한 연결을 제한합니다.

Dataproc Metastore에는 각 VPC 네트워크의 리전별로 다음 구성이 필요합니다.

그 결과 사용량이 많은 VPC 네트워크에서는 VPC 피어링과 IP 주소 예약을 설정하는 것이 어려울 수 있습니다. VPC 네트워크에 추가 피어링 요청을 수용하기에 충분한 피어링 할당량이 없을 수도 있습니다. 이러한 제한사항 모두 새 Dataproc Metastore 서비스를 만들지 못하게 하는 이유가 될 수 있습니다.

이러한 문제를 해결하려면 Private Service Connect와 함께 Dataproc Metastore를 사용하면 됩니다.

Private Service Connect에서 Dataproc Metastore 작동 방법

Private Service Connect를 사용하면 VPC 네트워크 전반에서 Dataproc Metastore 메타데이터에 비공개로 연결할 수 있습니다.

Dataproc Metastore에 Private Service Connect를 사용하려면 다음 구성이 필요합니다.

  • 서브네트워크의 단일 주소 예약
  • Dataproc Metastore 엔드포인트를 노출하는 서비스 연결을 타겟팅하는 전달 규칙. 주소 예약 및 전달 규칙은 Dataproc Metastore 서비스 생성 호출의 일부로 생성됩니다.

고려사항

  • Private Service Connect를 사용하는 Dataproc Metastore 서비스는 서비스 생성 중 지정된 서브네트워크의 VPC 네트워크 액세스만 지원합니다.

  • Dataproc Metastore는 주소를 예약하고 지정된 각 서브네트워크에 전달 규칙을 만듭니다. 각 서브네트워크에는 Dataproc Metastore 메타데이터 엔드포인트에 액세스하는 데 사용할 수 있는 Thrift 엔드포인트 URI가 있습니다.

제한사항

  • gRPC 엔드포인트 프로토콜을 사용하는 Dataproc Metastore 서비스는 Private Service Connect를 지원하지 않습니다.
  • Private Service Connect에서는 역방향 연결이 지원되지 않습니다. 즉, Private Service Connect에 Kerberos 구성을 사용할 수 없습니다.
  • Private Service Connect로 구성된 Dataproc Metastore 서비스에서 서브넷을 동적으로 추가하거나 삭제할 수 없습니다. 대신 서브넷을 추가하거나 삭제하려면 서비스를 다시 만들어야 합니다.
  • VPC를 사용하기 위해 Private Service Connect를 사용하는 Dataproc Metastore 서비스를 업데이트하거나 그 반대로는 업데이트할 수 없습니다.

Private Service Connect로 Dataproc Metastore 서비스 만들기

다음 안내에서는 서비스 생성 중 Private Service Connect를 구성하는 방법을 보여줍니다.

콘솔

  1. Google Cloud 콘솔에서 Dataproc Metastore 페이지를 엽니다.

    Dataproc Metastore로 이동

  2. Dataproc Metastore 페이지 상단에서 만들기를 클릭합니다.

    서비스 만들기 페이지가 열립니다.

  3. 필요에 따라 서비스를 구성합니다.

  4. 네트워크 구성에서 여러 VPC 서브네트워크에서 서비스에 액세스할 수 있도록 설정을 클릭합니다.

  5. 서브네트워크를 선택합니다. 서브네트워크를 최대 5개까지 지정할 수 있습니다.

  6. 완료를 클릭합니다.

  7. 제출을 클릭합니다.

서비스의 네트워크 구성을 확인합니다.

  1. Google Cloud 콘솔에서 Dataproc Metastore 페이지를 엽니다.

    Dataproc Metastore로 이동

  2. Dataproc Metastore 페이지에서 보려는 서비스 이름을 클릭합니다.

    해당 서비스의 서비스 세부정보 페이지가 열립니다.

  3. 구성 탭에서 세부정보에 여러 VPC 서브네트워크 URI가 표시되는지 확인합니다.

gcloud

  1. 다음 gcloud metastore services create 명령어를 실행하여 Private Service Connect로 서비스를 만듭니다.

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    또는

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. 성공적으로 만들어졌는지 확인합니다.

REST

API 안내에 따라 API 탐색기를 사용하여 서비스를 만듭니다.

create 요청 매개변수에서 Network Config 필드를 사용하여 Private Service Connect를 구성합니다. 서브네트워크를 1~5개 지정할 수 있습니다.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

다음 단계