Dataproc Metastore로 Private Service Connect

이 페이지에서는 Private Service Connect의 정의와 VPC 피어링 대신 네트워킹에 사용하는 방법을 설명합니다.

VPC 피어링을 사용하지 않는 Dataproc Metastore 서비스

Dataproc Metastore는 비공개 IP 엔드포인트만 노출하여 메타데이터 액세스를 보호합니다. 또한 VPC 피어링을 통해 제공된 고객의 VPC 네트워크에 있는 VM에 대한 연결도 제한합니다.

Dataproc Metastore에는 각 VPC 네트워크의 리전별로 다음이 필요합니다.

VPC 피어링과 IP 주소 예약을 설정하면 혼잡한 VPC 네트워크에 문제가 됩니다. 마찬가지로 VPC 네트워크에는 추가 피어링 요청을 수용하기에 충분한 피어링 할당량이 없을 수도 있습니다. 이 두 가지 제한사항 모두 새 Dataproc Metastore 서비스 생성을 방지합니다.

Private Service Connect를 사용하여 Dataproc Metastore 엔드포인트를 노출하면 VPC 피어링 및 주소 블록 예약 없이 Dataproc Metastore 서비스를 만들 수 있습니다. Private Service Connect를 사용하면 VPC 네트워크 전반에서 Dataproc Metastore 메타데이터에 비공개로 연결할 수 있습니다.

Private Service Connect 사용 시 Dataproc Metastore에는 서브네트워크의 단일 주소 예약과 Dataproc Metastore 엔드포인트를 노출하는 서비스 연결을 타겟팅하는 전달 규칙이 필요합니다. 주소 예약 및 전달 규칙은 Dataproc Metastore 서비스 생성 호출의 일부로 생성됩니다.

Private Service Connect를 사용하여 Dataproc Metastore 서비스 만들기

다음 안내에서는 서비스 생성 중에 Private Service Connect를 구성하는 방법을 보여줍니다.

콘솔

  1. Google Cloud 콘솔에서 Dataproc Metastore 페이지를 엽니다.

    Google Cloud 콘솔에서 Dataproc Metastore 열기

  2. Dataproc Metastore 페이지 상단에서 만들기 버튼을 클릭합니다. 서비스 만들기 페이지가 열립니다.

  3. 원하는 대로 서비스를 구성합니다.

  4. 네트워크 구성에서 여러 VPC 서브네트워크에서 서비스에 액세스할 수 있도록 설정을 클릭합니다.

  5. 서브네트워크를 선택합니다. 서브네트워크를 최대 5개까지 지정할 수 있습니다.

  6. 완료를 클릭합니다.

  7. 제출을 클릭합니다.

서비스의 네트워크 구성을 확인합니다.

  1. Google Cloud 콘솔에서 Dataproc Metastore 페이지를 엽니다.

    Google Cloud 콘솔에서 Dataproc Metastore 열기

  2. Dataproc Metastore 페이지에서 보려는 서비스 이름을 클릭합니다. 해당 서비스의 서비스 세부정보 페이지가 열립니다.

  3. 구성 탭에서 세부정보에 여러 VPC 서브네트워크 URI가 표시되는지 확인합니다.

gcloud

  1. 다음 gcloud beta metastore services create 명령어를 실행하여 Private Service Connect로 서비스를 만듭니다.

    gcloud beta metastore services create SERVICE \
       --location=LOCATION \
       --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"
    
  2. 만들기가 성공했는지 확인합니다.

REST

API 안내에 따라 API 탐색기를 사용하여 서비스를 만듭니다.

create 요청 매개변수에서 Network Config 필드를 사용하여 Private Service Connect를 구성합니다.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }
   

1~5개의 서브네트워크를 지정할 수 있습니다.

Dataproc Metastore는 지정된 각 서브네트워크에 주소를 예약하고 전달 규칙을 만듭니다. 각 서브네트워크에는 Dataproc Metastore 메타데이터 엔드포인트에 액세스하는 데 사용할 수 있는 Thrift 엔드포인트 URI가 있습니다.

Dataproc 클러스터 연결

서비스의 엔드포인트 URI 및 웨어하우스 디렉터리를 통해 Dataproc Metastore 서비스를 Private Service Connect와 함께 사용하는 Dataproc 클러스터를 Hive 메타스토어로 연결할 수 있습니다.

Dataproc 클러스터를 연결하는 방법에 대한 자세한 내용은 ENDPOINT_URIWAREHOUSE_DIR을 사용하여 Dataproc 클러스터 연결을 참조하세요.

Dataproc Metastore에 대한 Private Service Connect 주의사항

  • Private Service Connect를 사용하는 Dataproc Metastore 서비스 엔드포인트는 서비스와 동일한 리전에 있는 서브네트워크의 액세스만 지원합니다.
  • 역방향 연결은 불가능합니다. 즉, Private Service Connect 설정이 포함된 Kerberos 구성은 지원되지 않습니다.
  • gRPC 엔드포인트 프로토콜을 사용하여 Dataproc Metastore 서비스를 만드는 것은 네트워크 구성을 지원하지 않습니다.
  • Dataproc Metastore 서비스에서 서브넷을 동적으로 추가하거나 제거할 수 없습니다. 서브넷을 추가하거나 삭제하려면 서비스를 다시 만들어야 합니다.
  • Private Service Connect 설정에서 피어링 설정이나 그 반대로 Dataproc Metastore 서비스를 업데이트할 수 없습니다.
  • Private Service Connect 구성에는 보조 버전이 지원되지 않습니다.

다음 단계