Dataproc Metastore의 네트워크 액세스 구성

이 페이지에서는 Dataproc Metastore 인스턴스의 네트워크 액세스를 구성하는 방법을 자세히 안내합니다. Dataproc 클러스터와 Dataproc Serverless 워크로드가 관리형 Dataproc Metastore 서비스와 안전하고 비공개로 통신하려면 올바른 네트워크 설정이 필수입니다.

주요 네트워킹 개념

Dataproc Metastore 인스턴스는 일반적으로 Google 관리 서비스 제작자 네트워크 내에 있으며 비공개 연결을 사용하여 Virtual Private Cloud 네트워크와 통신합니다. 다음 개념을 이해하는 것은 성공적인 설정을 위해 매우 중요합니다.

  • 공유 Virtual Private Cloud: Dataproc 클러스터 또는 Dataproc 서버리스 워크로드가 호스트 프로젝트의 공유 Virtual Private Cloud 네트워크를 사용하는 서비스 프로젝트에 있는 경우 호스트 프로젝트에서 적절한 네트워크 구성이 이루어졌는지 확인합니다. 자세한 내용은 공유 Virtual Private Cloud 개요를 참고하세요.
  • 비공개 Google 액세스: Dataproc Metastore 인스턴스는 가상 프라이빗 클라우드 네트워크와의 비공개 통신을 위해 비공개 Google 액세스를 사용하는 경우가 많습니다. 이를 통해 Virtual Private Cloud의 가상 머신 (VM) 인스턴스가 내부 IP 주소를 사용하여 Google API 및 서비스에 연결할 수 있습니다. 자세한 내용은 비공개 Google 액세스를 참고하세요.
  • VPC 네트워크 피어링: 이 메커니즘은 두 가상 프라이빗 클라우드 네트워크 간에 비공개 IP 연결을 지원하여 한 네트워크의 리소스가 내부 IP 주소를 사용하여 다른 네트워크의 리소스와 통신할 수 있도록 합니다. Dataproc Metastore는 설정의 일환으로 Virtual Private Cloud 네트워크에 관리형 VPC 네트워크 피어링 연결을 설정합니다. 자세한 내용은 VPC 네트워크 피어링을 참조하세요.
  • 방화벽 규칙: Dataproc 워크로드와 Dataproc Metastore 인스턴스 간의 트래픽을 허용하려면 적절한 방화벽 규칙이 필요합니다.
  • Cloud DNS 확인: Dataproc Metastore 엔드포인트 URI를 비공개 IP 주소로 확인하도록 Virtual Private Cloud 네트워크 내에서 DNS 확인이 올바르게 구성되어 있는지 확인합니다.

구성 단계

Dataproc Metastore 인스턴스의 적절한 네트워크 액세스를 확인하려면 다음 단계를 따르세요.

1. 비공개 서비스 액세스 구성

Dataproc Metastore는 비공개 서비스 액세스를 사용하여 Virtual Private Cloud 네트워크와 Dataproc Metastore 인스턴스가 상주하는 Google 관리 서비스 제작자 네트워크 간에 비공개 연결을 설정합니다.

  • 비공개 서비스 액세스 연결 확인:
    1. Google Cloud 콘솔에서 Virtual Private Cloud 네트워크 > VPC 네트워크 피어링으로 이동합니다.
    2. servicenetworking-googleapis-com라는 피어링 연결이 있고 상태가 ACTIVE인지 확인합니다.
    3. 이 연결이 누락되었거나 활성 상태가 아닌 경우 비공개 서비스 액세스 구성의 안내를 따르세요. 여기에는 서비스 프로듀서 네트워크에 IP 주소 범위를 할당하는 작업이 포함됩니다.

2. 방화벽 규칙 구성

Virtual Private Cloud 네트워크 (또는 해당하는 경우 공유 Virtual Private Cloud 호스트 프로젝트)의 방화벽 규칙이 필요한 트래픽을 허용하는지 확인합니다.

  • 워크로드에서 Metastore로의 이그레스 규칙:
    • 이그레스 방화벽 규칙이 Dataproc 클러스터 또는 Dataproc 서버리스 워크로드에서 포트 9083의 Dataproc Metastore 인스턴스 IP 주소 범위로의 아웃바운드 TCP 트래픽을 허용하는지 확인합니다. Hive Metastore의 기본 포트입니다.
    • 비공개 서비스 액세스를 사용하는 경우 이 트래픽은 비공개로 라우팅됩니다.
  • 인그레스 규칙 (클라이언트-Metastore에 덜 일반적임):
    • 일반적으로 통신은 워크로드에서 시작되므로 Dataproc Metastore 인스턴스에서 워크로드로 향하는 트래픽에 대해 가상 프라이빗 클라우드에서 인그레스 규칙을 구성할 필요가 없습니다. 하지만 과도하게 제한적인 인그레스 규칙이 필요한 응답을 실수로 차단하지 않는지 확인하세요.

3. DNS 변환 확인

Dataproc 워크로드가 Dataproc Metastore 엔드포인트 URI를 비공개 IP 주소로 확인해야 합니다.

  • DNS 피어링 또는 비공개 영역: 커스텀 DNS 서버 또는 비공개 Cloud DNS 영역을 사용하는 경우 Dataproc Metastore 엔드포인트 (예: your-metastore-endpoint.us-central1.dataproc.cloud.google.com)가 비공개 서비스 액세스에서 사용하는 비공개 IP 범위로 올바르게 전달되거나 변환되는지 확인합니다.
  • DNS 확인 테스트: Dataproc 워크로드와 동일한 서브넷 내의 VM에서 nslookup 또는 dig를 사용하여 Dataproc Metastore 엔드포인트가 비공개 IP 주소로 확인되는지 확인합니다.

네트워크 연결 문제 해결

네트워크 액세스를 구성한 후 연결 문제가 발생하면 다음 문제 해결 단계를 고려하세요.

다음 단계