다음 리소스를 구분하도록 Dataproc Metastore에 대해 프로젝트 간 배포를 설정할 수 있습니다.
- Dataproc Metastore 서비스
- Dataproc Metastore 서비스에 연결된 Dataproc 클러스터
- Dataproc 클러스터에 사용되는 네트워크
시작하기 전에
- 프로젝트에서 Dataproc Metastore를 사용 설정합니다.
- Dataproc Metastore 서비스를 만듭니다.
- 프로젝트별 네트워킹 요구사항을 파악합니다.
필요한 역할
Dataproc Metastore 및 Dataproc 클러스터를 만드는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.
- Dataproc Metastore 리소스에 대한 전체 제어 권한을 부여하려면 Metastore 프로젝트에 대한 Dataproc Metastore 편집자 역할(
roles/metastore.editor)이 필요합니다.
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.
특정 Dataproc Metastore 역할 및 권한에 대한 상세 설명은 IAM으로 액세스 관리를 참조하세요.프로젝트 간 배포 정보
Dataproc Metastore에 대한 프로젝트 간 배포는 다음과 같이 구성될 수 있습니다.
프로젝트 2개:
- 프로젝트 1에 Dataproc 클러스터가 포함됩니다(클러스터 프로젝트).
- 프로젝트 2에 Dataproc Metastore 서비스 및 네트워크가 포함됩니다(Metastore 프로젝트 및 네트워크 프로젝트).
프로젝트 2개:
- 프로젝트 1에 Dataproc 클러스터가 포함됩니다.
- 프로젝트 2에 Dataproc Metastore 서비스 및 네트워크가 포함됩니다(Metastore 프로젝트 및 네트워크 프로젝트).
프로젝트 2개:
- 프로젝트 1에 Dataproc 클러스터와 Dataproc Metastore 서비스가 포함됩니다(클러스터 프로젝트 및 Metastore 프로젝트).
- 프로젝트 2에 네트워크가 포함됩니다(네트워크 프로젝트).
프로젝트 3개:
- 프로젝트 1에 Dataproc 클러스터가 포함됩니다(클러스터 프로젝트).
- 프로젝트 2에 Dataproc Metastore 서비스가 포함됩니다(Metastore 프로젝트).
- 프로젝트 3에 네트워크가 포함됩니다(네트워크 프로젝트).
다음 다이어그램은 사용할 수 있는 가능한 프로젝트 구성 개요를 제공합니다.
프로젝트 간 권한
프로젝트 간 권한을 설정하기 전에 먼저 구성에 필요한지 확인해야 합니다.
추가 프로젝트 간 권한을 설정해야 함
Dataproc 클러스터 및 Dataproc Metastore 서비스가 개별 프로젝트에 있는 경우
Dataproc Metastore 서비스 및 네트워크가 개별 프로젝트에 있는 경우
프로젝트 간 권한 설정
클러스터 프로젝트 및 Metastore 프로젝트가 개별 프로젝트에 있으면 다음 역할을 부여합니다.
roles/metastore.user를 클러스터 프로젝트의 Dataproc 서비스 에이전트 계정(Metastore 프로젝트의 IAM 정책에 포함됨)에 부여합니다. 이 구성은 Thrift 및 gRPC 엔드포인트 프로토콜에 모두 적용됩니다.
네트워크 프로젝트 및 Metastore 프로젝트가 개별 프로젝트에 있으면 다음 역할을 부여합니다.
roles/metastore.serviceAgent를 Metastore 프로젝트 서비스 에이전트(네트워크 프로젝트의 IAM 정책에 포함됨)에 부여합니다. 이 구성은 Thrift 엔드포인트 프로토콜에만 적용됩니다.
콘솔
프로젝트 번호를 찾으려면 다음 안내를 따르세요.
IAM 및 관리자 설정 탭으로 이동합니다.
페이지 상단의 프로젝트 목록에서 Dataproc 클러스터를 만들기 위해 사용하려는 프로젝트를 선택합니다.
프로젝트 번호를 기록합니다.
다음 권한을 구성합니다.
IAM 탭으로 이동합니다.
페이지 상단의 프로젝트 목록에서 메타스토어 프로젝트를 선택합니다.
추가를 클릭합니다.
새 주 구성원 필드에 서비스 계정을 입력합니다.
역할 메뉴에서 Dataproc Metastore > Dataproc Metastore 뷰어를 선택합니다.
추가를 클릭합니다.
이전 단계를 완료하면 Dataproc Metastore 서비스에 연결된 Dataproc 클러스터를 만들 수 있습니다. 이렇게 하려면 Dataproc 클러스터의 네트워크 또는 서브네트워크 구성이 Dataproc Metastore 네트워크 또는 서브네트워크와 일치해야 합니다.
예를 들면 다음과 같습니다.
gcloud metastore services create SERVICE \
--network=projects/HOST_PROJECT/global/networks/NETWORK_ID