Puedes configurar una implementación entre proyectos para Dataproc Metastore con el fin de separar los siguientes recursos:
- El servicio de Dataproc Metastore
- El clúster de Dataproc conectado al servicio de Dataproc Metastore.
- La red que usa el clúster de Dataproc.
Antes de comenzar
- Habilita Dataproc Metastore en tu proyecto.
- Crea un servicio de Dataproc Metastore.
- Comprende los requisitos de red específicos de tu proyecto.
Funciones requeridas
A fin de obtener los permisos que necesitas para crear un Dataproc Metastore y un clúster de Dataproc, pídele a tu administrador que te otorgue los siguientes roles de IAM:
-
Para otorgar control total de los recursos de Dataproc Metastore, sigue estos pasos:
Editor de Dataproc Metastore (
roles/metastore.editor
) en el proyecto del almacén de metadatos.
Si quieres obtener más información para otorgar funciones, consulta Administra el acceso.
Es posible que también puedas obtener los permisos necesarios mediante funciones personalizadas, o bien otras funciones predefinidas.
Para obtener más información sobre las funciones y los permisos específicos de Dataproc Metastore, consulta Administra el acceso con la IAM.Acerca de las implementaciones entre proyectos
Una implementación entre proyectos de Dataproc Metastore puede incluir los siguientes parámetros de configuración:
Dos proyectos:
- El proyecto uno contiene el clúster de Dataproc (proyecto del clúster).
- El proyecto dos contiene el servicio de Dataproc Metastore y la red (proyecto de almacén de metadatos y proyecto de red).
Dos proyectos:
- El proyecto uno contiene el clúster de Dataproc.
- El proyecto dos contiene el servicio de Dataproc Metastore y la red (proyecto de almacén de metadatos y proyecto de red).
Dos proyectos:
- El proyecto uno contiene el clúster de Dataproc y el servicio de Dataproc Metastore (proyecto de clúster y proyecto de almacén de metadatos).
- El proyecto dos contiene y la red (proyecto de red).
Tres proyectos:
- El proyecto uno contiene el clúster de Dataproc (proyecto del clúster).
- El proyecto dos contiene el servicio de Dataproc Metastore (proyecto de almacén de metadatos).
- El proyecto tres contiene la red (proyecto de red).
En el siguiente diagrama, se proporciona una descripción general de las posibles configuraciones del proyecto que puedes usar.
Permisos entre proyectos
Antes de establecer permisos entre proyectos, determina si es necesario para la configuración:
Debes configurar permisos adicionales entre proyectos.
Si tu clúster de Dataproc y el servicio de Dataproc Metastore están en proyectos diferentes.
Si tu servicio y red de Dataproc Metastore están en proyectos diferentes.
Configura permisos entre proyectos
Si el proyecto de clúster y el proyecto de almacén de metadatos están en proyectos diferentes, otorga los siguientes roles:
roles/metastore.user
a la cuenta del agente de servicio de Dataproc del proyecto del clúster (contenida en la política de IAM del proyecto del almacén de metadatos). Esta configuración se aplica a los protocolos de extremo de Thrift y gRPC.
Si el proyecto de red y el de almacén de metadatos están en proyectos diferentes, otorga los siguientes roles:
roles/metastore.serviceAgent
al agente de servicio del proyecto de almacén de metadatos (contenido en la política de IAM del proyecto de red) Esta configuración solo se aplica al protocolo de extremo de Thrift.
Console
Para encontrar el número del proyecto, sigue estos pasos:
Ve a la pestaña Configuración de IAM y administración.
En la lista de proyectos en la parte superior de la página, selecciona el proyecto que deseas usar para crear el clúster de Dataproc.
Anota el número del proyecto.
Configura los permisos:
Navega a la pestaña IAM.
En la lista de proyectos de la parte superior de la página, selecciona el proyecto del almacén de metadatos.
Haz clic en Agregar.
Ingresa la cuenta de servicio en el campo Principales nuevas.
En el menú Funciones, selecciona Dataproc Metastore > Visualizador de Dataproc Metastore.
Haz clic en Agregar.
Después de completar los pasos anteriores, puedes crear un clúster de Dataproc adjuntado a un servicio de Dataproc Metastore. Ten en cuenta que, para hacer esto, la configuración de red o subred del clúster de Dataproc debe coincidir con la red o subred de Dataproc Metastore.
Por ejemplo:
gcloud metastore services create SERVICE \ --network=projects/HOST_PROJECT/global/networks/NETWORK_ID
¿Qué sigue?
- Guía de inicio rápido para implementar Dataproc Metastore
- Descripción general de Dataproc Metastore
- Resumen de Dataproc