Puedes configurar una implementación entre proyectos para Dataproc Metastore para separar los siguientes recursos:
- El servicio de Dataproc Metastore.
- El clúster de Dataproc conectado al servicio de Dataproc Metastore
- La red que usa el clúster de Dataproc.
Antes de comenzar
- Habilitar Dataproc Metastore en tu proyecto.
- Crea un servicio de Dataproc Metastore.
- Comprende las herramientas de redes empresariales específicos en un proyecto final.
Funciones requeridas
Para obtener los permisos que necesitas para crear un metastore de Dataproc y un clúster de Dataproc, pídele a tu administrador que te otorgue los siguientes roles de IAM:
-
Para otorgar control total de los recursos de Dataproc Metastore, sigue estos pasos:
Editor de Dataproc Metastore (
roles/metastore.editor
) en el proyecto del almacén de metadatos.
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.
Para obtener más información sobre roles y permisos específicos de Dataproc Metastore, consulta Administra el acceso con la IAM.Acerca de las implementaciones entre proyectos
Una implementación entre proyectos para Dataproc Metastore puede consistir en los siguientes parámetros de configuración:
Dos proyectos:
- El proyecto uno contiene el clúster de Dataproc (proyecto de clúster).
- El proyecto dos contiene el servicio Dataproc Metastore la red (proyecto de almacén de metadatos y proyecto de red).
Dos proyectos:
- El proyecto uno contiene el clúster de Dataproc.
- El proyecto dos contiene el servicio de Dataproc Metastore y la red (proyecto de metastore y proyecto de red).
Dos proyectos:
- El proyecto uno contiene el clúster de Dataproc y el servicio de Dataproc Metastore (proyecto de clúster y proyecto de metastore).
- El proyecto dos contiene y la red (proyecto de red).
Tres proyectos:
- El primer proyecto contiene el clúster de Dataproc (clúster proyecto).
- El proyecto dos contiene el servicio de Dataproc Metastore (proyecto de metastore).
- El proyecto tres contiene la red (proyecto de red).
En el siguiente diagrama, se proporciona una descripción general de las posibles configuraciones de proyectos que puedes usar.
Permisos entre proyectos
Antes de configurar los permisos entre proyectos, determina si es necesario para tu configuración:
Debes configurar permisos adicionales entre proyectos
Si tu clúster de Dataproc y el servicio de Dataproc Metastore están en proyectos separados.
Si tu servicio y red de Dataproc Metastore están en partes proyectos.
Configura permisos entre proyectos
Si el proyecto del clúster y el del almacén de metadatos están en proyectos separados, otorga los siguientes roles:
roles/metastore.user
a la cuenta de agente de servicio de Dataproc del proyecto del clúster (que se incluye en la política de IAM del proyecto de metastore). Esta configuración se aplica a los protocolos de extremos Thrift y gRPC.
Si el proyecto de red y el de almacén de metadatos están en proyectos separados, otorga los siguientes roles:
roles/metastore.serviceAgent
al agente de servicio del proyecto de metastore (que se incluye en la política de IAM del proyecto de red). Solo esta configuración se aplica al protocolo del endpoint de Thrift.
Console
Para encontrar el número de tu proyecto, haz lo siguiente:
Navega a la pestaña IAM y administración Configuración.
En la lista de proyectos ubicada en la parte superior de la página, selecciona el proyecto que usar para crear el clúster de Dataproc.
Anota el número del proyecto.
Configura los permisos:
Navega a la pestaña IAM.
En la lista de proyectos de la parte superior de la página, selecciona el almacén de metadatos. en un proyecto final.
Haz clic en Agregar.
Ingresa la cuenta de servicio en el campo Principales nuevas.
En el menú Roles, selecciona Dataproc Metastore > Visualizador de Dataproc Metastore.
Haz clic en Agregar.
Después de completar los pasos anteriores, puedes crear un clúster de Dataproc que esté conectado a un servicio de Dataproc Metastore. Ten en cuenta que para ello, la configuración de red o subred del clúster debe coincidir con la red o subred de Dataproc Metastore.
Por ejemplo:
gcloud metastore services create SERVICE \ --network=projects/HOST_PROJECT/global/networks/NETWORK_ID
¿Qué sigue?
- Guía de inicio rápido para implementar Dataproc Metastore
- Descripción general de Dataproc Metastore
- Resumen de Dataproc