Configura un servicio multirregional de Dataproc Metastore

En esta página, se muestra cómo configurar un servicio multirregional de Dataproc Metastore. Para obtener más información sobre cómo funcionan los servicios multirregionales de Dataproc Metastore, consulta Regiones de Dataproc Metastore.

Antes de comenzar

Habilita Dataproc Metastore en tu proyecto.
Comprende los requisitos de red específicos de tu proyecto.
Obtén información sobre las regiones de Dataproc Metastore y elige una región adecuada.

Roles obligatorios

Si quieres obtener el permiso que necesitas para crear un servicio multirregional de Dataproc Metastore, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto según el principio de privilegio mínimo:

Otorga control total de los recursos de Dataproc Metastore (roles/metastore.editor)
Otorga acceso completo a todos los recursos de Dataproc Metastore, incluida la administración de políticas de IAM (roles/metastore.admin)

Si quieres obtener más información para otorgar roles, consulta Administra el acceso.

Esta función predefinida contiene el permiso metastore.services.create, que se necesita para crear un servicio multirregional de Dataproc Metastore.

Es posible que también puedas obtener este permiso con funciones personalizadas o con otras funciones predefinidas.

Para obtener más información sobre las funciones y los permisos específicos de Dataproc Metastore, consulta Administra el acceso con la IAM.

Acerca de los servicios multirregionales de Dataproc Metastore

Los servicios multirregionales de Dataproc Metastore almacenan tus datos en dos regiones diferentes y las usan para ejecutar tus cargas de trabajo. Por ejemplo, la multirregión nam7 contiene las regiones us-central1 y us-east4.

Un servicio multirregional de Dataproc Metastore replica los metadatos en dos regiones y expone los extremos relevantes para acceder a Hive Metastore. Para gRPC, se expone un extremo por región. En Thrift, se expone un extremo por subred.
Un servicio multirregional de Dataproc Metastore proporciona una configuración de clúster de alta disponibilidad (HA) activa-activa. Esta configuración significa que las cargas de trabajo pueden acceder a cualquiera de las regiones cuando ejecutan trabajos. También proporciona un mecanismo de conmutación por error para tu servicio. Por ejemplo, si tu extremo regional principal falla, tus cargas de trabajo se enrutan de forma automática a la región secundaria. Esto ayuda a evitar interrupciones en tus trabajos de Dataproc.

Consideraciones

Las siguientes consideraciones se aplican a los servicios multirregionales de Dataproc Metastore.

Los servicios multirregionales solo admiten el tipo de base de datos de Spanner. Consulta la lista de funciones compatibles antes de crear el servicio multirregional.
Los servicios multirregionales solo admiten las configuraciones de Dataproc Metastore 2.
Los servicios multirregionales crean buckets de artefactos en una ubicación multirregional de Cloud Storage. Por ejemplo, los buckets Nam7 se crean en la ubicación multirregional US.

Crea un servicio multirregional de Dataproc Metastore

Elige una de las siguientes pestañas para aprender a crear un servicio multirregional mediante el protocolo de extremo Thrift o gRPC, con un servicio de Dataproc Metastore 2.

gRPC

Cuando creas un servicio multirregional que usa el protocolo de extremo de gRPC, no tienes que establecer ninguna configuración de red específica. El protocolo gRPC controla el enrutamiento de red por ti.

Console

En la consola de Google Cloud, ve a la página Dataproc Metastore.

Ir a Dataproc Metastore
En la barra de navegación, haz clic en +Crear.

Se abrirá el diálogo Crear servicio de Metastore.
Selecciona Dataproc Metastore 2.
En la sección Precios y capacidad, selecciona Enterprise Plus: Región dual.
Para el Protocolo de extremos, selecciona gRPC*.
Para crear e iniciar el servicio, haz clic en Enviar.

Tu nuevo servicio de almacén de metadatos aparece en la página Dataproc Metastore. El estado muestra Creando hasta que el servicio esté listo para usarse. Cuando esté lista, el estado cambiará a Activa. Aprovisionar el servicio puede tardar unos minutos.

gcloud CLI

Para crear un servicio multirregional de Dataproc Metastore, ejecuta el siguiente comando de gcloud metastore services create. Con este comando, se crea la versión 3.1.2 de Dataproc Metastore.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=grpc

Reemplaza lo siguiente:

SERVICE: Es el nombre de tu servicio de Dataproc Metastore.
MULTI_REGION: La multirregión en la que creas el servicio de Dataproc Metastore.
INSTANCE_SIZE: Es el tamaño de la instancia de tu Dataproc Metastore multirregional. Por ejemplo, small, medium o large. Si especificas un valor para INSTANCE_SIZE, no especifiques un valor para SCALING_FACTOR.
SCALING_FACTOR: Es el factor de escalamiento de tu servicio de Dataproc Metastore. Por ejemplo, 0.1. Si especificas un valor para SCALING_FACTOR, no especifiques un valor para INSTANCE_SIZE.

Tienda de segunda mano

Cuando creas un servicio multirregional que usa el protocolo de extremo de Thrift, debes establecer la configuración de subred adecuada. En este caso, para cada red de VPC que uses, debes proporcionar al menos una subred de cada región.

Por ejemplo, para crear la multirregión nam7, debes proporcionar las regiones us-central1 y us-east4.

Console

En la consola de Google Cloud, ve a la página Dataproc Metastore.

Ir a Dataproc Metastore
En la barra de navegación, haz clic en +Crear.

Se abrirá el diálogo Crear servicio de Metastore.
Selecciona Dataproc Metastore 2.
En la sección Precios y capacidad, selecciona Enterprise Plus: Región dual.

Para obtener más información, consulta los planes de precios y configuraciones de escalamiento.
En el campo Nombre del servicio, ingresa un nombre único para tu servicio.

Para obtener información sobre las convenciones de nombres, consulta Convención de nombres de recursos.
Para el Protocolo de extremos, selecciona Thrift.
En Configuración de red, proporciona las subredes que forman la configuración multirregional que elegiste.
Para las opciones de configuración del servicio restantes, usa los valores predeterminados proporcionados.
Para crear e iniciar el servicio, haz clic en Enviar.

Tu nuevo servicio de almacén de metadatos aparece en la página Dataproc Metastore. El estado muestra Creando hasta que el servicio esté listo para usarse. Cuando esté lista, el estado cambiará a Activa. Aprovisionar el servicio puede tardar unos minutos.

gcloud CLI

Para crear un servicio multirregional de Dataproc Metastore, ejecuta el siguiente comando de gcloud metastore services create. Con este comando, se crea la versión 3.1.2 de Dataproc Metastore.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION1/subnetworks/SUBNET1,projects/PROJECT_ID/regions/LOCATION2/subnetworks/SUBNET2" \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

También puedes almacenar la configuración de red en un archivo, como se muestra en el siguiente comando.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --network-config-from-file=NETWORK_CONFIG_FROM_FILE
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

Reemplaza lo siguiente:

SERVICE: Es el nombre de tu servicio de Dataproc Metastore.
MULTI_REGION: Es la multirregión en la que deseas crear el servicio de Dataproc Metastore.
PROJECT_ID: El ID del proyecto de Google Cloud en el que creas el servicio de Dataproc Metastore.
SUBNET1,SUBNET2: Es una lista de subredes que forman una configuración multirregional. Puedes usar el ID, la URL completamente calificada o el nombre relativo de la subred. Puedes especificar hasta seis subredes.
LOCATION1,LOCATION2: Una lista de ubicaciones que forman una configuración multirregional. Puedes usar el ID de la ubicación. Por ejemplo, para una multirregión nam7, usa us-central1 y us-east4.
NETWORK_CONFIG_FROM_FILE: Es la ruta a un archivo YAML que contiene tu configuración de red.
INSTANCE_SIZE: Es el tamaño de la instancia de tu Dataproc Metastore multirregional. Por ejemplo, small, medium o large. Si especificas un valor para INSTANCE_SIZE, no especifiques un valor para SCALING_FACTOR.
SCALING_FACTOR: Es el factor de escalamiento de tu servicio de Dataproc Metastore. Por ejemplo, 0.1. Si especificas un valor para SCALING_FACTOR, no especifiques un valor para INSTANCE_SIZE.

REST

Si quieres aprender a crear un servicio multirregional de Dataproc Metastore, sigue las instrucciones para crear un servicio con el Explorador de APIs de Google.

Para configurar un servicio multirregional, proporciona la siguiente información en los objetos Network Config.

  "network_config": {
    "consumers": [
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
    ],
    "scaling_config": {
    "scaling_factor": SCALING_FACTOR
    }
  }

Reemplaza lo siguiente:

PROJECT_ID: Es el ID del proyecto de Google Cloud que contiene tu servicio de Dataproc Metastore.
LOCATION: Es la región de Google Cloud en la que reside el servicio de Dataproc Metastore.
SUBNET1,SUBNET2: Es una lista de subredes que forman una configuración multirregional. Puedes usar el ID, la URL completamente calificada o el nombre relativo de la subred. Puedes especificar hasta cinco subredes.
SCALING_FACTOR: Es el factor de escalamiento que deseas usar para el servicio.

Conecta Dataproc Metastore a un clúster de Dataproc

Elige una de las siguientes pestañas para aprender a conectar un servicio de Dataproc Metastore multirregional desde un clúster de Dataproc.

gRPC

Para conectar un clúster de Dataproc, elige la pestaña que corresponda a la versión de Dataproc Metastore que usas.

Dataproc Metastore 3.1.2

Crea las siguientes variables para tu clúster de Dataproc:
```
CLUSTER_NAME=CLUSTER_NAME
PROJECT_ID=PROJECT_ID
MULTI_REGION=MULTI_REGION
DATAPROC_IMAGE_VERSION=DATAPROC_IMAGE_VERSION
PROJECT=PROJECT
SERVICE_ID=SERVICE_ID
```
Reemplaza lo siguiente:
- CLUSTER_NAME: Es el nombre del clúster de Dataproc.
- PROJECT_ID: Es el proyecto de Google Cloud que contiene tu clúster de Dataproc. Asegúrate de que la subred que usas tenga los permisos adecuados para acceder a este proyecto.
- MULTI_REGION: La multirregión de Google Cloud en la que deseas crear tu clúster de Dataproc.
- DATAPROC_IMAGE_VERSION: Es la versión de la imagen de Dataproc que usas con tu servicio de Dataproc Metastore. Debes usar una versión de imagen de 2.0 o superior.
- PROJECT: Es el proyecto que contiene tu servicio de Dataproc Metastore.
- SERVICE_ID: Es el ID de servicio de tu servicio de Dataproc Metastore.

Para crear tu clúster, ejecuta el siguiente comando gcloud dataproc clusters create. --enable-kerberos es opcional. Incluye esta opción solo si usas kerberos con tu clúster.

gcloud dataproc clusters create ${CLUSTER_NAME} \
 --project ${PROJECT_ID} \
 --region ${MULTI_REGION} \
 --image-version ${DATAPROC_IMAGE_VERSION} \
 --scopes "https://www.googleapis.com/auth/cloud-platform" \
 --dataproc-metastore projects/${PROJECT}/locations/${MULTI_REGION}/services/${SERVICE_ID} \
[ --enable-kerberos ]

Dataproc Metastore 2.3.6

Crea las siguientes variables para tu servicio de Dataproc Metastore:
```
METASTORE_PROJECT=METASTORE_PROJECT
METASTORE_ID=METASTORE_ID
MULTI_REGION=MULTI_REGION
SUBNET=SUBNET
```
Reemplaza lo siguiente:
- METASTORE_PROJECT: Es el proyecto de Google Cloud que contiene tu servicio de Dataproc Metastore.
- METASTORE_ID: Es el ID de servicio de tu servicio de Dataproc Metastore.
- MULTI_REGION: Es la ubicación multirregional que deseas usar para el servicio de Dataproc Metastore.
- SUBNET: Es una de las subredes que usas para tu servicio de Dataproc Metastore. O en cualquier subred de la red de VPC superior de las subredes usadas para tu servicio.
Crea las siguientes variables para tu clúster de Dataproc:
```
CLUSTER_NAME=CLUSTER_NAME
DATAPROC_PROJECT=DATAPROC_PROJECT
DATAPROC_REGION=DATAPROC_REGION
HIVE_VERSION=HIVE_VERSION
IMAGE_VERSION=r>IMAGE_VERSION
```
Reemplaza lo siguiente:
- CLUSTER_NAME: Es el nombre del clúster de Dataproc.
- DATAPROC_PROJECT: Es el proyecto de Google Cloud que contiene tu clúster de Dataproc. Asegúrate de que la subred que usas tenga los permisos adecuados para acceder a este proyecto.
- DATAPROC_REGION: Es la región de Google Cloud en la que deseas crear tu clúster de Dataproc.
- HIVE_VERSION: Es la versión de Hive que usa tu servicio de Dataproc Metastore.
- IMAGE_VERSION: Es la versión de la imagen de Dataproc que usas con tu servicio de Dataproc Metastore.
  - En Hive Metastore versión 2.0, usa la versión de imagen 1.5.
  - En Hive Metastore versión 3.1.2, usa la versión de imagen 2.0.

Recupera el directorio del almacén de tu servicio de Dataproc Metastore y almacénalo en una variable.

WAREHOUSE_DIR=$(gcloud metastore services describe "${METASTORE_ID}" --project "${METASTORE_PROJECT}" --location "${MULTI_REGION}" --format="get(hiveMetastoreConfig.configOverrides[hive.metastore.warehouse.dir])")

Crear un clúster de Dataproc configurado con un almacén de metadatos de Dataproc multirregional.

gcloud dataproc clusters create ${CLUSTER_NAME} \
    --project "${DATAPROC_PROJECT}" \
    --region ${DATAPROC_REGION} \
    --scopes "https://www.googleapis.com/auth/cloud-platform" \
    --subnet "${SUBNET}" \
    --optional-components=DOCKER \
    --image-version ${IMAGE_VERSION} \
    --metadata "hive-version=${HIVE_VERSION},dpms-name=${DPMS_NAME}" \
    --properties "hive:hive.metastore.uris=thrift://localhost:9083,hive:hive.metastore.warehouse.dir=${WAREHOUSE_DIR}" \
    --initialization-actions gs://metastore-init-actions/mr-metastore-grpc-proxy/metastore-grpc-proxy.sh

Tienda de segunda mano

Opción 1: Edita el archivo hive-site.xml

Busca el URI de extremo y el directorio de almacén de tu servicio de Dataproc Metastore. Puedes elegir cualquiera de los extremos expuestos.
En la consola de Google Cloud, ve a la página Instancias de VM.
En la lista de instancias de máquina virtual, haz clic en SSH en la fila del nodo principal de Dataproc (.*-m).

Se abrirá una ventana del navegador en tu directorio principal del nodo.
Abre el archivo /etc/hive/conf/hive-site.xml.
```
sudo vim /etc/hive/conf/hive-site.xml
```
Verás un resultado similar al siguiente:
```
<property>
    <name>hive.metastore.uris</name>
    <value>ENDPOINT_URI</value>
</property>
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>WAREHOUSE_DIR</value>
</property>
```
Reemplaza lo siguiente:
- ENDPOINT_URI: Es el URI del extremo de tu servicio de Dataproc Metastore.
- WAREHOUSE_DIR: Es la ubicación del directorio del almacén de Hive.

Reinicia HiveServer2:

sudo systemctl restart hive-server2.service

Opción 2: Usa gcloud CLI

Ejecuta el siguiente comando gcloud dataproc clusters create de gcloud CLI.

Busca el URI de extremo y el directorio de almacén de tu servicio de Dataproc Metastore. Puedes elegir cualquiera de los extremos expuestos.

gcloud dataproc clusters create CLUSTER_NAME \
    --network NETWORK \
    --project PROJECT_ID \
    --scopes "https://www.googleapis.com/auth/cloud-platform" \
    --image-version IMAGE_VERSION \
    --properties "hive:hive.metastore.uris=ENDPOINT,hive:hive.metastore.warehouse.dir=WAREHOUSE_DIR"

Reemplaza lo siguiente:

CLUSTER_NAME: Es el nombre del clúster de Dataproc.
NETWORK: Es el proyecto de Google Cloud que contiene tu clúster de Dataproc. Asegúrate de que la subred que usas tenga los permisos adecuados para acceder a este proyecto.
PROJECT_ID: Es la versión de Hive que usa tu servicio de Dataproc Metastore.
IMAGE_VERSION: Es la versión de la imagen de Dataproc que usas con tu servicio de Dataproc Metastore.
- En Hive Metastore versión 2.0, usa la versión de imagen 1.5.
- En Hive Metastore versión 3.1.2, usa la versión de imagen 2.0.
ENDPOINT: Es el extremo de Thrift que usa Dataproc Metastore.
WAREHOUSE_DIR: Es el directorio del almacén de tu Dataproc Metastore.

Configura un servicio multirregional de Dataproc Metastore

Antes de comenzar

Roles obligatorios

Acerca de los servicios multirregionales de Dataproc Metastore

Consideraciones

Crea un servicio multirregional de Dataproc Metastore

gRPC

Console

gcloud CLI

Tienda de segunda mano

Console

gcloud CLI

REST

Conecta Dataproc Metastore a un clúster de Dataproc

gRPC

Dataproc Metastore 3.1.2

Dataproc Metastore 2.3.6

Tienda de segunda mano

Opción 1: Edita el archivo hive-site.xml

Opción 2: Usa gcloud CLI

Qué sigue