Se usó la API de Cloud Translation para traducir esta página.

Crea un servicio de Dataproc Metastore

En esta página, se muestra cómo crear un servicio de Dataproc Metastore.

Después de crear tu servicio de Dataproc Metastore, puedes importar metadatos y conectarte a cualquiera de los siguientes servicios:

Un clúster de Dataproc.
Una instancia autoadministrada de Apache Hive, una instancia de Apache Spark o un clúster de Presto

Después de conectar uno de estos servicios, usará tu servicio de Dataproc Metastore como su almacén de metadatos de Hive durante la ejecución de consultas.

Antes de comenzar

Comprende las diferencias entre un servicio de Dataproc Metastore 1 y un servicio de Dataproc Metastore 2.
Habilita Dataproc Metastore en tu proyecto.
Comprende los requisitos de redes específicos de tu proyecto.

Funciones requeridas

Para obtener el permiso que necesitas para crear un metastore de Dataproc, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto, según el principio de privilegio mínimo:

Otorgar control total de los recursos de Dataproc Metastore (roles/metastore.editor)
Otorga acceso completo a todos los recursos de Dataproc Metastore, incluida la administración de políticas de IAM (roles/metastore.admin)

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene el permiso metastore.services.create, que se requiere para crear un metastore de Dataproc.

También puedes obtener este permiso con roles personalizados o con otros roles predefinidos.

Para obtener más información sobre los roles y permisos específicos de Dataproc Metastore, consulta Administra el acceso con IAM.

Crea Dataproc Metastore con la configuración predeterminada

Si creas un Dataproc Metastore con la configuración predeterminada, se configura tu servicio con un nivel empresarial, un tamaño de instancia medio, la versión más reciente del Metastore de Hive, un extremo de Thrift y una ubicación de datos de us-central.

Dataproc Metastore 2

En las siguientes instrucciones, se muestra cómo crear un Dataproc Metastore 2 con un extremo Thrift y otros parámetros de configuración predeterminados proporcionados.

Console

En la consola de Google Cloud, ve a la página Dataproc Metastore.

Ir a Dataproc Metastore
En la barra de navegación, haz clic en +Crear.

Se abrirá el diálogo Create Metastore service.
Selecciona Dataproc Metastore 2.
En la sección Precios y capacidad, elige un tamaño de instancia.

Para obtener más información, consulta los planes de precios y las configuraciones de escalamiento.
En el campo Nombre del servicio, ingresa un nombre único para tu servicio.

Para obtener información sobre las convenciones de nombres, consulta Convención de nombres de recursos.
Selecciona la Ubicación de los datos.

Para obtener más información sobre cómo seleccionar la región adecuada, consulta Regiones y zonas disponibles y Extremo regional.
Para las demás opciones de configuración del servicio, usa los valores predeterminados proporcionados.
Para crear e iniciar el servicio, haz clic en Enviar.

Tu nuevo servicio de metastore aparecerá en la página Dataproc Metastore. El estado mostrará Creando hasta que el servicio esté listo para usarse. Cuando esté listo, el estado cambiará a Activo. El aprovisionamiento del servicio puede tardar unos minutos.

gcloud CLI

Para crear un servicio de metastore 2 de Dataproc Metastore con los valores predeterminados proporcionados, ejecuta el siguiente comando gcloud metastore services create:

gcloud metastore services create SERVICE \
  --location=LOCATION \
  --instance-size=INSTANCE_SIZE \
  --scaling-factor=SCALING_FACTOR

Reemplaza lo siguiente:

SERVICE: Es el nombre de tu nuevo servicio de Dataproc Metastore.
LOCATION: Es la región de Google Cloud en la que deseas crear tu Dataproc Metastore. También puedes establecer una ubicación predeterminada.

Para obtener información sobre las convenciones de nombres, consulta Convención de nombres de recursos.
INSTANCE_SIZE: El tamaño de la instancia de tu Dataproc Metastore multirregional. Por ejemplo, small, medium o large. Si especificas un valor para INSTANCE_SIZE, no especifiques un valor para SCALING_FACTOR.
SCALING_FACTOR: Es el factor de escalamiento de tu servicio de Dataproc Metastore. Por ejemplo, 0.1. Si especificas un valor para SCALING_FACTOR, no especifiques un valor para INSTANCE_SIZE.

REST

Sigue las instrucciones de la API para crear un servicio mediante el Explorador de API.

Dataproc Metastore 1

En las siguientes instrucciones, se muestra cómo crear un Dataproc Metastore 1 con un extremo Thrift y otros parámetros de configuración predeterminados proporcionados.

Console

En la consola de Google Cloud, ve a la página Dataproc Metastore.

Ir a Dataproc Metastore
En la barra de navegación, haz clic en +Crear.

Se abrirá el diálogo Create Metastore service.
Selecciona Dataproc Metastore 1.
En el campo Nombre del servicio, ingresa un nombre único para tu servicio.

Para obtener información sobre las convenciones de nombres, consulta Convención de nombres de recursos.
Selecciona la Ubicación de los datos.

Para obtener más información sobre cómo seleccionar la región adecuada, consulta Regiones y zonas disponibles y Extremo regional.
Para las demás opciones de configuración del servicio, usa los valores predeterminados proporcionados.
Para crear e iniciar el servicio, haz clic en Enviar.

Tu nuevo servicio de metastore aparecerá en la página Dataproc Metastore. El estado mostrará Creando hasta que el servicio esté listo para usarse. Cuando esté listo, el estado cambiará a Activo. El aprovisionamiento del servicio puede tardar unos minutos.

gcloud CLI

Para crear un servicio de metastore básico con los valores predeterminados proporcionados, ejecuta el siguiente comando gcloud metastore services create:

gcloud metastore services create SERVICE \
  --location=LOCATION

Reemplaza lo siguiente:

SERVICE: Es el nombre de tu nuevo servicio de Dataproc Metastore.
LOCATION: Es la región de Google Cloud en la que deseas crear tu Dataproc Metastore. También puedes establecer una ubicación predeterminada.

Para obtener información sobre las convenciones de nombres, consulta Convención de nombres de recursos.

REST

Sigue las instrucciones de la API para crear un servicio mediante el Explorador de API.

Crea Dataproc Metastore con la configuración avanzada

Cuando creas un Dataproc Metastore con la configuración avanzada, se muestra que debes modificar parámetros de configuración, como la configuración de red, la configuración de escalamiento, la configuración de extremos, la configuración de seguridad y las funciones opcionales.

Dataproc Metastore 2 o 1

En las siguientes instrucciones, se muestra cómo crear un servicio de Dataproc Metastore 2 o de Dataproc Metastore 1 con la configuración avanzada.

Console

Comenzar

En la consola de Google Cloud, abre la página Dataproc Metastore:

Abrir Dataproc Metastore
En el menú de navegación, haz clic en + Crear.

Se abrirá el diálogo Create Metastore service.
Selecciona la versión de Metastore que deseas usar, Dataproc Metastore 1 o Dataproc Metastore 2.

Información del servicio

Ejemplo de la página Crear servicio
1. (Opcional): Para Dataproc Metastore 2. En la sección Precios y capacidad, elige un tamaño de instancia.
  
  Para obtener más información, consulta los planes de precios y las configuraciones de escalamiento.
2. En el campo Nombre del servicio, ingresa un nombre único para tu servicio.
  
  Para obtener información sobre las convenciones de nombres, consulta Convención de nombres de recursos.
3. Selecciona la Ubicación de los datos.
  
  Para obtener más información sobre cómo seleccionar la región adecuada, consulta Regiones y zonas disponibles y Extremo regional.
4. Selecciona la versión de Metastore de Hive.
  
  Si no se modifica este valor, tu servicio usará la versión más reciente de Hive compatible (actualmente, la versión 3.1.2).
  
  Para obtener más información sobre cómo seleccionar la versión correcta, consulta la política de versión.
5. Selecciona el canal de versiones.
  
  Si no se modifica este valor, tu metastore usará el valor Stable. Para obtener más información, consulta Canal de versiones.
6. Ingresa el puerto TCP.
  
  Es el puerto TCP al que se conecta tu extremo de Thrift. Si no se modifica este valor, se usa el número de puerto 9083. Si cambias tu extremo a gRPC, este valor cambiará automáticamente a 443 y no se puede cambiar.
7. (Opcional) Para Dataproc Metastore 1. Selecciona el Nivel de servicio.
  
  El nivel de servicio influye en la capacidad de tu servicio. Para obtener más información, consulta Nivel de servicio.
Protocolo de extremo
- Opcional: Elige un protocolo de extremo.
  
  La opción seleccionada de forma predeterminada es Apache Thrift. Para obtener más información sobre los diferentes extremos, consulta Elige el protocolo de extremo.
Configuración de red
1. Selecciona una configuración de red.
  
  De forma predeterminada, tu servicio solo se expone en una red de VPC y usa la red default. La red default solo permite que tu servicio se conecte a otros servicios en el mismo proyecto.
  
  Cambia la configuración de red predeterminada para completar las siguientes acciones:
  - Conecta tu servicio de Dataproc Metastore a los servicios de Dataproc Metastore en otros proyectos.
  - Usa tu servicio de Dataproc Metastore con otros servicios de Google Cloud, como el clúster de Dataproc.
  Nota: Si usas un extremo de gRPC, estos parámetros de configuración están inhabilitados.
2. Opcional: Haz clic en Usar red de VPC compartida y, luego, ingresa el ID del proyecto y el nombre de la red de VPC.
3. Opcional: Haz clic en Hacer que los servicios sean accesibles en varias subredes de VPC y selecciona las subredes. Puedes especificar hasta cinco subredes.
4. Haz clic en Listo.
Integración de metadatos
- Opcional: Habilita la sincronización de Data Catalog.
  
  Para obtener más información, consulta Sincronización de Dataproc Metastore con Data Catalog.
Período de mantenimiento
- Opcional: Selecciona el Día de la semana y la Hora del día para el período de mantenimiento.
  
  Para obtener más información, consulta Períodos de mantenimiento.
Seguridad
1. Opcional: Habilita Kerberos.
  
  Nota: Para habilitar Kerberos, necesitas un archivo keytab. Este archivo contiene pares de principales de Kerberos y claves encriptadas. Un archivo keytab debe contener la entrada para el principal del servicio creado para este almacén de metadatos de Hive. Para obtener más información, consulta Configura Kerberos para un servicio.
  1. Para habilitar Kerberos, haz clic en el botón de activación.
  2. Selecciona o ingresa el ID de recurso del secreto.
  3. Puedes usar la versión más reciente del secreto o seleccionar una anterior.
  4. Ingresa el principal de Kerberos.
    
    Este es el principal asignado para este servicio de Dataproc Metastore.
  5. Ve al archivo krb5 config.
2. Opcional: Elige un tipo de encriptación.
  - La opción seleccionada de forma predeterminada es Clave de encriptación administrada por Google.
  - Para seleccionar una clave administrada por el cliente, haz clic en Usar una clave de encriptación administrada por el cliente (CMEK).
    
    Para obtener más información, consulta Cómo usar claves de encriptación administradas por el cliente.
Anulaciones de configuración de Metastore
- Opcional: Para aplicar una asignación a Hive Metastore, haz clic en + Agregar anulaciones.
  
  Nota: Para establecer una anulación de almacén del metastore de Hive, consulta Cómo establecer una anulación de almacén de Hive.
Configuración de la versión auxiliar
- Opcional: Para agregar una configuración de versión auxiliar, haz clic en Habilitar.
  
  Para obtener más información, consulta Versiones auxiliares.
Tipo de base de datos
- Opcional: Elige un tipo de base de datos.
  
  En Tipo de base de datos, selecciona MySQL o Spanner. MySQL es el tipo de base de datos predeterminado.
  
  Para obtener más información sobre cómo elegir un tipo de base de datos específico, consulta Tipos de bases de datos.
Etiquetas
- Opcional: Para agregar o quitar etiquetas opcionales que describan tus metadatos, haz clic en + Agregar etiquetas.

Cómo iniciar el servicio

Para crear y, luego, iniciar el servicio, haz clic en Enviar.

Tu nuevo servicio de metastore aparecerá en la página Dataproc Metastore. El estado mostrará Creando hasta que el servicio esté listo para usarse. Cuando esté listo, el estado cambiará a Activo. El aprovisionamiento del servicio puede tardar unos minutos.

gcloud CLI

Para crear un metastore, ejecuta el siguiente comando gcloud metastore services create:
```
gcloud metastore services create SERVICE \
  --location=LOCATION \
  --instance-size=INSTANCE_SIZE \
  --scaling-factor=SCALING_FACTOR \
  --port=PORT \
  --tier=TIER \
  --endpoint-protocol=ENDPOINT_PROTOCOL \
  --database-type=DATABASE_TYPE \
  --hive-metastore-version=HIVE_METASTORE_VERSION \
  --data-catalog-sync=DATA_CATALOG_SYNC \
  --release-channel=RELEASE_CHANNEL \
  --hive-metastore-configs=METADATA_OVERRIDE \
  --labels=LABELS \
  --auxiliary-versions=AUXILIARY_VERSION \
  --network=NETWORK \
  --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2" \
  --kerberos-principal=KERBEROS_PRINCIPAL \
  --krb5-config=KRB5_CONFIG \
  --keytab=CLOUD_SECRET \
  --encryption-kms-key=KMS_KEY
```
Reemplaza lo siguiente:

Configuración del servicio:
- SERVICE: Es el nombre de tu nuevo servicio de Dataproc Metastore. de tu servicio de Dataproc Metastore. Por ejemplo, 0.1 Si especificas un valor para SCALING_FACTOR, no especifiques un valor para INSTANCE_SIZE.
- LOCATION: Es la región de Google Cloud en la que deseas crear tu Dataproc Metastore. También puedes establecer una ubicación predeterminada.
- PORT: Opcional: Es el puerto TCP que usa tu extremo de Thrift. Si no se establece, se usa el puerto 9083. Si eliges usar un extremo de gRPC, el número de puerto cambiará automáticamente a 443.
- TIER: Opcional para Dataproc Metastore 1: Es el nivel de servicio de tu servicio nuevo. Si no se establece, se usa el valor Developer.
- ENDPOINT_PROTOCOL: Opcional: Elige el protocolo de extremo para tu servicio.
- DATABASE_TYPE: Opcional: Elige el tipo de base de datos para tu servicio. Para obtener más información sobre cómo elegir un tipo de base de datos específico, consulta Tipos de bases de datos.
- DATA_CATALOG_SYNC: Opcional: Habilita la función Sincronización de Data Catalog.
- HIVE_METASTORE_VERSION: Opcional: Es la versión del metastore de Hive que deseas usar con tu servicio. Por ejemplo, 3.1.2 Si no se establece, se usa la versión más reciente de Hive.
- RELEASE_CHANNEL: Es el canal de versiones del servicio (opcional). Si no se establece, se usa el valor Stable.
- METADATA_OVERRIDE: Opcional: Las configuraciones de anulación del almacén de metadatos de Hive que deseas aplicar a tu servicio. Usa una lista separada por comas en el siguiente formato k1=v1,k2=v2,k3=v3.
- LABELS: Opcional: Son pares clave-valor para agregar metadatos adicionales a tu servicio. Usa una lista separada por comas en el siguiente formato k1=v1,k2=v2,k3=v3. Dataproc Metastore
- AUXILIARY_VERSION: Opcional: Habilita las versiones auxiliares. Para obtener más información, consulta Versiones auxiliares.
Configuración de escalamiento:
- INSTANCE_SIZE: Opcional para Dataproc Metastore 2: El tamaño de la instancia de tu Dataproc Metastore multirregional. Por ejemplo, small, medium o large. Si especificas un valor para INSTANCE_SIZE, no especifiques un valor para SCALING_FACTOR.
- SCALING_FACTOR: Opcional para Dataproc Metastore 2: el factor de escalamiento de tu servicio de Dataproc Metastore. Por ejemplo, 0.1. Si especificas un valor para SCALING_FACTOR, no especifiques un valor para INSTANCE_SIZE.
Configuración de red:
- NETWORK: Es el nombre de la red de VPC a la que te conectas. Si no se establece, se usa el valor default.
  
  Si usas una red de VPC que pertenece a un proyecto diferente del servicio, debes proporcionar el nombre completo del recurso relativo. Por ejemplo, projects/HOST_PROJECT/global/networks/NETWORK_ID.
- SUBNET1, SUBNET2: Opcional: Es una lista de subredes que pueden acceder a tu servicio. Puedes usar el ID, la URL completamente calificada o el nombre relativo de la subred. Puedes especificar hasta 5 subredes.
  
  Nota: Si especificaste un valor en --network, no puedes usar este parámetro.
Configuración de Kerberos:
- KERBEROS_PRINCIPAL: (Opcional) Un principal de Kerberos que existe en el archivo keytab y en el KDC. Un principal típico tiene la forma “principal/instancia@DOMINIO”, pero no hay un formato exacto.
- KRB5_CONFIG: (Opcional) El archivo krb5.config especifica el KDC y la información del dominio de Kerberos, que incluye ubicaciones del KDC y configuraciones predeterminadas para las aplicaciones de Kerberos y el dominio.
- CLOUD_SECRET: (Opcional) Es el nombre de recurso relativo de una versión del secreto de Secret Manager.
- KMS_KEY: Es opcional y hace referencia al ID del recurso clave.
  
  Vista previa
  
  Este producto o función está sujeto a las "Condiciones de las Ofertas de Fase Previa a la DG" de la sección Condiciones Generales del Servicio de las Condiciones específicas del Servicio. Los productos y las funciones que se encuentran en la fase previa a la DG están disponibles “tal cual” y podrían tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.
Verifica que la creación se haya realizado correctamente.

REST

Sigue las instrucciones de la API para crear un servicio mediante el Explorador de API.

Establece una anulación de configuración de Hive Metastore para Dataproc Metastore

Si tu directorio de almacén de Apache Hive está en Cloud Storage, debes configurar una override de configuración de metastore. Esta anulación establece tu almacén de datos personalizado como el directorio de almacén predeterminado para tu servicio de Dataproc Metastore.

Antes de establecer esta anulación, asegúrate de que tu servicio de Dataproc Metastore tenga permisos de lectura y escritura de objetos para acceder al directorio de almacenes. Para obtener más información, consulta Directorio del almacén de Hive.

En las siguientes instrucciones, se muestra cómo establecer una anulación de configuración de Hive Metastore para un nuevo servicio de Dataproc Metastore.

Console

En la consola de Google Cloud, abre la página Dataproc Metastore:

Abrir Dataproc Metastore
En la barra de navegación, haz clic en +Crear.
En Anulaciones de configuración del almacén de metadatos, ingresa los siguientes valores:
- Clave: hive.metastore.warehouse.dir.
- Valor: Es la ubicación de Cloud Storage de tu directorio de almacén. Por ejemplo: gs://my-bucket/path/to/location.
Configura las opciones de servicio restantes según sea necesario o usa los valores predeterminados proporcionados.
Haz clic en Enviar.

Regresa a la página Dataproc Metastore y verifica que tu servicio se haya creado correctamente.

gcloud CLI

Para crear un servicio de Dataproc Metastore con una anulación de Hive, ejecuta el siguiente comando gcloud metastore services create:
```
gcloud metastore services create SERVICE \
  --location=LOCATION \
  --hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"
```
Reemplaza lo siguiente:
- SERVICE: Es el nombre de tu nuevo servicio de Dataproc Metastore.
- LOCATION: Es la región de Google Cloud en la que deseas crear tu Dataproc Metastore. También puedes establecer una ubicación predeterminada.
- CUSTOMER_DIR: Es la ubicación de Cloud Storage de tu directorio de almacén. Por ejemplo: gs://my-bucket/path/to/location.
Verifica que la creación se haya realizado correctamente.

Crea Dataproc Metastore con el ajuste de escala automático

Dataproc Metastore 2 admite el ajuste de escala automático. Si activas el ajuste de escala automático, puedes establecer un factor de escalamiento mínimo y uno máximo. Después de configurar esto, el servicio aumentará o disminuirá automáticamente el factor de escalamiento necesario para ejecutar tus cargas de trabajo.

Consideraciones sobre el ajuste de escala automático

El ajuste de escala automático y los factores de escala son opciones mutuamente excluyentes. Por ejemplo, si activas el ajuste de escala automático, no puedes establecer un factor o tamaño de escalamiento de forma manual.
El ajuste de escala automático solo está disponible para instancias de Dataproc Metastore de una sola región.
Cuando se habilita el ajuste de escala automático, se borra la configuración de los factores de escalamiento existentes.
Cuando el ajuste de escala automático está inhabilitado, ocurre lo siguiente:
- Se borra la configuración de ajuste de escala automático existente.
- El factor de escalamiento se establece en el último autoscaling_factor que se configuró en el servicio.
Los factores de escalamiento automático mínimo y máximo son opcionales. Si no se establecen, los valores predeterminados son 0.1 y 6, respectivamente.

Elige una de las siguientes pestañas para aprender a crear un servicio de Dataproc Metastore 2 con el escalamiento automático habilitado.

Console

En la consola de Google Cloud, ve a la página Dataproc Metastore.

Ir a Dataproc Metastore
En la barra de navegación, haz clic en +Crear.

Se abrirá el diálogo Create Metastore service.
Selecciona Dataproc Metastore 2.
En la sección Precios y capacidad, selecciona Empresarial: Región única.
En Tamaño de la instancia, haz clic en Habilitar ajuste de escala automático.
En Tamaño de instancia, usa el control deslizante para elegir un tamaño mínimo y máximo de instancia.
Para crear e iniciar el servicio, haz clic en Enviar.

Tu nuevo servicio de metastore aparecerá en la página Dataproc Metastore. El estado mostrará Creando hasta que el servicio esté listo para usarse. Cuando esté listo, el estado cambiará a Activo. El aprovisionamiento del servicio puede tardar unos minutos.

REST

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"scaling_config":{"autoscaling_config":{"autoscaling_enabled": true,"limit_config":{"max_scaling_factor":MAX_SCALING_FACTOR,"min_scaling_factor": MIN_SCALING_FACTOR}}}}' \
-H "Content-Type:application/json" \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/services?service_id=SERVICE_ID

Reemplaza lo siguiente:

MIN_INSTANCES Opcional: Es la cantidad mínima de instancias que se usará en la configuración de ajuste de escala automático. Si no se especifican estos valores, se usa un valor predeterminado de 0.1.
MAX_INSTANCESOpcional: Es la cantidad máxima de instancias que se usarán en la configuración de ajuste de escala automático. Si no se especifican estos valores, se usa un valor predeterminado de 6.