Implementa un servicio de Dataproc Metastore

Implementa un servicio de Dataproc Metastore

En esta página, se muestra cómo crear un servicio de Dataproc Metastore y conectarse a él desde un clúster de Dataproc. Luego, establece una conexión SSH al clúster, inicia una instancia de Apache Hive y ejecuta algunas consultas básicas.

Dataproc Metastore te proporciona un Hive completamente compatible Metastore (HMS), que es el estándar establecido en los proyectos de macrodatos de código abierto de Google Cloud para administrar metadatos técnicos. Este servicio te ayuda a administrar la metadatos de tus data lakes y proporciona interoperabilidad entre los diversos de procesamiento de datos que estés usando.

Nota: En esta guía, se muestra cómo configurar Dataproc Metastore con las opciones predeterminadas proporcionadas. Para aprender a configurar Dataproc Metastore con la configuración avanzada, consulta Cómo crear un almacén de metadatos.

---

Para seguir la guía paso a paso en esta tarea directamente en la consola de Google Cloud, haz clic en Guiarme:

GUIARME

---

Antes de comenzar

1. Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

4. Enable the Dataproc Metastore, Dataproc APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

7. Enable the Dataproc Metastore, Dataproc APIs.

   Enable the APIs

Funciones requeridas

A fin de obtener los permisos que necesitas para crear Dataproc Metastore y un clúster de Dataproc, solicita a tu administrador que te otorgue el los siguientes roles de IAM:

• Para otorgar acceso completo a todos los recursos de Dataproc Metastore, incluida la configuración de permisos de IAM, haz lo siguiente: (roles/metastore.admin) en la cuenta de usuario o de servicio
• Para otorgar control total de los recursos de Dataproc Metastore, sigue estos pasos: Editor de Dataproc Metastore (roles/metastore.editor) en la cuenta de usuario o de servicio
• Para crear un clúster de Dataproc, usa el comando (roles/dataproc.worker) en la cuenta de servicio.

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para crear un metastore de Dataproc y un clúster de Dataproc. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para crear un clúster de Dataproc Metastore y Dataproc:

• Para crear un servicio de Dataproc Metastore, sigue estos pasos: metastore.services.create en la cuenta de usuario o de servicio
• Para crear un clúster de Dataproc, haz lo siguiente: Dataproc worker (roles/dataproc.worker) en la cuenta de servicio

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Para obtener más información sobre los roles y permisos específicos de Dataproc Metastore, consulta Descripción general de la IAM de Dataproc Metastore.

Crea un servicio de Dataproc Metastore

En las siguientes instrucciones, se muestra cómo crear una Dataproc Metastore mediante la configuración predeterminada proporcionada.

Console

1. En la consola de Google Cloud, ve a la página Dataproc Metastore.

   Ir a Dataproc Metastore

2. En el menú de navegación, haz clic en + Crear.

   Se abrirá el diálogo Crear servicio de Metastore.

3. Selecciona Dataproc Metastore 2.

4. En el campo Nombre del servicio, ingresa example-service.

5. En el campo Ubicación de los datos, selecciona us-central1.

6. Para las demás opciones de configuración del servicio, usa los valores predeterminados proporcionados.

7. Para crear e iniciar el servicio, haz clic en Enviar.

Tu nuevo servicio de metastore aparecerá en la página Dataproc Metastore. El estado mostrará Creando hasta que el servicio esté listo para usarse. Cuando esté listo, el estado cambiará a Activo. Es posible que el aprovisionamiento del servicio demore un par de minutos.

En la siguiente captura de pantalla, se muestra un ejemplo de la página Crear servicio con algunos de los valores predeterminados proporcionados.

gcloud CLI

Para crear un servicio de almacén de metadatos con los valores predeterminados proporcionados, ejecuta el siguiente comando gcloud metastore services create. :

 gcloud metastore services create example-service \
     --location=us-central1 \
     --instance-size=MEDIUM

Este comando crea un servicio llamado example-service en la región predeterminada (us-central1) y con el tamaño de instancia predeterminado (MEDIUM).

REST

Sigue las instrucciones de la API para crear un servicio mediante el Explorador de API.

Crea un clúster de Dataproc y conéctate a Dataproc Metastore

A continuación, creas un clúster de Dataproc y te conectas a tu almacén de metadatos desde el clúster. Después de eso, tu clúster usa el servicio de metastore como HMS. El clúster que crees aquí usará la configuración predeterminada proporcionada.

Console

1. En la consola de Google Cloud, ve a la página Clústeres de Dataproc.

   Ir a Clústeres de Dataproc

2. En la barra de navegación, selecciona +Crear clúster.

   Se abrirá el diálogo Create a cluster, que te proporcionará varias opciones de infraestructura para elegir.

3. En la fila Clúster en Compute Engine, selecciona Crear.

   La página Crea un clúster de Dataproc en Compute Engine se abre.

4. En el campo Nombre del clúster, ingresa example-cluster.

5. En los menús Región y Zona, selecciona us-central1.

6. Para las opciones restantes de Configurar clúster, usa los valores predeterminados proporcionados.

7. En el menú de navegación, haz clic en la pestaña Personalizar clúster (opcional).

8. En la sección Dataproc Metastore, selecciona el servicio de metastore que creaste antes.

   Si seguiste este instructivo tal como está, se llama example-service.

9. Para las demás opciones de configuración del servicio, usa los valores predeterminados proporcionados.

10. Para crear el clúster, haz clic en Crear.

    Tu clúster nuevo aparecerá en la lista Clústeres. El estado del clúster mostrará Aprovisionando hasta que esté listo para usarse. Cuando sea listo, el estado cambiará a Activo. Puede que el aprovisionamiento del clúster puede tardar unos minutos.

    Nota: El proceso de creación del clúster de Dataproc puede fallar. si tu cuenta de servicio no tiene los roles adecuados. Para obtener más información, consulta La creación de clústeres falla debido a que no hay roles suficientes.

gcloud CLI

Para crear un clúster con la configuración predeterminada proporcionada, ejecuta el siguiente comando gcloud dataproc clusters create:

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/us-central1/services/example-service \
    --region=us-central1

Reemplaza PROJECT_ID por el ID del proyecto en el que creaste tu servicio de Dataproc Metastore.

Nota: El proceso de creación del clúster de Dataproc puede fallar si tu la cuenta de servicio no tiene los roles adecuados. Para obtener más información, consulta La creación del clúster falla debido a que no tiene los roles suficientes.

REST

Sigue las instrucciones de la API para crear un clúster mediante el Explorador de API.

Cómo conectarse a Apache Hive con un clúster de Dataproc

En los próximos pasos, se muestra cómo ejecutar algunos comandos de ejemplo en Apache Hive para crear una base de datos y una tabla.

Luego, abre una sesión SSH en el clúster de Dataproc y, luego, inicia sesión de Hive.

1. En la consola de Google Cloud, ve a la página Instancias de VM.
2. En la lista de instancias de máquina virtual, haz clic en SSH junto a example-cluster.

Se abrirá una ventana del navegador en tu directorio principal en el nodo con un resultado similar. por lo siguiente:

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

Para iniciar Hive y crear una base de datos y una tabla, ejecuta los siguientes comandos en la sesión de SSH:

1. Inicia Hive.

   hive
   

2. Crea una base de datos llamada myDatabase.

   create database myDatabase;
   

3. Muestra la base de datos que creaste.

   show databases;
   

4. Usa la base de datos que creaste.

   use myDatabase;
   

5. Crea una tabla llamada myTable.

   create table myTable(id int,name string);
   

6. Enumera las tablas en myDatabase.

   show tables;
   

7. Describe el esquema de la tabla que creaste.

   desc MyTable;
   

Cuando ejecutas estos comandos, se muestra un resultado similar al siguiente:

$hive

hive> show databases;
OK
default
hive> create database myDatabase;
OK
hive> use myDatabase;
OK
hive> create table myTable(id int,name string);
OK
hive> show tables;
OK
myTable
hive> desc myTable;
OK
id                      int
name                    string

Limpia

Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.

Precaución: Borrar un proyecto tiene estas consecuencias:

• Se borra todo en el proyecto. Si usaste un proyecto existente para las tareas de este documento, cuando lo borres, también se borrará cualquier otro trabajo que hayas realizado en el proyecto.
• Se pierden los ID personalizados de proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID del proyecto personalizado que desees utilizar en el futuro. Para conservar las URL que utilizan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto en lugar de borrar todo el proyecto.

Si planeas explorar varias infraestructuras, instructivos y guías de inicio rápido la reutilización de proyectos puede ayudarte a evitar exceder los límites de las cuotas del proyecto.

1. En la consola de Google Cloud, ve a la página Administrar recursos.

   Ir a Administrar recursos

2. Si el proyecto que deseas borrar está vinculado con una organización, expande la lista Organización en la columna Nombre.
3. En la lista de proyectos, elige el proyecto que quieres borrar y haz clic en Borrar.
4. En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrar el proyecto.

Como alternativa, puedes borrar los recursos que se usan en este instructivo de la siguiente manera:

1. Borra el servicio de Dataproc Metastore.

   Console

   1. En la consola de Google Cloud, abre la página Dataproc Metastore:

      Ir a Dataproc Metastore

   2. En la lista de servicios, selecciona example-service.

   3. En la barra de navegación, haz clic en Borrar.

      Se abrirá el diálogo Borrar servicio.

   4. En el cuadro de diálogo, haz clic en Borrar.

      Tu servicio ya no aparece en la Lista de servicios.

   gcloud CLI

   Para borrar tu servicio, ejecuta el siguiente comando gcloud metastore services delete.

    gcloud metastore services delete example-service \
        --location=us-central1

   REST

   Sigue las instrucciones de la API para borrar un servicio mediante el Explorador de API.

   Todas las eliminaciones se completa de forma exitosa de inmediato.

2. Borra el bucket de Cloud Storage para el servicio de Dataproc Metastore.

   Nota: Borrar el servicio de Dataproc Metastore no borrar automáticamente su bucket.

3. Borra el clúster de Dataproc que usó el servicio de Dataproc Metastore.

¿Qué sigue?

• Otorga roles de IAM básicos de Dataproc Metastore a los usuarios
• Importar metadatos a un servicio
• Descripción general de Dataproc Metastore