Migra un almacén de metadatos autoadministrado de MySQL a Dataproc Metastore
En esta página, se muestra cómo migrar tu almacén de metadatos externo autoadministrado de MySQL a Dataproc Metastore mediante la creación de un archivo de volcado de MySQL y la importación de los metadatos a un servicio existente de Dataproc Metastore.
Antes de comenzar
- Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
-
En la página del selector de proyectos de la consola de Google Cloud, selecciona o crea un proyecto de Google Cloud.
-
Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.
-
En la página del selector de proyectos de la consola de Google Cloud, selecciona o crea un proyecto de Google Cloud.
-
Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.
-
Habilita la API de Dataproc Metastore.
Funciones requeridas
A fin de obtener los permisos necesarios para crear un Dataproc Metastore y, luego, importar un almacén de metadatos de MYSQL, pídele a tu administrador que te otorgue los siguientes roles de IAM:
-
Para crear un servicio y, luego, importar metadatos:
-
Editor de Dataproc Metastore (
roles/metastore.editor
) en el proyecto -
Administrador de Dataproc Metastore (
roles/metastore.admin
) en el proyecto.
-
Editor de Dataproc Metastore (
-
Si quieres usar el objeto de Cloud Storage (archivo de volcado de SQL) para la importación, sigue estos pasos:
-
Visualizador de objetos de Storage (
roles/storage.objectViewer
) en el agente de servicio de Dataproc Metastore. Por ejemplo,service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com
. -
Visualizador de objetos de Storage (
roles/storage.objectViewer
) en la cuenta de usuario.
-
Visualizador de objetos de Storage (
Si quieres obtener más información para otorgar funciones, consulta Administra el acceso.
Estos roles predefinidos contienen los permisos necesarios para crear un Dataproc Metastore y, luego, importar un almacén de metadatos de MYSQL. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:
Permisos necesarios
Se requieren los siguientes permisos para crear un Dataproc Metastore e importar un almacén de metadatos MYSQL:
-
Para crear un servicio, ejecuta
metastore.services.create
en el proyecto. -
Para importar metadatos:
metastore.imports.create
en el proyecto. -
Si quieres usar el objeto de Cloud Storage (archivo de volcado de SQL) para la importación, sigue estos pasos:
-
storage.objects.get
en el agente de servicio de Dataproc Metastore. Por ejemplo,service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com
-
storage.objects.get
en la cuenta de usuario.
-
Es posible que también puedas obtener estos permisos con funciones personalizadas o con otras funciones predefinidas.
Para obtener más información sobre las funciones y los permisos específicos de Dataproc Metastore, consulta Administra el acceso a Dataproc con la IAM.Crea un servicio de Dataproc Metastore
En las siguientes instrucciones, se muestra cómo crear un servicio de Dataproc Metastore al que puedes migrar tu archivo de volcado de SQL.
Console
En la consola de Google Cloud, abre la página Crear servicio:
En el campo Nombre del servicio, ingresa
example-service
.Selecciona la Ubicación de los datos. Si deseas obtener información para seleccionar una región, consulta Ubicaciones de Cloud.
Para otras opciones de configuración del servicio, usa los valores predeterminados proporcionados.
Para crear y, luego, iniciar el servicio, haz clic en el botón Enviar.
El nuevo servicio aparecerá en la lista de servicios.
gcloud
Ejecuta el siguiente comando gcloud metastore services create
para crear un servicio:
gcloud metastore services create example-service \ --location=LOCATION
Reemplaza LOCATION
por la región de Compute Engine en la que planeas crear el servicio. Asegúrate de que Dataproc Metastore esté disponible
en la región.
REST
Sigue las instrucciones de la API para crear un servicio mediante el Explorador de API.
Prepárate para la migración
Ahora debes preparar los metadatos almacenados en tu base de datos del almacén de metadatos de Hive para importar creando un archivo de volcado de MySQL y colocándolo en un bucket de Cloud Storage.
Consulta Prepara los archivos de importación antes de importarlos a fin de conocer los pasos de preparación para la migración.
Importa los metadatos
Ahora que preparaste el archivo de volcado, impórtalo al servicio de Dataproc Metastore.
Consulta Importa los archivos a Dataproc Metastore si deseas conocer los pasos para importar los metadatos al servicio example-service
.
Crea y adjunta un clúster de Dataproc
Después de importar los metadatos al servicio example-service
de Dataproc Metastore, crea y adjunta un clúster de Dataproc que use el servicio como su almacén de metadatos de Hive.
Limpia
Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que se usaron en esta página.
- En la consola de Google Cloud, ve a la página Administrar recursos.
- Si el proyecto que deseas borrar está vinculado con una organización, expande la lista Organización en la columna Nombre.
- En la lista de proyectos, elige el proyecto que quieres borrar y haz clic en Borrar.
- En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrar el proyecto.
Como alternativa, puedes borrar los recursos que se usan en este instructivo de la siguiente manera:
Borra el servicio de Dataproc Metastore.
Console
En la consola de Google Cloud, abre la página de Dataproc Metastore:
A la izquierda del nombre del servicio, marca la casilla para seleccionar
example-service
.En la parte superior de la página Dataproc Metastore, haz clic en Borrar para borrar el servicio.
En el cuadro de diálogo, haz clic en Borrar para confirmar la eliminación.
Tu servicio ya no aparece en la lista de servicios.
gcloud
Ejecuta el siguiente comando
gcloud metastore services delete
para borrar un servicio:gcloud metastore services delete example-service \ --location=LOCATION
Reemplaza
LOCATION
por la región de Compute Engine en la que creaste el servicio.REST
Sigue las instrucciones de la API para borrar un servicio mediante el Explorador de API.
Todas las eliminaciones se completa de forma exitosa de inmediato.
Borra el bucket de Cloud Storage para el servicio de Dataproc Metastore.