Crea una copia de seguridad de un servicio de Dataproc Metastore

En esta página, se explica cómo crear una copia de seguridad de Dataproc Metastore servicio.

Una copia de seguridad toma una instantánea guarda su configuración actual y todos los metadatos almacenados.

Después de crear una copia de seguridad, puedes usar la función Restablecer a partir de una copia de seguridad para propagar un nuevo servicio de Dataproc Metastore con los datos guardados en la instantánea.

Antes de comenzar

Roles obligatorios

A fin de obtener los permisos que necesitas para crear una copia de seguridad de un servicio de Dataproc Metastore, sigue estos pasos: solicita a tu administrador que te otorgue el los siguientes roles de IAM:

  • A fin de otorgar control total de los recursos de Dataproc Metastore para completar una copia de seguridad, puedes usar una de las siguientes opciones:
  • Para otorgar acceso de lectura y modificación a metadatos específicos de bases de datos y tablas, haz lo siguiente: Operador de metadatos de Dataproc Metastore (roles/metastore.metadataOperator) en el servicio de metadatos
  • Para usar el objeto de Cloud Storage que almacena copias de seguridad programadas, haz lo siguiente: Usuario de objetos de Cloud Storage (roles/storage.objectUser) en el agente de servicio de Dataproc Metastore

Si quieres obtener más información para otorgar roles, consulta Administra el acceso.

Estos roles predefinidos contienen los permisos necesarios para crear una copia de seguridad de un servicio de Dataproc Metastore Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para crear una copia de seguridad de un servicio de Dataproc Metastore:

  • Para crear una copia de seguridad de un servicio de metadatos, haz lo siguiente: metastore.backups.create
  • Para usar el objeto de Cloud Storage, sigue estos pasos:
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos

Para obtener más información sobre roles y permisos específicos de Dataproc Metastore, consulta Descripción general de IAM de Dataproc Metastore.

Consideraciones sobre las copias de seguridad

Antes de ejecutar una operación de copia de seguridad, ten en cuenta las siguientes consideraciones:

  • Para cada servicio de Dataproc Metastore, puedes crear y almacenar hasta siete copias de seguridad a la vez. Si intentas superar las siete copias de seguridad, la copia falla el proceso. Si quieres crear otra copia de seguridad, primero debes hacerlo manualmente borrar uno de los archivos de copia de seguridad almacenados.
  • Mientras se ejecuta una copia de seguridad, no puedes actualizar tu servicio de Dataproc Metastore: por ejemplo, no puedes cambiar parámetros de configuración. Sin embargo, puedes seguir usando el servicio operaciones, como el acceso a metadatos desde Dataproc o clústeres autoadministrados.
  • Puedes crear copias de seguridad programadas que se ejecuten en intervalos cron como todos los días.

Crear una copia de seguridad

Para crear una copia de seguridad de un servicio de Dataproc Metastore, completa los pasos que se indican en una de las siguientes pestañas:

Console

  1. En la consola de Google Cloud, abre la página Dataproc Metastore:

    Abrir Dataproc Metastore

  2. En la página Dataproc Metastore, haz clic en el nombre del servicio. de las que quieras crear una copia de seguridad.

    Se abrirá la página Detalle del servicio.

    Página de detalles del servicio
    Figura 1: Dataproc Metastore página de detalles del servicio

  3. Haz clic en Copia de seguridad en la parte superior de la página.

    Se abrirá la página Copia de seguridad.

  4. Ingresa el Nombre de la copia de seguridad.

  5. Opcional: Ingresa una descripción de la copia de seguridad.

  6. Para iniciar la operación de copia de seguridad, haz clic en Crear copia de seguridad.

    Regresa a la página Dataproc Metastore. verificarás que se haya creado correctamente una copia de seguridad de tu servicio.

    Cuando se completa la copia de seguridad, Dataproc Metastore regresa automáticamente al estado activo independientemente de si la copia de seguridad no se realizó correctamente.

gcloud CLI

  1. Para crear una copia de seguridad de un servicio de Dataproc Metastore, ejecuta el siguiente comando: Comando gcloud metastore services backups create:

    gcloud metastore services backups create BACKUP \
    --location=LOCATION \
    --service=SERVICE \
    --description=DESCRIPTION

    Reemplaza lo siguiente:

    • BACKUP: Es el ID o completamente calificado. de la copia de seguridad.
    • LOCATION: Es la región de Google Cloud en la que donde reside tu servicio de Dataproc Metastore.
    • SERVICE: Es el nombre de tu Servicio de Dataproc Metastore.
    • DESCRIPTION: Es una descripción de tu copia de seguridad.

  2. Verifica que se haya creado correctamente una copia de seguridad de tu servicio.

    Cuando se completa la copia de seguridad, Dataproc Metastore regresa automáticamente al estado activo, independientemente de si que la copia se haya realizado correctamente.

REST

Sigue las instrucciones de la API para crear una copia de seguridad de los metadatos de un servicio. con el Explorador de APIs.

Cuando se completa la copia de seguridad, Dataproc Metastore regresa al estado activo sin importar si la copia de seguridad sin errores.

Ver historial de copias de seguridad

Para ver el historial de copias de seguridad de un servicio de Dataproc Metastore en la consola de Google Cloud, completa los siguientes pasos:

  1. En la consola de Google Cloud, abre Dataproc Metastore. .

  2. En la barra de navegación, haz clic en Copia de seguridad/restablecimiento.

    El historial de copias de seguridad aparece en una tabla en Copias de seguridad.

    El historial muestra hasta las últimas 7 copias de seguridad.

    Borrar un servicio de Dataproc Metastore también borra todos el historial de copias de seguridad asociado.

Borrar una copia de seguridad

Para borrar una copia de seguridad de Dataproc Metastore en la consola de Google Cloud, sigue estos pasos: completa los siguientes pasos:

  1. En la consola de Google Cloud, abre Dataproc Metastore. .
  2. En la barra de navegación, haz clic en Copia de seguridad/restablecimiento.
  3. Busca la copia de seguridad que deseas borrar y haz clic en el botón de configuración.
  4. Haz clic en Borrar.

Programa una copia de seguridad

Las copias de seguridad se pueden programar para que se ejecuten en función de un trabajo cron especificado por el usuario a intervalos regulares, incluida la ejecución diaria, semanal o mensual. Un programa cron usa el formato de cadena cron de Unix (* * * * *), que es un conjunto de cinco campos en una línea que indica cuándo el trabajo se debe ejecutar.

Por ejemplo, puedes establecer un intervalo personalizado para crear una copia de seguridad cada semana como crear una copia de seguridad todos los miércoles a las 2:00 p.m. PST.

Consideraciones sobre las copias de seguridad programadas

  • Las copias de seguridad programadas deben especificar una ubicación de copia de seguridad, que debe ser una Ruta de acceso de Cloud Storage.
  • Las copias de seguridad programadas siempre se crean en el formato de archivo Avro.
  • Las copias de seguridad programadas se configuran en la zona horaria UTC de forma predeterminada. Puedes Cambiar la zona horaria cuando se crea la copia de seguridad por primera vez
  • Las copias de seguridad programadas se pueden configurar para que se ejecuten por hora, por día, semanal o mensual en intervalos de tiempo. El intervalo por hora mínimo que puedes establecer es de 4 horas.

Cómo crear una copia de seguridad programada

Los programas de copias de seguridad se pueden configurar cuando creas el servicio por primera vez o los agregarás más adelante cuando actualices el servicio.

Para crear un servicio 2 de Dataproc Metastore con una copia de seguridad programada, sigue estos pasos: completa los pasos de una de las siguientes pestañas:

Console

  1. En la consola de Google Cloud, abre Dataproc Metastore. .

  2. En la parte superior de la página Dataproc Metastore haz clic en el botón Crear.

    Se abrirá la página Crear servicio.

  3. Selecciona Dataproc Metastore 2.

  4. En Copias de seguridad programadas, activa la opción Habilitar.

  5. En Ubicación, selecciona la ubicación de Cloud Storage en la que deseas para almacenar tu copia de seguridad programada.

  6. Opcional: En la sección de programación, selecciona lo siguiente:

    1. En Se repite, selecciona la recurrencia; por ejemplo, Diariamente. o Semanalmente.
    2. En A la hora, selecciona la hora de recurrencia, por ejemplo, 12:00 a.m.
    3. En Zona horaria, selecciona la zona horaria adecuada, como UTC-8)

  7. Para las opciones de configuración del servicio restantes, usa el los valores predeterminados.

  8. Haz clic en Enviar.

gcloud CLI

  1. Para programar una copia de seguridad de un servicio de Dataproc Metastore, sigue estos pasos: ejecuta el siguiente comando gcloud metastore services backups create. :

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION

    Reemplaza lo siguiente:

    • SERVICE: Es el ID o identificador completamente calificado. para la copia de seguridad.
    • LOCATION: Es la región de Google Cloud en la que reside tu servicio de Dataproc Metastore.
    • SCHEDULED_BACKUP_CRON: Es la frecuencia de tu copia de seguridad, especificada en el formato de hora cron. Por ejemplo, un valor cron de 0 0 * * * programa una carga diaria crear una copia de seguridad de su contenido.
    • SCHEDULED_BACKUP_LOCATION: el Ubicación de Cloud Storage de la copia de seguridad. Por ejemplo: gs://my-bucket/path/to/location.

    o

    También puedes programar una copia de seguridad almacenando los valores anteriores en una de Terraform:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Reemplaza lo siguiente:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: una ruta de acceso a un archivo JSON que contiene los valores de configuración de la copia de seguridad enabled cront_schedule, time_zone y backup_location.

    En el siguiente ejemplo, se muestra un archivo de configuración de copia de seguridad que habilita las copias de seguridad programadas, establece el programa de copias de seguridad para cada hora, especifica la zona horaria como PST y define la copia de seguridad como un bucket de Cloud Storage. Puedes elegir zonas horarias desde Es la lista de zonas horarias comunes de la base de datos tz.

    {
"enabled": true,
"cron_schedule": "0 0 * * *",
"time_zone": "PST",
"backup_location": "gs://my-bucket/path/to/location"
}

REST

Sigue las instrucciones de la API para crear una copia de seguridad programada. con el Explorador de APIs.

Actualiza una copia de seguridad programada

Actualizar un servicio 2 de Dataproc Metastore configurado con un programada, completa los pasos en una de las siguientes pestañas:

Console

  1. En la consola de Google Cloud, abre Dataproc Metastore. .

  2. En la página Dataproc Metastore, haz clic en el nombre del servicio. para la que quieres programar una copia de seguridad.

  3. En Copias de seguridad programadas, cambia la opción a Habilitadas.

  4. En Ubicación, selecciona la ubicación de Cloud Storage en la que deseas para almacenar tu copia de seguridad programada.

  5. En Programa (Schedule), selecciona los valores de los siguientes campos (opcional):

    1. En Se repite, selecciona la recurrencia; por ejemplo, Diariamente. o Semanalmente.
    2. En A la hora, selecciona la hora de recurrencia, por ejemplo, 12:00 a.m.
    3. En Zona horaria, selecciona la zona horaria adecuada, como UTC-8)

gcloud CLI

  1. Para programar una copia de seguridad de un servicio de Dataproc Metastore, sigue estos pasos: ejecuta el siguiente comando gcloud metastore services backups update. :

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \

    Reemplaza lo siguiente:

    • SERVICE: Es el ID o identificador completamente calificado. para la copia de seguridad programada.
    • LOCATION: Es la región de Google Cloud en la que donde reside tu servicio de Dataproc Metastore.
    • SCHEDULED_BACKUP_CRON: Es la frecuencia de tu copia de seguridad, especificada en el formato de hora cron. Por ejemplo, un valor cron de 0 0 * * * programa una carga diaria crear una copia de seguridad de su contenido.
    • SCHEDULED_BACKUP_LOCATION: el Cloud Storage ubicación de la copia de seguridad programada. Por ejemplo: gs://my-bucket/path/to/location.

    También puedes actualizar una copia de seguridad programada con los valores anteriores almacenados en un archivo de configuración:

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Reemplaza lo siguiente:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: una ruta de acceso a un archivo JSON que contiene la configuración de la copia de seguridad.

    En el siguiente ejemplo, se muestra un archivo de configuración de copia de seguridad que inhabilita una la copia de seguridad programada.

    {
"enabled": false,
}

REST

Sigue las instrucciones de la API para actualizar una copia de seguridad programada. con el Explorador de APIs.

Cómo ver una copia de seguridad programada

Para ver un servicio 2 de Dataproc Metastore configurado con un programada, completa los pasos en una de las siguientes pestañas:

Console

  1. En la consola de Google Cloud, abre Dataproc Metastore. .

  2. Haz clic en Copia de seguridad en la parte superior de la página.

    Se abrirá la página Copia de seguridad y se mostrarán tus copias de seguridad programadas. Ten en cuenta que las copias de seguridad se almacenan en el bucket de Cloud Storage que que proporcionaste en la configuración de la copia de seguridad programada.

gcloud CLI

  1. Ejecuta el siguiente comando gcloud storage ls:

    gcloud storage ls gs://BUCKET_NAME/SERVICE/LOCATION

    Reemplaza lo siguiente:

    • BUCKET_NAME: Es la ruta de acceso a Cloud Storage. que almacena la copia de seguridad programada que quieres ver.
    • SERVICE: Es el ID o identificador completamente calificado. para la copia de seguridad programada.
    • LOCATION: Es la región de Google Cloud en la que se reside el servicio de Dataproc Metastore.

REST

Sigue las instrucciones de la API para ver una copia de seguridad programada. con el Explorador de APIs.

Soluciona los problemas comunes.

¿Qué sigue?