Crear una copia de seguridad de un servicio de Dataproc Metastore

En esta página se explica cómo crear una copia de seguridad de un servicio de Dataproc Metastore.

Una copia de seguridad hace una instantánea de tu servicio, guarda sus ajustes de configuración actuales y todos los metadatos almacenados.

Después de crear una copia de seguridad, puedes usar la función Restaurar desde una copia de seguridad para rellenar un nuevo servicio Dataproc Metastore con los datos guardados en la instantánea.

Antes de empezar

Roles obligatorios

Para obtener los permisos que necesitas para crear una copia de seguridad de un servicio Dataproc Metastore, pide a tu administrador que te conceda los siguientes roles de gestión de identidades y accesos:

  • Para conceder control total sobre los recursos de Dataproc Metastore para completar una copia de seguridad, debe ocurrir una de las siguientes situaciones:
  • Para conceder acceso de lectura y modificación a metadatos específicos de bases de datos y tablas, haz lo siguiente: Operador de metadatos de Dataproc Metastore (roles/metastore.metadataOperator) en el servicio de metadatos
  • Para usar el objeto de Cloud Storage que almacena las copias de seguridad programadas, haz lo siguiente: Usuario del objeto de Cloud Storage (roles/storage.objectUser) en el agente de servicio de Dataproc Metastore

Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para crear copias de seguridad de un servicio Dataproc Metastore. Para ver los permisos exactos que se necesitan, despliega la sección Permisos necesarios:

Permisos obligatorios

Para crear una copia de seguridad de un servicio de Dataproc Metastore, se necesitan los siguientes permisos:

  • Para crear una copia de seguridad de un servicio de metadatos, haz lo siguiente: metastore.backups.create
  • Para usar el objeto de Cloud Storage, haz lo siguiente:
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

También puedes obtener estos permisos con roles personalizados u otros roles predefinidos.

Para obtener más información sobre roles y permisos específicos de Dataproc Metastore, consulta la información general sobre la gestión de identidades y accesos de Dataproc Metastore.

Consideraciones sobre las copias de seguridad

Antes de ejecutar una operación de copia de seguridad, ten en cuenta lo siguiente:

  • En cada servicio de Dataproc Metastore, puedes crear y almacenar hasta siete copias de seguridad a la vez. Si intentas superar las siete copias de seguridad, el proceso fallará. Si quieres crear otra copia de seguridad, primero debes eliminar manualmente uno de los archivos de copia de seguridad almacenados.
  • Mientras se esté ejecutando una operación de copia de seguridad, no podrás actualizar tu servicio Dataproc Metastore. Por ejemplo, no podrás cambiar los ajustes de configuración. Sin embargo, puedes seguir usando el servicio para realizar operaciones normales, como acceder a los metadatos de los clústeres de Dataproc o autogestionados adjuntos.
  • Puedes crear copias de seguridad programadas que se ejecuten a intervalos cron distintos, como cada día.

Crear una copia de seguridad

Para crear una copia de seguridad de un servicio Dataproc Metastore, siga los pasos que se indican en una de las siguientes pestañas:

Consola

  1. En la Google Cloud consola, abre la página Dataproc Metastore:

    Abrir Dataproc Metastore

  2. En la página Dataproc Metastore, haz clic en el nombre del servicio del que quieras crear una copia de seguridad.

    Se abrirá la página Detalles del servicio.

    Página de detalles del servicio
    Imagen 1. Página de detalles del servicio de Dataproc Metastore

  3. En la parte superior de la página, haz clic en Crear copia de seguridad.

    Se abrirá la página Copia de seguridad.

  4. Escribe el nombre de la copia de seguridad.

  5. Opcional: Introduce una descripción de la copia de seguridad.

  6. Para iniciar la operación de copia de seguridad, haz clic en Copia de seguridad.

    Vuelve a la página Dataproc Metastore y comprueba que se ha creado la copia de seguridad del servicio correctamente.

    Cuando se completa la copia de seguridad, Dataproc Metastore vuelve automáticamente al estado activo, independientemente de si la copia de seguridad se ha realizado correctamente o no.

CLI de gcloud

  1. Para crear una copia de seguridad de un servicio de Dataproc Metastore, ejecuta el siguiente comando gcloud metastore services backups create:

    gcloud metastore services backups create BACKUP \
    --location=LOCATION \
    --service=SERVICE \
    --description=DESCRIPTION

    Haz los cambios siguientes:

    • BACKUP: el ID o el identificador completo de la copia de seguridad.
    • LOCATION: la Google Cloud región en la que se encuentra tu servicio Dataproc Metastore.
    • SERVICE: el nombre de tu servicio de Dataproc Metastore.
    • DESCRIPTION: una descripción de la copia de seguridad.

  2. Comprueba que se haya creado correctamente la copia de seguridad de tu servicio.

    Cuando se completa la copia de seguridad, Dataproc Metastore vuelve automáticamente al estado activo, independientemente de si la copia de seguridad se ha realizado correctamente o no.

REST

Sigue las instrucciones de la API para crear una copia de seguridad de los metadatos de un servicio con el Explorador de APIs.

Cuando se completa la copia de seguridad, Dataproc Metastore vuelve automáticamente al estado activo, independientemente de si la copia de seguridad se ha realizado correctamente o no.

Ver el historial de copias de seguridad

Para ver el historial de copias de seguridad de un servicio Dataproc Metastore en la Google Cloud consola, sigue estos pasos:

  1. En la consola de Google Cloud, abre la página Dataproc Metastore. Google Cloud

  2. En la barra de navegación, haz clic en Copia de seguridad/Restaurar.

    Tu historial de copias de seguridad aparecerá en una tabla en Copias de seguridad.

    El historial muestra hasta las 7 copias de seguridad más recientes.

    Si eliminas un servicio de Dataproc Metastore, también se eliminará todo el historial de copias de seguridad asociado.

Eliminar una copia de seguridad

Para eliminar una copia de seguridad de Dataproc Metastore en la Google Cloud consola, sigue estos pasos:

  1. En la Google Cloud consola, abre la página Dataproc Metastore.
  2. En la barra de navegación, haz clic en Copia de seguridad/Restaurar.
  3. Busca la copia de seguridad que quieras eliminar y haz clic en el botón de configuración.
  4. Haz clic en Eliminar.

Programar una copia de seguridad

Las copias de seguridad se pueden programar para que se ejecuten a intervalos de tareas cron especificados por el usuario, como de forma diaria, semanal o mensual. Una programación cron usa el formato de cadena cron para UNIX (* * * * *), que es un conjunto de cinco campos en una línea que indica cuándo se debe ejecutar el trabajo.

Por ejemplo, puedes definir un intervalo personalizado para crear una copia de seguridad cada semana, como crear una copia de seguridad todos los miércoles a las 14:00 (PST).

Consideraciones sobre las copias de seguridad programadas

  • En las copias de seguridad programadas se debe especificar una ubicación, que debe ser una ruta de Cloud Storage.
  • Las copias de seguridad programadas siempre se crean en formato de archivo Avro.
  • Las copias de seguridad programadas se configuran en la zona horaria UTC de forma predeterminada. Puedes cambiar la zona horaria cuando crees la copia de seguridad por primera vez.
  • Las copias de seguridad programadas se pueden configurar para que se ejecuten cada hora, cada día, cada semana o cada mes. El intervalo mínimo por horas que puedes definir es de 4 horas.

Crear una copia de seguridad programada

Las programaciones de copias de seguridad se pueden definir cuando creas el servicio por primera vez o se pueden añadir más adelante al actualizarlo.

Para crear un servicio Dataproc Metastore 2 con una copia de seguridad programada, sigue los pasos de una de las siguientes pestañas:

Consola

  1. En la Google Cloud consola, abre la página Dataproc Metastore.

  2. En la parte superior de la página Dataproc Metastore, haz clic en el botón Crear.

    Se abrirá la página Crear servicio.

  3. Selecciona Dataproc Metastore 2.

  4. En Copias de seguridad programadas, activa el interruptor Habilitar.

  5. En Ubicación, selecciona la ubicación de Cloud Storage en la que quieras almacenar la copia de seguridad programada.

  6. Opcional: En Programar, selecciona lo siguiente:

    1. En Repetición, selecciona la periodicidad, como Diaria o Semanal.
    2. En A las, selecciona la hora de la recurrencia, como las 00:00.
    3. En Zona horaria, seleccione la zona horaria adecuada, como UTC-8.

  7. Para el resto de las opciones de configuración del servicio, usa los valores predeterminados.

  8. Haz clic en Enviar.

CLI de gcloud

  1. Para programar una copia de seguridad de un servicio de Dataproc Metastore, ejecuta el siguiente comando gcloud metastore services backups create:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION

    Haz los cambios siguientes:

    • SERVICE: el ID o el identificador completo de la copia de seguridad.
    • LOCATION: la Google Cloud región en la que se encuentra tu servicio Dataproc Metastore.
    • SCHEDULED_BACKUP_CRON: la frecuencia de la copia de seguridad, especificada en el formato de hora cron. Por ejemplo, el valor cron 0 0 * * * programa una copia de seguridad diaria.
    • SCHEDULED_BACKUP_LOCATION: la ubicación de Cloud Storage de tu copia de seguridad. Por ejemplo: gs://my-bucket/path/to/location.

    o

    También puedes programar una copia de seguridad almacenando los valores anteriores en un archivo de configuración:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Haz los cambios siguientes:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: ruta a un archivo JSON que contiene los valores de configuración de la copia de seguridad enabled, cront_schedule, time_zone y backup_location.

    En el ejemplo siguiente se muestra un archivo de configuración de copia de seguridad que habilita las copias de seguridad programadas, establece la programación de copias de seguridad cada hora, especifica la zona horaria PST y define la ubicación de la copia de seguridad como un segmento de Cloud Storage. Puedes elegir zonas horarias de la lista de zonas horarias de la base de datos tz comunes.

    {
"enabled": true,
"cron_schedule": "0 0 * * *",
"time_zone": "PST",
"backup_location": "gs://my-bucket/path/to/location"
}

REST

Sigue las instrucciones de la API para crear una copia de seguridad programada con el Explorador de APIs.

Actualizar una copia de seguridad programada

Para actualizar un servicio de Dataproc Metastore 2 configurado con una copia de seguridad programada, sigue los pasos de una de las siguientes pestañas:

Consola

  1. En la Google Cloud consola, abre la página Dataproc Metastore.

  2. En la página Dataproc Metastore, haz clic en el nombre del servicio para el que quieras programar una copia de seguridad.

  3. En Copias de seguridad programadas, activa el interruptor Habilitado.

  4. En Ubicación, selecciona la ubicación de Cloud Storage en la que quieras almacenar la copia de seguridad programada.

  5. Opcional: En Programación, selecciona los valores de los siguientes campos:

    1. En Repetición, selecciona la periodicidad, como Diaria o Semanal.
    2. En A las, selecciona la hora de la recurrencia, como las 00:00.
    3. En Zona horaria, seleccione la zona horaria adecuada, como UTC-8.

CLI de gcloud

  1. Para programar una copia de seguridad de un servicio de Dataproc Metastore, ejecuta el siguiente comando gcloud metastore services backups update:

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \

    Haz los cambios siguientes:

    • SERVICE: el ID o el identificador completo de la copia de seguridad programada.
    • LOCATION: la Google Cloud región en la que se encuentra tu servicio Dataproc Metastore.
    • SCHEDULED_BACKUP_CRON: la frecuencia de la copia de seguridad, especificada en el formato de hora cron. Por ejemplo, el valor cron 0 0 * * * programa una copia de seguridad diaria.
    • SCHEDULED_BACKUP_LOCATION: la ubicación de Cloud Storage de la copia de seguridad programada. Por ejemplo: gs://my-bucket/path/to/location.

    También puedes actualizar una copia de seguridad programada con los valores anteriores almacenados en un archivo de configuración:

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Haz los cambios siguientes:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: ruta a un archivo JSON que contiene la configuración de la copia de seguridad.

    En el siguiente ejemplo se muestra un archivo de configuración de copia de seguridad que inhabilita una copia de seguridad programada.

    {
"enabled": false,
}

REST

Sigue las instrucciones de la API para actualizar una copia de seguridad programada con el Explorador de APIs.

Ver una copia de seguridad programada

Para ver un servicio Dataproc Metastore 2 configurado con una copia de seguridad programada, sigue los pasos de una de las pestañas siguientes:

Consola

  1. En la Google Cloud consola, abre la página Dataproc Metastore.

  2. En la parte superior de la página, haz clic en Crear copia de seguridad.

    Se abrirá la página Copia de seguridad, donde se mostrarán las copias de seguridad programadas. Ten en cuenta que las copias de seguridad se almacenan en el segmento de Cloud Storage que has indicado en la configuración de la copia de seguridad programada.

CLI de gcloud

  1. Ejecuta el siguiente comando gcloud storage ls:

    gcloud storage ls gs://BUCKET_NAME/SERVICE/LOCATION

    Haz los cambios siguientes:

    • BUCKET_NAME: la ruta al segmento de Cloud Storage que almacena la copia de seguridad programada que quieres ver.
    • SERVICE: el ID o el identificador completo de la copia de seguridad programada.
    • LOCATION: la Google Cloud región en la que se encuentra tu servicio de Dataproc Metastore.

REST

Sigue las instrucciones de la API para ver una copia de seguridad programada con el Explorador de APIs.

Solucionar problemas frecuentes

Siguientes pasos