Esportazione dei metadati da Dataproc Metastore

Questa pagina spiega come esportare i metadati da Dataproc Metastore.

La funzione di esportazione dei metadati consente di salvare i metadati in un formato di archiviazione portatile.

Dopo aver esportato i dati, puoi importare i metadati in un altro servizio Dataproc Metastore o in un Hive Metastore (HMS) autogestito.

Informazioni sull'esportazione dei metadati

Quando esporti i metadati da Dataproc Metastore, il servizio archivia i dati in uno dei seguenti formati file:

  • Un insieme di file Avro archiviati in una cartella.
  • Un singolo file di dump MySQL archiviato in una cartella di Cloud Storage.

Avro

Le esportazioni basate su Avro sono supportate solo per le versioni di Hive 2.3.6 e 3.1.2. Quando esporti i file Avro, Dataproc Metastore crea un file <table-name>.avro per ogni tabella nel database.

Per esportare i file Avro, il servizio Dataproc Metastore può utilizzare il tipo di database MySQL o Spanner.

MySQL

Le esportazioni basate su MySQL sono supportate per tutte le versioni di Hive. Quando esporti file MySQL, Dataproc Metastore crea un singolo file SQL contenente tutte le informazioni della tabella.

Per esportare i file MySQL, il servizio Dataproc Metastore deve utilizzare il tipo di database MySQL. Il tipo di database Spanner non supporta le importazioni MySQL.

Prima di iniziare

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per esportare i metadati in Dataproc Metastore, chiedi all'amministratore di concederti i ruoli IAM seguenti:

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per esportare i metadati in Dataproc Metastore. Per visualizzare le autorizzazioni necessarie, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per esportare i metadati in Dataproc Metastore, sono necessarie le seguenti autorizzazioni:

  • Per esportare i metadati: metastore.services.export sul servizio metastore
  • Per MySQL e Avro, al fine di utilizzare l'oggetto Cloud Storage per l'esportazione, concedi il tuo account utente e l'agente di servizio Dataproc Metastore: storage.objects.create nel bucket Cloud Storage

Potresti anche essere in grado di ottenere queste autorizzazioni con i ruoli personalizzati o altri ruoli predefiniti.

Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta Panoramica IAM di Dataproc Metastore.

Esporta metadati

Prima di esportare i metadati, tieni presente le seguenti considerazioni:

  • Mentre è in esecuzione un'esportazione, non puoi aggiornare un servizio Dataproc Metastore, ad esempio modificando le impostazioni di configurazione. Puoi comunque utilizzarlo per le normali operazioni, ad esempio per accedere ai metadati da Dataproc collegati o da cluster autogestiti.
  • La funzionalità di esportazione dei metadati consente di esportare solo i metadati. I dati creati da Apache Hive nelle tabelle interne non vengono replicati nell'esportazione.

Per esportare i metadati da un servizio Dataproc Metastore, segui questi passaggi.

Console

  1. Nella console Google Cloud, apri la pagina Dataproc Metastore:

    Apri Dataproc Metastore

  2. Nella pagina Dataproc Metastore, fai clic sul nome del servizio da cui vuoi esportare i metadati.

    Viene visualizzata la pagina Dettagli servizio.

    Pagina dei dettagli del servizio
    Pagina dei dettagli del servizio Dataproc Metastore

  3. Nella barra di navigazione, fai clic su Esporta.

    Viene visualizzata la pagina Esporta metadati.

  4. Nella sezione Destinazione, scegli MySQL o Avro.

  5. Nel campo URI di destinazione, fai clic su Sfoglia e seleziona l'URI Cloud Storage in cui vuoi esportare i file.

    Puoi anche inserire la località del bucket nel campo di testo fornito. Utilizza il seguente formato: bucket/object o bucket/folder/object.

  6. Per avviare l'esportazione, fai clic su Invia.

    Al termine, l'esportazione viene visualizzata in una tabella nella pagina Dettagli servizio della scheda Importa/Esporta.

    Al termine dell'esportazione, Dataproc Metastore torna automaticamente allo stato attivo, indipendentemente dal fatto che l'esportazione sia riuscita o meno.

Interfaccia a riga di comando gcloud

  1. Per esportare i metadati da un servizio, esegui questo comando gcloud metastore services export gcs:

    gcloud metastore services export gcs SERVICE \
    --location=LOCATION \
    --destination-folder=gs://bucket-name/path/to/folder \
    --dump-type=DUMP_TYPE

    Sostituisci quanto segue:

    • SERVICE: il nome del servizio Dataproc Metastore.
    • LOCATION: la regione Google Cloud in cui si trova il servizio Dataproc Metastore.
    • bucket-name/path/to/folder: la cartella di destinazione di Cloud Storage in cui vuoi archiviare l'esportazione.
    • DUMP_TYPE: il tipo di dump del database che deve essere generato dall'esportazione. I valori accettati includono mysql e avro. Il valore predefinito è mysql.

  2. Verifica che l'esportazione sia riuscita.

    Al termine dell'esportazione, Dataproc Metastore torna automaticamente allo stato attivo, indipendentemente dal fatto che l'esportazione sia riuscita o meno.

REST

Segui le istruzioni dell'API per esportare i metadati in un servizio utilizzando Explorer API.

Al termine dell'esportazione, il servizio torna automaticamente allo stato attivo, indipendentemente dal fatto che l'operazione sia andata a buon fine o meno.

Visualizza la cronologia delle esportazioni

Per visualizzare la cronologia delle esportazioni di un servizio Dataproc Metastore nella console Google Cloud, completa questi passaggi:

  1. Nella console Google Cloud, apri la pagina Dataproc Metastore.

  2. Nella barra di navigazione, fai clic su Importa/Esporta.

    La cronologia delle esportazioni viene visualizzata nella tabella Cronologia esportazioni.

    La cronologia mostra le ultime 25 esportazioni.

L'eliminazione di un servizio Dataproc Metastore comporta anche l'eliminazione di tutta la cronologia delle esportazioni associata.

Risolvere i problemi comuni

Ecco alcuni problemi comuni:

Per ulteriori informazioni sulla risoluzione dei problemi più comuni, vedi Scenari di errore di importazione ed esportazione.

Passaggi successivi