Esportare i metadati da Dataproc Metastore

Questa pagina spiega come esportare i metadati da Dataproc Metastore.

La funzionalità di esportazione dei metadati consente di salvare i metadati in uno spazio di archiviazione portatile formato.

Dopo aver esportato i dati, puoi importare il file metadati a un altro Servizio Dataproc Metastore o Hive Metastore autogestito (HMS).

Informazioni sull'esportazione dei metadati

Quando esporti i metadati da Dataproc Metastore, il servizio memorizza i dati in uno dei seguenti formati file:

  • Un insieme di file Avro archiviati in una cartella.
  • Un singolo file di dump MySQL archiviato in una cartella Cloud Storage.

Avro

Le esportazioni basate su Avro sono supportate solo per le versioni di Hive 2.3.6 e 3.1.2. Quando esportare file Avro, Dataproc Metastore crea una <table-name>.avro per ogni tabella nel database.

Per esportare i file Avro, il servizio Dataproc Metastore può utilizzare il tipo di database MySQL o Spanner.

MySQL

Le esportazioni basate su MySQL sono supportate per tutte le versioni di Hive. Quando esporti MySQL, Dataproc Metastore crea un singolo file SQL contiene tutte le informazioni della tabella.

Per esportare i file MySQL, il servizio Dataproc Metastore deve utilizzare il tipo di database MySQL. Il tipo di database Spanner non supporta MySQL e le importazioni.

Prima di iniziare

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per esportare i metadati in Dataproc Metastore, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti le autorizzazioni necessarie per esportare i metadati in Dataproc Metastore. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per esportare i metadati in Dataproc Metastore sono necessarie le seguenti autorizzazioni:

  • Per esportare i metadati: metastore.services.export nel servizio Metastore
  • Per MySQL e Avro, per utilizzare l'oggetto Cloud Storage per l'esportazione, concedi al tuo account utente e all'agente di servizio Dataproc Metastore: storage.objects.create sul bucket Cloud Storage

Potresti anche riuscire a ottenere queste autorizzazioni con ruoli personalizzati altri ruoli predefiniti.

Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta la panoramica di IAM di Dataproc Metastore.

Esportare i metadati

Prima di esportare i metadati, tieni presente quanto segue:

  • Quando un'esportazione è in esecuzione, non puoi aggiornare una Servizio Dataproc Metastore, ad esempio la modifica le impostazioni di configurazione. Tuttavia, puoi comunque utilizzarlo per le normali operazioni, ad esempio per accedere ai relativi metadati da Dataproc collegato o cluster autogestiti.
  • La funzionalità di esportazione dei metadati esporta solo i metadati. I dati creati Apache Hive nelle tabelle interne non viene replicato nell'esportazione.

Per esportare i metadati da un servizio Dataproc Metastore, esegui la i seguenti passaggi.

Console

  1. Nella console Google Cloud, apri la pagina Dataproc Metastore:

    Apri Dataproc Metastore

  2. Nella pagina Dataproc Metastore, fai clic sul nome del servizio da cui vuoi esportare i metadati.

    Si apre la pagina Dettagli del servizio.

    Pagina dei dettagli del servizio
    Pagina dei dettagli del servizio Dataproc Metastore

  3. Nella barra di navigazione, fai clic su Esporta.

    Viene visualizzata la pagina Esporta metadati.

  4. Nella sezione Destinazione, scegli MySQL o Avro.

  5. Nel campo URI di destinazione, fai clic su Sfoglia e seleziona URI Cloud Storage in cui vuoi esportare i file.

    Puoi anche inserire la posizione del bucket nel campo di testo fornito. Utilizza le funzionalità di nel seguente formato: bucket/object o bucket/folder/object.

  6. Per avviare l'esportazione, fai clic su Invia.

    Al termine, l'esportazione viene visualizzata in una tabella nella pagina Dettagli servizio della scheda Importa/Esporta.

    Al termine dell'esportazione, Dataproc Metastore automaticamente torna allo stato attivo, che l'esportazione sia riuscita o meno.

Interfaccia a riga di comando gcloud

  1. Per esportare i metadati da un servizio, esegui il seguente comando gcloud metastore services export gcs:

    gcloud metastore services export gcs SERVICE \
    --location=LOCATION \
    --destination-folder=gs://bucket-name/path/to/folder \
    --dump-type=DUMP_TYPE

    Sostituisci quanto segue:

    • SERVICE: il nome del tuo Servizio Dataproc Metastore.
    • LOCATION: la regione Google Cloud in cui risiede il servizio Dataproc Metastore.
    • bucket-name/path/to/folder: il cloud storage cartella di destinazione in cui archiviare l'esportazione.
    • DUMP_TYPE: il tipo di dump del database da eseguire generati dall'esportazione. I valori accettati includono mysql e avro. Il valore predefinito è mysql.

  2. Verifica che l'esportazione sia andata a buon fine.

    Al termine dell'esportazione, Dataproc Metastore ritorna automaticamente allo stato attivo, indipendentemente dal fatto che l'esportazione sia riuscita o meno.

REST

Segui le istruzioni dell'API per esportare i metadati in un servizio utilizzando Explorer API.

Al termine dell'esportazione, il servizio torna automaticamente allo stato attivo, indipendentemente dal fatto che l'operazione sia riuscita o meno.

Visualizza la cronologia delle esportazioni

Per visualizzare la cronologia delle esportazioni di un servizio Dataproc Metastore nella console Google Cloud:

  1. Nella console Google Cloud, apri la pagina Dataproc Metastore.

  2. Nella barra di navigazione, fai clic su Importa/Esporta.

    La cronologia delle esportazioni viene visualizzata nella tabella Cronologia esportazioni.

    La cronologia viene visualizzata fino alle ultime 25 esportazioni.

L'eliminazione di un servizio Dataproc Metastore comporta anche l'eliminazione di tutta la cronologia delle esportazioni associata.

Risolvere i problemi comuni

Ecco alcuni problemi comuni:

Per ulteriore assistenza sulla risoluzione dei problemi più comuni, vedi Scenari di errore di importazione ed esportazione.

Passaggi successivi