Migrazione di un metastore MySQL autogestito in Dataproc Metastore

Questa pagina mostra come eseguire la migrazione del tuo metastore MySQL esterno autogestito in Dataproc Metastore creando un file di dump MySQL e importando i metadati in un servizio Dataproc Metastore esistente.

Prima di iniziare

  1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

  2. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

    Vai al selettore progetti

  3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  4. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

    Vai al selettore progetti

  5. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  6. Attiva l'API Dataproc Metastore.

    Abilita l'API

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare un Dataproc Metastore e importare un metastore MYSQL, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per creare un Dataproc Metastore e importare un metastore MYSQL. Per visualizzare le autorizzazioni necessarie, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per creare un Dataproc Metastore e importare un metastore MYSQL, sono necessarie le autorizzazioni seguenti:

  • Per creare un servizio: metastore.services.create nel progetto.
  • Per importare i metadati: metastore.imports.create nel progetto.
  • Per utilizzare l'oggetto Cloud Storage (file di dump SQL) per l'importazione:
    • storage.objects.get sull'agente di servizio Dataproc Metastore. Ad esempio, service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com
    • storage.objects.get sull'account utente.

Potresti anche essere in grado di ottenere queste autorizzazioni con i ruoli personalizzati o altri ruoli predefiniti.

Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta Gestire l'accesso a Dataproc con IAM.

Crea un servizio Dataproc Metastore

Le seguenti istruzioni mostrano come creare un servizio Dataproc Metastore in cui eseguire la migrazione del file di dump SQL.

Console

  1. Nella console Google Cloud, apri la pagina Crea servizio:

    Vai a Crea servizio

    La pagina Crea servizio.
    La pagina del servizio Dataproc Metastore, la pagina Create

  2. Nel campo Nome servizio, inserisci example-service.

  3. Seleziona Località dei dati. Per informazioni sulla selezione di una regione, consulta Località cloud.

  4. Per le altre opzioni di configurazione del servizio, utilizza i valori predefiniti forniti.

  5. Per creare e avviare il servizio, fai clic sul pulsante Invia.

Il nuovo servizio viene visualizzato nell'elenco Servizi.

gcloud

Esegui questo comando gcloud metastore services create per creare un servizio:

 gcloud metastore services create example-service \
     --location=LOCATION

Sostituisci LOCATION con la regione di Compute Engine in cui prevedi di creare il servizio. Assicurati che Dataproc Metastore sia disponibile nella regione.

REST

Segui le istruzioni dell'API per creare un servizio utilizzando Explorer API.

Preparati per la migrazione

Ora devi preparare i metadati archiviati nel tuo database Hive metastore per l'importazione creando un file di dump MySQL e inserendolo in un bucket Cloud Storage.

Per la procedura di preparazione alla migrazione, consulta Preparare i file da importare prima dell'importazione.

Importa i metadati

Ora che hai preparato il file di dump, importalo nel servizio Dataproc Metastore.

Consulta Importazione dei file in Dataproc Metastore per la procedura di importazione dei metadati nel servizio example-service.

Crea e collega un cluster Dataproc

Dopo aver importato i metadati nel servizio Dataproc Metastore example-service, crea e collega un cluster Dataproc che utilizzi il servizio come metastore Hive.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

  1. Nella console Google Cloud, vai alla pagina Gestisci risorse.

    Vai a Gestisci risorse

  2. Se il progetto che vuoi eliminare è associato a un'organizzazione, espandi l'elenco Organizzazione nella colonna Nome.
  3. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
  4. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

In alternativa, puoi eliminare le risorse utilizzate in questo tutorial:

  1. Eliminare il servizio Dataproc Metastore.

    Console

    1. Nella console Google Cloud, apri la pagina Dataproc Metastore:

      Apri Dataproc Metastore nella console Google Cloud

    2. A sinistra del nome del servizio, seleziona example-service selezionando la casella.

    3. Nella parte superiore della pagina Dataproc Metastore, fai clic su Elimina per eliminare il servizio.

    4. Nella finestra di dialogo, fai clic su Elimina per confermare l'eliminazione.

    Il tuo servizio non compare più nell'elenco Servizi.

    gcloud

    Esegui questo comando gcloud metastore services delete per eliminare un servizio:

     gcloud metastore services delete example-service \
     --location=LOCATION

    Sostituisci LOCATION con la regione di Compute Engine in cui hai creato il servizio.

    REST

    Segui le istruzioni dell'API per eliminare un servizio utilizzando Explorer API.

    Tutte le eliminazioni hanno esito positivo immediatamente.

  2. Elimina il bucket Cloud Storage per il servizio Dataproc Metastore.

Passaggi successivi