Migrazione di un metastore MySQL autogestito in Dataproc Metastore
Questa pagina mostra come eseguire la migrazione del tuo metastore MySQL esterno autogestito in Dataproc Metastore creando un file di dump MySQL e importando i metadati in un servizio Dataproc Metastore esistente.
Prima di iniziare
- Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
Attiva l'API Dataproc Metastore.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per creare un Dataproc Metastore e importare un metastore MYSQL, chiedi all'amministratore di concederti i seguenti ruoli IAM:
-
Per creare un servizio e importare i metadati:
-
Editor Dataproc Metastore (
roles/metastore.editor
) sul progetto -
Amministratore Dataproc Metastore (
roles/metastore.admin
) sul progetto.
-
Editor Dataproc Metastore (
-
Per utilizzare l'oggetto Cloud Storage (file di dump SQL) per l'importazione:
-
Visualizzatore oggetti Storage (
roles/storage.objectViewer
) sull'agente di servizio Dataproc Metastore. Ad esempio:service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com
. -
Visualizzatore oggetti Storage (
roles/storage.objectViewer
) nell'account utente.
-
Visualizzatore oggetti Storage (
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.
Questi ruoli predefiniti contengono le autorizzazioni necessarie per creare un Dataproc Metastore e importare un metastore MYSQL. Per visualizzare le autorizzazioni necessarie, espandi la sezione Autorizzazioni richieste:
Autorizzazioni obbligatorie
Per creare un Dataproc Metastore e importare un metastore MYSQL, sono necessarie le autorizzazioni seguenti:
-
Per creare un servizio:
metastore.services.create
nel progetto. -
Per importare i metadati:
metastore.imports.create
nel progetto. -
Per utilizzare l'oggetto Cloud Storage (file di dump SQL) per l'importazione:
-
storage.objects.get
sull'agente di servizio Dataproc Metastore. Ad esempio,service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com
-
storage.objects.get
sull'account utente.
-
Potresti anche essere in grado di ottenere queste autorizzazioni con i ruoli personalizzati o altri ruoli predefiniti.
Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta Gestire l'accesso a Dataproc con IAM.Crea un servizio Dataproc Metastore
Le seguenti istruzioni mostrano come creare un servizio Dataproc Metastore in cui eseguire la migrazione del file di dump SQL.
Console
Nella console Google Cloud, apri la pagina Crea servizio:
Nel campo Nome servizio, inserisci
example-service
.Seleziona Località dei dati. Per informazioni sulla selezione di una regione, consulta Località cloud.
Per le altre opzioni di configurazione del servizio, utilizza i valori predefiniti forniti.
Per creare e avviare il servizio, fai clic sul pulsante Invia.
Il nuovo servizio viene visualizzato nell'elenco Servizi.
gcloud
Esegui questo comando gcloud metastore services create
per creare un servizio:
gcloud metastore services create example-service \ --location=LOCATION
Sostituisci LOCATION
con la regione di Compute Engine
in cui prevedi di creare il servizio. Assicurati che Dataproc Metastore sia disponibile nella regione.
REST
Segui le istruzioni dell'API per creare un servizio utilizzando Explorer API.
Preparati per la migrazione
Ora devi preparare i metadati archiviati nel tuo database Hive metastore per l'importazione creando un file di dump MySQL e inserendolo in un bucket Cloud Storage.
Per la procedura di preparazione alla migrazione, consulta Preparare i file da importare prima dell'importazione.
Importa i metadati
Ora che hai preparato il file di dump, importalo nel servizio Dataproc Metastore.
Consulta Importazione dei file in Dataproc Metastore per la procedura di importazione dei metadati nel servizio example-service
.
Crea e collega un cluster Dataproc
Dopo aver importato i metadati nel servizio Dataproc Metastore example-service
, crea e collega un cluster Dataproc che utilizzi il servizio come metastore Hive.
Esegui la pulizia
Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.
- Nella console Google Cloud, vai alla pagina Gestisci risorse.
- Se il progetto che vuoi eliminare è associato a un'organizzazione, espandi l'elenco Organizzazione nella colonna Nome.
- Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
- Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.
In alternativa, puoi eliminare le risorse utilizzate in questo tutorial:
Eliminare il servizio Dataproc Metastore.
Console
Nella console Google Cloud, apri la pagina Dataproc Metastore:
A sinistra del nome del servizio, seleziona
example-service
selezionando la casella.Nella parte superiore della pagina Dataproc Metastore, fai clic su Elimina per eliminare il servizio.
Nella finestra di dialogo, fai clic su Elimina per confermare l'eliminazione.
Il tuo servizio non compare più nell'elenco Servizi.
gcloud
Esegui questo comando
gcloud metastore services delete
per eliminare un servizio:gcloud metastore services delete example-service \ --location=LOCATION
Sostituisci
LOCATION
con la regione di Compute Engine in cui hai creato il servizio.REST
Segui le istruzioni dell'API per eliminare un servizio utilizzando Explorer API.
Tutte le eliminazioni hanno esito positivo immediatamente.
Elimina il bucket Cloud Storage per il servizio Dataproc Metastore.