Esegui la migrazione di un metastore MySQL autogestito a Dataproc Metastore

Esegui la migrazione di un metastore MySQL autogestito a Dataproc Metastore

Questa pagina mostra come eseguire la migrazione del metastore MySQL autogestito esterno Dataproc Metastore creando un file di dump MySQL e importando i metadati in un servizio Dataproc Metastore esistente.

Prima di iniziare

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Dataproc Metastore API.

   Enable the API

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare un Dataproc Metastore e importare un metastore MYSQL, chiedi all'amministratore di concederti seguenti ruoli IAM:

• Per creare un servizio e importare i metadati:
  • Editor Dataproc Metastore (roles/metastore.editor) nel progetto
  • Amministratore Dataproc Metastore (roles/metastore.admin) del progetto.
• Per utilizzare l'oggetto Cloud Storage (file di dump SQL) per l'importazione:
  • Storage Object Viewer (roles/storage.objectViewer) sull'agente di servizio Dataproc Metastore. Ad esempio: [e-mail].
  • Visualizzatore oggetti Storage (roles/storage.objectViewer) nell'account utente.

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti le autorizzazioni necessarie per creare un Dataproc Metastore e importare un metastore MYSQL. Per vedere le autorizzazioni esatte obbligatorie, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per creare un Dataproc Metastore e importare un metastore MYSQL, sono necessarie le seguenti autorizzazioni:

• Per creare un servizio: metastore.services.create del progetto.
• Per importare i metadati: metastore.imports.create nel progetto.
• Per utilizzare l'oggetto Cloud Storage (file di dump SQL) per l'importazione:
  • storage.objects.get sull'agente di servizio Dataproc Metastore. Ad esempio, [e-mail]
  • storage.objects.get nell'account utente.

Potresti anche riuscire a ottenere queste autorizzazioni con ruoli personalizzati altri ruoli predefiniti.

Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta Gestire l'accesso a Dataproc con IAM.

Crea un servizio Dataproc Metastore

Le seguenti istruzioni mostrano come creare un Dataproc Metastore in cui eseguire la migrazione del file di dump SQL.

Console

1. Nella console Google Cloud, apri la pagina Crea servizio:

   Vai a Crea servizio

   

   Pagina Dataproc MetastoreThe Create service

2. Nel campo Nome servizio, inserisci example-service.

3. Seleziona Località dei dati. Per informazioni sulla selezione di una regione, vedi Località cloud.

4. Per le altre opzioni di configurazione del servizio, utilizza i valori predefiniti forniti.

5. Per creare e avviare il servizio, fai clic sul pulsante Invia.

Il nuovo servizio viene visualizzato nell'elenco Servizi.

gcloud

Esegui il seguente comando gcloud metastore services create per creare un servizio:

 gcloud metastore services create example-service \
     --location=LOCATION
 

Sostituisci LOCATION con la regione Compute Engine in cui prevedi di creare il servizio. Assicurati che Dataproc Metastore sia disponibile della regione.

REST

Segui le istruzioni dell'API per creare un servizio utilizzando Explorer API.

Preparati per la migrazione

Ora devi preparare i metadati archiviati nel database del metastore Hive per l'importazione creando un file dump MySQL e inserendolo in un bucket Cloud Storage.

Vedi Preparare i file di importazione prima dell'importazione i passaggi per prepararti alla migrazione.

Importa i metadati

Ora che hai preparato il file dump, importalo nel servizio Dataproc Metastore.

Consulta Importare i file in Dataproc Metastore per conoscere la procedura per importare i metadati nel servizio example-service.

Nota: se utilizzi Controlli di servizio VPC, puoi importare solo i dati da un bucket Cloud Storage che risiede nello stesso perimetro di servizio del servizio Dataproc Metastore.

Crea e collega un cluster Dataproc

Dopo aver importato i metadati nel servizio Dataproc Metastoreexample-service, crea e collega un cluster Dataproc che utilizza il servizio come metastore Hive.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività descritte in questo documento, quando lo elimini elimini anche tutto il lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un appspot.com URL, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, il riuso dei progetti può aiutarti a non superare i limiti di quota.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
3. In the project list, select the project that you want to delete, and then click Delete.
4. In the dialog, type the project ID, and then click Shut down to delete the project.

In alternativa, puoi eliminare le risorse utilizzate in questo tutorial:

1. Elimina il servizio Dataproc Metastore.

   Console

   1. Nella console Google Cloud, apri la pagina Dataproc Metastore:

      Apri Dataproc Metastore nella console Google Cloud

   2. A sinistra del nome del servizio, seleziona example-service controllando il riquadro.

   3. Nella parte superiore della pagina Dataproc Metastore, fai clic su Elimina. per eliminare il servizio.

   4. Nella finestra di dialogo, fai clic su Elimina per confermare l'eliminazione.

   Il servizio non è più visualizzato nell'elenco Servizi.

   gcloud

   Esegui questo comando gcloud metastore services delete per eliminare un servizio:

    gcloud metastore services delete example-service \
        --location=LOCATION

   Sostituisci LOCATION con la regione di Compute Engine in cui hai creato il servizio.

   REST

   Segui le istruzioni dell'API per eliminare un servizio utilizzando Explorer API.

   Tutte le eliminazioni vengono eseguite immediatamente.

   Nota: l'eliminazione del servizio stesso elimina tutte le importazioni nidificate al suo interno completamente gestito di Google Cloud.

2. Elimina il bucket Cloud Storage per il servizio Dataproc Metastore.

   Nota: l'eliminazione del servizio Dataproc Metastore non comporta l'eliminazione del relativo bucket.

Passaggi successivi

• Che cos'è Dataproc Metastore?
• Importare i metadati in un servizio
• Collega un cluster Dataproc o un cluster autogestito