Guida rapida: creazione di un servizio e un cluster Dataproc Metastore

Crea un servizio e un cluster Dataproc Metastore

Questa pagina mostra come creare un servizio Dataproc Metastore e un cluster Dataproc che utilizza il servizio come metastore Hive.


Per indicazioni dettagliate su questa attività direttamente in Google Cloud Console, fai clic su Guida:

Procedura guidata


Nelle sezioni seguenti puoi seguire la stessa procedura utilizzata per fare clic su Procedura guidata.

Prima di iniziare

  1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
  2. Nella pagina del selettore dei progetti in Google Cloud Console, seleziona o crea un progetto Google Cloud.

    Vai al selettore progetti

  3. Assicurati che la fatturazione sia attivata per il tuo progetto Cloud. Scopri come verificare se la fatturazione è abilitata su un progetto.

  4. Nella pagina del selettore dei progetti in Google Cloud Console, seleziona o crea un progetto Google Cloud.

    Vai al selettore progetti

  5. Assicurati che la fatturazione sia attivata per il tuo progetto Cloud. Scopri come verificare se la fatturazione è abilitata su un progetto.

  6. Attiva l'API Dataproc Metastore.

    Abilita l'API

Controllo dell'accesso

  • Per creare un servizio, devi richiedere un ruolo IAM contenente l'autorizzazione IAM metastore.services.create. I ruoli specifici di Dataproc Metastore roles/metastore.admin e roles/metastore.editor includono l'autorizzazione di creazione.

  • Per autorizzare la creazione di utenti o gruppi, puoi utilizzare i ruoli precedenti di roles/owner e roles/editor.

Per ottenere e impostare i criteri IAM, puoi utilizzare quanto segue:

Per ulteriori informazioni, vedi Gestire l'accesso con IAM.

Crea un servizio Dataproc Metastore

Le seguenti istruzioni spiegano come creare un servizio Dataproc Metastore utilizzando Google Cloud Console, l'interfaccia a riga di comando gcloud o l'API Dataproc Metastore.

console

  1. In Google Cloud Console, apri la pagina Crea servizio:

    Apri la pagina Crea servizio in Google Cloud Console

    Pagina Crea servizio.
  2. Nel campo Nome servizio, inserisci example-service.

  3. Seleziona Località dei dati. Per informazioni sulla selezione di un'area geografica, vedi Località cloud.

  4. Per altre opzioni di configurazione del servizio, utilizza le impostazioni predefinite fornite.

  5. Per creare e avviare il servizio, fai clic sul pulsante Invia.

Il nuovo servizio viene visualizzato nell'elenco Servizi.

gcloud

Esegui il comando gcloud metastore services create seguente per creare un servizio:

 gcloud metastore services create example-service \
     --location=LOCATION
 

Sostituisci LOCATION con l'area geografica di Compute Engine in cui deve essere creato il servizio. Assicurati che Dataproc Metastore sia disponibile nella località.

REST

Segui le istruzioni dell'API per creare un servizio utilizzando Explorer API.

Crea un cluster Dataproc che utilizza il servizio

Dopo aver creato un servizio, puoi creare e collegare un cluster Dataproc che utilizza il servizio come metastore Hive.

L'immagine Dataproc e la versione Dataproc Metastore Hive devono essere compatibili. Controlla le seguenti pagine di controllo delle versioni delle immagini per assicurarti che la versione Hive sia compatibile:

Per ulteriori informazioni, consulta la sezione Elenco delle versioni dell'immagine di Dataproc.

console

  1. In Google Cloud Console, apri la pagina Crea un cluster di Dataproc:

    Apri la pagina Crea un cluster in Google Cloud Console

  2. Nel campo Nome cluster, inserisci example-cluster.

  3. Nei menu Area geografica e Zona, seleziona un'area geografica e una zona per il cluster. Puoi selezionare un'area geografica distinta, per isolare le risorse e le località di archiviazione dei metadati all'interno dell'area geografica specificata. Se selezioni un'area geografica distinta, puoi selezionare "Nessuna preferenza" per la zona in cui consentire a Dataproc di scegliere una zona all'interno dell'area geografica selezionata per il cluster (vedi Posizionamento zona Dataproc).

  4. Utilizza i valori predefiniti forniti per tutte le altre opzioni.

  5. Fai clic sulla scheda Personalizza cluster.

  6. Nella sezione Configurazione di rete, seleziona la stessa rete specificata durante la creazione del metastore.

  7. Nella sezione Dataproc Metastore, seleziona example-service.

  8. Fai clic su Crea per creare il cluster.

Il nuovo cluster viene visualizzato nell'elenco Cluster. Lo stato del cluster è "Provisioning", finché il cluster non è pronto per essere utilizzato. Lo stato cambia in "In esecuzione".

gcloud

Esegui il comando gcloud dataproc clusters create seguente per creare un cluster:

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/example-service \
    --region=LOCATION
 

Sostituisci PROJECT_ID con l'ID progetto del progetto in cui hai creato il servizio Dataproc Metastore.

Sostituisci LOCATION con l'area geografica specificata per il servizio Dataproc Metastore.

REST

Segui le istruzioni dell'API per creare un cluster utilizzando Explorer API.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

  1. In Cloud Console, vai alla pagina Gestisci risorse.

    Vai a Gestisci risorse

  2. Se il progetto che vuoi eliminare è associato a un'organizzazione, espandi l'elenco Organizzazione nella colonna Nome.
  3. Nell'elenco dei progetti, seleziona il progetto da eliminare, quindi fai clic su Elimina.
  4. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

In alternativa, puoi eliminare le risorse utilizzate in questo tutorial:

  1. Elimina il servizio Dataproc Metastore.

    console

    1. In Google Cloud Console, apri la pagina Dataproc Metastore:

      Apri Dataproc Metastore in Google Cloud Console

    2. A sinistra del nome del servizio, seleziona la casella example-service.

    3. Nella parte superiore della pagina Dataproc Metastore, fai clic su Elimina per eliminare il servizio.

    4. Nella finestra di dialogo, fai clic su Elimina per confermare l'eliminazione.

    Il tuo servizio non è più visualizzato nell'elenco dei servizi.

    gcloud

    Esegui questo comando gcloud metastore services delete per eliminare un servizio:

     gcloud metastore services delete example-service \
         --location=LOCATION
     

    Sostituisci LOCATION con l'area geografica di Compute Engine in cui è stato creato il servizio.

    REST

    Segui le istruzioni dell'API per eliminare un servizio utilizzando Explorer API.

    Tutte le eliminazioni hanno esito positivo immediatamente.

  2. Elimina il bucket Cloud Storage per il servizio Dataproc Metastore.

  3. Elimina il cluster Dataproc che utilizzava il servizio Dataproc Metastore.

Passaggi successivi