Deployment di un servizio Dataproc Metastore con un cluster Dataproc

Deployment di un servizio Dataproc Metastore con un cluster Dataproc

Deployment di un servizio Dataproc Metastore con un cluster Dataproc

Questa pagina mostra come creare un servizio Dataproc Metastore e un cluster Dataproc che utilizza il servizio come suo metastore Hive.

---

Per indicazioni dettagliate su questa attività direttamente nella console, fai clic su Procedura guidata:

Procedura guidata

---

Le seguenti sezioni illustrano la stessa procedura utilizzata per fare clic su Procedura guidata.

Prima di iniziare

1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

2. Nella pagina del selettore dei progetti in Google Cloud Console, seleziona o crea un progetto Google Cloud.

   Nota: se non hai intenzione di mantenere le risorse che crei in questa procedura, crea un progetto invece di selezionarne uno esistente. Dopo aver completato questi passaggi, puoi eliminare il progetto e rimuovere tutte le risorse associate.

   Vai al selettore progetti

3. Assicurati che la fatturazione sia attivata per il tuo progetto Cloud. Scopri come verificare se la fatturazione è abilitata su un progetto.

4. Nella pagina del selettore dei progetti in Google Cloud Console, seleziona o crea un progetto Google Cloud.

   Nota: se non hai intenzione di mantenere le risorse che crei in questa procedura, crea un progetto invece di selezionarne uno esistente. Dopo aver completato questi passaggi, puoi eliminare il progetto e rimuovere tutte le risorse associate.

   Vai al selettore progetti

5. Assicurati che la fatturazione sia attivata per il tuo progetto Cloud. Scopri come verificare se la fatturazione è abilitata su un progetto.

6. Attiva l'API Dataproc Metastore.

   Abilita l'API

Ruoli obbligatori

Per ottenere l'autorizzazione necessaria per creare un Dataproc Metastore, chiedi al tuo amministratore di concederti i seguenti ruoli IAM nel progetto. È possibile che non tutti siano selezionati, a seconda del livello di accesso richiesto:

• Concedi il controllo completo delle risorse Dataproc Metastore (roles/metastore.editor)
• Concedi accesso completo a tutte le risorse Dataproc Metastore, inclusa l'amministrazione dei criteri IAM (roles/metastore.admin)

Per maggiori informazioni sulla concessione dei ruoli, consulta Gestire l'accesso.

Questo ruolo predefinito contiene l'autorizzazione metastore.services.create, necessaria per creare un Dataproc Metastore. Potresti anche ottenere questa autorizzazione con ruoli personalizzati o altri ruoli predefiniti.

Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, vedi Gestire l'accesso a Dataproc con IAM.

Crea un servizio Dataproc Metastore

Le seguenti istruzioni mostrano come creare un servizio Dataproc Metastore utilizzando la console Google Cloud, l'interfaccia a riga di comando gcloud o l'API Dataproc Metastore.

console

1. Nella console, apri la pagina Crea servizio:

   Apri la pagina Crea servizio nella console

   

2. Nel campo Nome servizio, inserisci example-service.

3. Seleziona Località dei dati. Per informazioni sulla selezione di un'area geografica, consulta Località del cloud.

4. Per altre opzioni di configurazione del servizio, utilizza i valori predefiniti forniti.

5. Per creare e avviare il servizio, fai clic sul pulsante Invia.

Il nuovo servizio viene visualizzato nell'elenco Servizi.

gcloud

Esegui il comando gcloud metastore services create seguente per creare un servizio:

 gcloud metastore services create example-service \
     --location=LOCATION
 

Sostituisci LOCATION con l'area geografica di Compute Engine in cui deve essere creato il servizio. Assicurati che Dataproc Metastore sia disponibile nella località.

REST

Segui le istruzioni dell'API per creare un servizio utilizzando Explorer API.

Crea un cluster Dataproc che utilizza il servizio

Dopo aver creato un servizio, puoi creare e collegare un cluster Dataproc che utilizza il servizio come metastore Hive.

L'immagine Dataproc e la versione Dataproc Metastore Hive devono essere compatibili. Controlla le seguenti pagine di controllo delle versioni delle immagini per assicurarti che la versione di Hive sia compatibile:

• Versioni della versione 2.0.x di Dataproc
• Versioni di release 1.5.x di Dataproc
• Versioni della versione 1.4.x di Dataproc

Per scoprire di più, consulta l'elenco delle versioni di Imageproc Image.

console

1. Nella console, apri la pagina Crea un cluster di Dataproc:

   Apri la pagina Crea un cluster nella console

2. Nel campo Nome del cluster, inserisci example-cluster.

3. Nei menu Area geografica e Zona, seleziona un'area geografica e una zona per il cluster. Puoi selezionare una regione distinta per isolare le risorse e le località di archiviazione dei metadati all'interno della regione specificata. Se selezioni un'area geografica separata, puoi selezionare "Nessuna preferenza" per la zona in modo da consentire a Dataproc di scegliere una zona all'interno dell'area geografica selezionata per il cluster (vedi Posizionamento della zona Dataproc Auto).

   Nota: per creare una connettività di rete ottimale, è necessario creare il cluster Dataproc nella stessa area geografica di Dataproc Metastore.

4. Utilizza i valori predefiniti forniti per tutte le altre opzioni.

5. Fai clic sulla scheda Personalizza cluster.

6. Nella sezione Configurazione di rete, seleziona la stessa rete specificata durante la creazione del servizio Metastore.

7. Nella sezione Dataproc Metastore, seleziona example-service.

8. Fai clic su Crea per creare il cluster.

Il nuovo cluster viene visualizzato nell'elenco Cluster. Lo stato del cluster è indicato come "Provisioning" finché il cluster non è pronto per l'uso. Lo stato cambia in "In esecuzione".

gcloud

Esegui il comando gcloud dataproc clusters create seguente per creare un cluster:

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/example-service \
    --region=LOCATION
 

Sostituisci PROJECT_ID con l'ID progetto del progetto in cui hai creato il servizio Dataproc Metastore.

Sostituisci LOCATION con la regione specificata per il servizio Dataproc Metastore.

Nota: per una connettività di rete ottimale, è necessario creare il cluster Dataproc nella stessa area geografica del servizio Dataproc Metastore. Inoltre, il cluster Dataproc deve trovarsi sulla stessa rete del servizio Dataproc Metastore.

REST

Segui le istruzioni dell'API per creare un cluster utilizzando Explorer API.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi:

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per questo tutorial, quando lo elimini elimini anche qualsiasi altro lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se prevedi di esplorare più tutorial e guide rapide, il riutilizzo dei progetti può aiutarti a evitare di superare i limiti di quota del progetto.

1. Nella console, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Se il progetto che vuoi eliminare è associato a un'organizzazione, espandi l'elenco Organizzazione nella colonna Nome.
3. Nell'elenco dei progetti, seleziona il progetto da eliminare, quindi fai clic su Elimina.
4. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

In alternativa, puoi eliminare le risorse utilizzate in questo tutorial:

1. Elimina il servizio Dataproc Metastore.

   console

   1. Nella console, apri la pagina Dataproc Metastore:

      Apri Dataproc Metastore nella console

   2. A sinistra del nome del servizio, seleziona la casella example-service.

   3. Nella parte superiore della pagina Dataproc Metastore, fai clic su Elimina per eliminare il servizio.

   4. Nella finestra di dialogo, fai clic su Elimina per confermare l'eliminazione.

   Il tuo servizio non è più visualizzato nell'elenco Servizi.

   gcloud

   Esegui questo comando gcloud metastore services delete per eliminare un servizio:

    gcloud metastore services delete example-service \
        --location=LOCATION
    

   Sostituisci LOCATION con l'area geografica di Compute Engine in cui è stato creato il servizio.

   REST

   Segui le istruzioni dell'API per eliminare un servizio utilizzando Explorer API.

   Tutte le eliminazioni vengono applicate immediatamente.

2. Elimina il bucket Cloud Storage per il servizio Dataproc Metastore.

   Nota: l'eliminazione del servizio Dataproc Metastore non comporta l'eliminazione del bucket.

3. Elimina il cluster Dataproc che utilizzava il servizio Dataproc Metastore.

Passaggi successivi

• Che cos'è Dataproc Metastore?
• Crea un servizio
• Importa i metadati in un servizio