Questa pagina è stata tradotta dall'API Cloud Translation.

Crea un servizio Dataproc Metastore

Questa pagina mostra come creare un servizio Dataproc Metastore.

Dopo aver creato il servizio Dataproc Metastore, puoi importare metadati e connettersi a uno qualsiasi dei seguenti servizi:

Un Dataproc cluster.
Un server Apache Hive autogestito ad esempio Apache Spark, o un cluster Presto.

Dopo aver collegato uno di questi servizi, viene utilizzato il servizio Dataproc Metastore come metastore Hive durante l'esecuzione delle query.

Prima di iniziare

Scopri le differenze tra un servizio Dataproc Metastore 1 e un servizio Dataproc Metastore 2.
Attiva Dataproc Metastore nel tuo progetto.
Informazioni sul networking specifici specifici per il tuo progetto.

Ruoli obbligatori

Per ottenere l'autorizzazione necessaria per creare un Dataproc Metastore, chiedi all'amministratore di concederti i seguenti ruoli IAM sul tuo progetto, in base al principio del privilegio minimo:

Concedi il controllo completo delle risorse Dataproc Metastore (roles/metastore.editor)
Concedi l'accesso completo a tutte le risorse Dataproc Metastore, inclusa l'amministrazione dei criteri IAM (roles/metastore.admin)

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene l'autorizzazione metastore.services.create necessaria per creare un Dataproc Metastore.

Potresti anche riuscire a ottenere questa autorizzazione con ruoli personalizzati altri ruoli predefiniti.

Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta Gestire l'accesso con IAM.

Crea Dataproc Metastore utilizzando le impostazioni predefinite

Creazione di un Dataproc Metastore utilizzando le impostazioni predefinite configura il tuo servizio con un livello enterprise, una dimensione di istanza media, l'ultima versione di Hive Metastore, un endpoint Thrift e una posizione di us-central.

Dataproc Metastore 2

Le istruzioni riportate di seguito mostrano come creare un metastore Dataproc 2 utilizzando un endpoint Thrift e altre impostazioni predefinite fornite.

Console

Nella console Google Cloud, vai a Dataproc Metastore .

Vai a Dataproc Metastore
Nella barra di navigazione, fai clic su +Crea.

Si apre la finestra di dialogo Crea servizio Metastore.
Seleziona Dataproc Metastore 2.
Nella sezione Prezzi e capacità, scegli una dimensione di istanza.

Per ulteriori informazioni, consulta i piani tariffari e le configurazioni di scalabilità.
Nel campo Nome servizio, inserisci un nome univoco per il servizio.

Per informazioni sulle convenzioni di denominazione, consulta Convenzione di denominazione delle risorse.
Seleziona Località dei dati.

Per ulteriori informazioni sulla selezione della regione appropriata, consulta Regioni e zone disponibili ed endpoint a livello di regione.
Per le restanti opzioni di configurazione del servizio, utilizza i valori predefiniti forniti.
Per creare e avviare il servizio, fai clic su Invia.

Il nuovo servizio metastore viene visualizzato nella pagina Dataproc Metastore. Lo stato visualizzato è Creazione in corso finché il servizio non è pronto per essere utilizzato. Quando è pronto, lo stato diventa Attivo. Il provisioning del servizio potrebbe richiedere alcuni minuti.

Interfaccia a riga di comando gcloud

Per creare un servizio metastore Dataproc Metastore 2 utilizzando il comando predefiniti forniti, esegui questo comando gcloud metastore services create :

gcloud metastore services create SERVICE \
  --location=LOCATION \
  --instance-size=INSTANCE_SIZE \
  --scaling-factor=SCALING_FACTOR

Sostituisci quanto segue:

SERVICE: il nome del tuo nuovo Servizio Dataproc Metastore.
LOCATION: la regione Google Cloud in cui vuoi creare Dataproc Metastore. Puoi anche impostare una posizione predefinita.

Per informazioni sulle convenzioni di denominazione, vedi Convenzione di denominazione delle risorse.
INSTANCE_SIZE: le dimensioni dell'istanza del tuo Dataproc Metastore su più regioni. Ad esempio, small, medium o large. Se specifichi un valore per INSTANCE_SIZE, non specificare un valore per SCALING_FACTOR.
SCALING_FACTOR: il fattore di scalabilità del servizio Dataproc Metastore. Ad esempio: 0.1. Se specifichi un valore per SCALING_FACTOR, non specificare un valore per INSTANCE_SIZE.

REST

Segui le istruzioni dell'API per creare un servizio utilizzando Explorer API.

Dataproc Metastore 1

Le istruzioni riportate di seguito mostrano come creare un Dataproc Metastore 1 utilizzando un endpoint Thrift e altre impostazioni predefinite fornite.

Console

Nella console Google Cloud, vai alla pagina Dataproc Metastore.

Vai a Dataproc Metastore
Nella barra di navigazione, fai clic su +Crea.

Viene visualizzata la finestra di dialogo Crea servizio Metastore.
Seleziona Dataproc Metastore 1.
Nel campo Nome servizio, inserisci un nome univoco per il servizio.

Per informazioni sulle convenzioni di denominazione, vedi Convenzione di denominazione delle risorse.
Seleziona Località dei dati.

Per ulteriori informazioni sulla selezione della regione appropriata, consulta Regioni e zone disponibili ed endpoint a livello di regione.
Per le restanti opzioni di configurazione del servizio, utilizza i valori predefiniti forniti.
Per creare e avviare il servizio, fai clic su Invia.

Il nuovo servizio metastore viene visualizzato nella pagina Dataproc Metastore. Lo stato visualizzato è Creazione in corso finché il servizio non è pronto per essere utilizzato. Quando è pronto, lo stato diventa Attivo. Il provisioning del servizio potrebbe richiedere un paio di minuti.

Interfaccia a riga di comando gcloud

Per creare un servizio metastore di base utilizzando i valori predefiniti forniti, esegui questo gcloud metastore services create :

gcloud metastore services create SERVICE \
  --location=LOCATION

Sostituisci quanto segue:

SERVICE: il nome del tuo nuovo Servizio Dataproc Metastore.
LOCATION: la regione Google Cloud in cui vuoi creare Dataproc Metastore. Puoi anche impostare una posizione predefinita.

Per informazioni sulle convenzioni di denominazione, vedi Convenzione di denominazione delle risorse.

REST

Segui le istruzioni dell'API per creare un servizio utilizzando Explorer API.

Crea Dataproc Metastore utilizzando le impostazioni avanzate

La creazione di un Dataproc Metastore utilizzando le impostazioni avanzate suggerisce che devi modificare configurazioni come configurazioni di rete, impostazioni di scalabilità, impostazioni di endpoint, impostazioni di sicurezza e funzionalità facoltative.

Dataproc Metastore 2 o 1

Le istruzioni riportate di seguito mostrano come creare un servizio Dataproc Metastore 2 o Dataproc Metastore 1 utilizzando impostazioni avanzate.

Console

Inizia

Nella console Google Cloud, apri la pagina Dataproc Metastore:

Apri Dataproc Metastore
Nel menu di navigazione, fai clic su +Crea.

Si apre la finestra di dialogo Crea servizio Metastore.
Seleziona la versione di Metastore che vuoi utilizzare, Dataproc Metastore 1 o Dataproc Metastore 2.

Informazioni sul servizio

Esempio della pagina Crea servizio
1. (Facoltativo): per Dataproc Metastore 2. Nella sezione Prezzi e capacità, scegli una dimensione dell'istanza.
  
  Per ulteriori informazioni, consulta i piani tariffari e le configurazioni di scalabilità.
2. Nel campo Nome servizio, inserisci un nome univoco per il servizio.
  
  Per informazioni sulle convenzioni di denominazione, vedi Convenzione di denominazione delle risorse.
3. Seleziona Località dei dati.
  
  Per ulteriori informazioni sulla selezione della regione appropriata, consulta Regioni e zone disponibili e Endpoint regionale.
4. Seleziona la versione del Metastore di Hive.
  
  Se questo valore non viene modificato, il servizio utilizza la versione più recente supportata versione di Hive (attualmente la versione 3.1.2).
  
  Per ulteriori informazioni sulla scelta della versione corretta, consulta Criterio di versione.
5. Seleziona il canale di rilascio.
  
  Se questo valore non viene modificato, il metastore utilizza il valore Stable. Per maggiori informazioni, consulta la sezione Canale di rilascio.
6. Inserisci la porta TCP.
  
  La porta TCP a cui si connette l'endpoint Thrift. Se questo valore non viene modificato, viene utilizzato il numero di porta 9083. Se modifichi l'endpoint in gRPC, questo valore diventa automaticamente 443 e non può essere modificato.
7. (Facoltativo) Per Dataproc Metastore 1. Seleziona il Livello di servizio.
  
  Il livello di servizio influisce sulla capacità del servizio. Per maggiori informazioni, consulta Livello di servizio.
Protocollo endpoint
- (Facoltativo) Scegli un protocollo endpoint.
  
  L'opzione selezionata predefinita è Apache Thrift. Per ulteriori informazioni sui diversi endpoint, vedi Scegliere il protocollo degli endpoint.
Configurazione di rete
1. Seleziona una Configurazione di rete.
  
  Per impostazione predefinita, il servizio è esposto solo in una rete VPC e utilizza la rete default. La rete default consente solo il tuo servizio per la connessione ad altri servizi nello stesso progetto.
  
  Modifica le impostazioni di rete predefinite per completare le seguenti azioni:
  - Connetti il tuo servizio Dataproc Metastore a Dataproc Metastore in altri progetti.
  - Utilizza il tuo servizio Dataproc Metastore con altre dai servizi Google Cloud, come il cluster Dataproc.
  Nota: se utilizzi un endpoint gRPC, queste impostazioni sono disattivate.
2. (Facoltativo) Fai clic su Utilizza rete VPC condivisa e inserisci l'ID progetto e il nome della rete VPC.
3. (Facoltativo) Fai clic su Rendi i servizi accessibili in più subnet VPC e seleziona le subnet. Puoi specificare fino a cinque sottoreti.
4. Fai clic su Fine.
Integrazione dei metadati
- (Facoltativo) Attiva la sincronizzazione di Data Catalog.
  
  Per ulteriori informazioni, vedi Sincronizzazione da Dataproc Metastore a Data Catalog.
Periodo di manutenzione
- (Facoltativo) Seleziona il giorno della settimana e l'ora del giorno per la finestra di manutenzione.
  
  Per ulteriori informazioni, vedi Periodi di manutenzione.
Sicurezza
1. (Facoltativo) Attiva Kerberos.
  
  Nota: per abilitare Kerberos, è necessario un file keytab. Questo file contiene coppie di entità Kerberos e chiavi criptate. Un file keytab deve contenere la voce per l'entità di servizio creata per questo metastore Hive. Per ulteriori informazioni, consulta la sezione Configurare Kerberos per un servizio.
  1. Per attivare Kerberos, fai clic sul pulsante di attivazione/disattivazione.
  2. Seleziona o inserisci il tuo ID risorsa del secret.
  3. Scegli di utilizzare la versione del secret più recente o selezionane una meno recente uno da utilizzare.
  4. Inserisci l'entità Kerberos.
    
    Questa è l'entità allocata per questo Dataproc Metastore completamente gestito di Google Cloud.
  5. Individua il file krb5 config.
2. (Facoltativo) Scegli un tipo di crittografia.
  - L'opzione selezionata per impostazione predefinita è Chiave di crittografia gestita da Google.
  - Per selezionare una chiave gestita dal cliente, fai clic su Utilizza una chiave gestita dal cliente chiave di crittografia (CMEK).
    
    Per saperne di più, vedi Utilizzare le chiavi di crittografia gestite dal cliente.
Override della configurazione del metastore
- (Facoltativo) Per applicare una mappatura a Hive Metastore, fai clic su + Add Overrides (+ Aggiungi override).
  
  Nota: per impostare un override del warehouse Hive del metastore, consulta Impostare un override del warehouse Hive.
Configurazione versione ausiliaria
- (Facoltativo) Per aggiungere una configurazione della versione ausiliaria, fai clic su Abilita.
  
  Per ulteriori informazioni, consulta Versioni ausiliarie.
Tipo di database
- (Facoltativo) Scegli un tipo di database.
  
  Per Tipo di database, seleziona MySQL o Spanner. MySQL è il tipo di database predefinito.
  
  Per saperne di più sulla scelta di un tipo di database specifico, consulta Tipi di database.
Etichette
- (Facoltativo) Per aggiungere o rimuovere le etichette facoltative che descrivono i metadati, Fai clic su + Aggiungi etichette.

Avviare il servizio

Per creare e avviare il servizio, fai clic su Invia.

Il nuovo servizio metastore viene visualizzato nella pagina Dataproc Metastore. Lo stato mostra Creazione in corso finché il servizio non è pronto per l'uso. Quando è pronto, lo stato diventa Attivo. Il provisioning del servizio potrebbe richiedere alcuni minuti.

Interfaccia a riga di comando gcloud

Per creare un metastore, esegui il seguente comando gcloud metastore services create:
```
gcloud metastore services create SERVICE \
  --location=LOCATION \
  --instance-size=INSTANCE_SIZE \
  --scaling-factor=SCALING_FACTOR \
  --port=PORT \
  --tier=TIER \
  --endpoint-protocol=ENDPOINT_PROTOCOL \
  --database-type=DATABASE_TYPE \
  --hive-metastore-version=HIVE_METASTORE_VERSION \
  --data-catalog-sync=DATA_CATALOG_SYNC \
  --release-channel=RELEASE_CHANNEL \
  --hive-metastore-configs=METADATA_OVERRIDE \
  --labels=LABELS \
  --auxiliary-versions=AUXILIARY_VERSION \
  --network=NETWORK \
  --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2" \
  --kerberos-principal=KERBEROS_PRINCIPAL \
  --krb5-config=KRB5_CONFIG \
  --keytab=CLOUD_SECRET \
  --encryption-kms-key=KMS_KEY
```
Sostituisci quanto segue:

Impostazioni servizio:
- SERVICE: il nome del tuo nuovo Servizio Dataproc Metastore. del tuo servizio Dataproc Metastore. Ad esempio, 0.1. Se specifichi un valore per SCALING_FACTOR, non specificare un valore per INSTANCE_SIZE.
- LOCATION: la regione Google Cloud che ti interessa in cui creare Dataproc Metastore. Puoi anche impostare una posizione predefinita.
- PORT: (facoltativo) la porta TCP che usi usi degli endpoint Thrift. Se non viene impostata, viene utilizzata la porta 9083. Se scegli di utilizzare un endpoint gRPC, il numero di porta viene modificato automaticamente in 443.
- TIER: facoltativo per Dataproc Metastore 1: Il livello di servizio del nuovo servizio. Se non viene impostato, viene utilizzato il valore Developer.
- ENDPOINT_PROTOCOL: (Facoltativo) Scegli il protocollo endpoint per il tuo servizio.
- DATABASE_TYPE: (Facoltativo) Scegli il tipo di database per il servizio. Per saperne di più sulla scelta di un tipo di database specifico, consulta Tipi di database.
- DATA_CATALOG_SYNC: facoltativo. Attiva la funzionalità Sincronizzazione di Data Catalog.
- HIVE_METASTORE_VERSION: facoltativo. La versione del metastore Hive che vuoi utilizzare con il servizio. Ad esempio, 3.1.2. Se non viene impostato, viene utilizzata la versione più recente di Hive.
- RELEASE_CHANNEL: facoltativo: il canale di rilascio del servizio. Se non viene impostato, viene utilizzato il valore Stable.
- METADATA_OVERRIDE: facoltativo: il metastore Hive configura le configurazioni di override che vuoi applicare al servizio. Utilizza un elenco separato da virgole nel seguente formato k1=v1,k2=v2,k3=v3.
- LABELS: Facoltativo: coppie chiave-valore da aggiungere metadati aggiuntivi al tuo servizio. Utilizza un elenco separato da virgole nel seguente formato k1=v1,k2=v2,k3=v3. Dataproc Metastore
- AUXILIARY_VERSION: facoltativo. Attiva le versioni aggiuntive. Per ulteriori informazioni, consulta Versioni ausiliarie.
Impostazioni di scalabilità:
- INSTANCE_SIZE: facoltativo per Dataproc Metastore 2: le dimensioni dell'istanza Dataproc Metastore in più regioni. Ad esempio,small, medium o large. Se specifichi un valore per INSTANCE_SIZE, non specificare un valore per SCALING_FACTOR.
- SCALING_FACTOR: facoltativo per Dataproc Metastore 2: il fattore di scalabilità del servizio Dataproc Metastore. Ad esempio: 0.1. Se specifica un valore per SCALING_FACTOR, non specificare un valore per INSTANCE_SIZE
Impostazioni di rete:
- NETWORK: il nome della rete VPC a cui ti colleghi al servizio. Se non viene configurato, viene utilizzato il valore default.
  
  Se utilizzi una rete VPC che appartiene a un un progetto diverso da quello del tuo servizio, devi fornire devi specificare un nome risorsa relativo. Ad esempio: projects/HOST_PROJECT/global/networks/NETWORK_ID.
- SUBNET1, SUBNET2: Facoltativo: un elenco di sottoreti che possono accedere al tuo servizio. Puoi utilizzare l'ID, l'URL completo o il nome relativo della subnet. Puoi specificare fino a cinque subnet.
  
  Nota: se hai specificato un valore in --network, non puoi utilizzare questo parametro.
Impostazioni Kerberos:
- KERBEROS_PRINCIPAL: facoltativo: un Kerberos esistente sia nella keytab sia nel KDC. Un tipico nel formato "primary/instance@REALM", ma non esistono formato esatto.
- KRB5_CONFIG: facoltativo. Il file krb5.config specifica le informazioni sul KDC e sul realm Kerberos, tra cui le posizioni dei KDC e i valori predefiniti per il realm e le applicazioni Kerberos.
- CLOUD_SECRET: facoltativo: il nome della risorsa relativa di una versione del secret di Secret Manager.
- KMS_KEY: facoltativo: si riferisce alla risorsa chiave ID.
  
  Anteprima
  
  Questo prodotto o funzionalità è soggetto ai "Termini delle Offerte pre-GA" nella sezione Termini generali del servizio dei Termini specifici del servizio. I prodotti e le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.
Verifica che la creazione sia riuscita.

REST

Segui le istruzioni dell'API per creare un servizio utilizzando Explorer API.

Imposta un override della configurazione del metastore Hive per Dataproc Metastore

Se la directory del warehouse Apache Hive si trova su Cloud Storage, devi impostare della configurazione del metastore. Con questo override, il data warehouse personalizzato viene impostato come la directory di warehouse predefinita per il servizio Dataproc Metastore.

Prima di impostare l'override, assicurati che il tuo Dataproc Metastore dispone delle autorizzazioni di lettura e scrittura degli oggetti per accedere alla directory del warehouse. Per maggiori informazioni, consulta la directory del warehouse Hive.

Le seguenti istruzioni mostrano come impostare un override della configurazione di Hive Metastore per un nuovo servizio Dataproc Metastore.

Console

Nella console Google Cloud, apri la pagina Dataproc Metastore:

Apri Dataproc Metastore
Nella barra di navigazione, fai clic su +Crea.
In Override della configurazione di Metastore, inserisci i seguenti valori:
- Chiave: hive.metastore.warehouse.dir.
- Valore: la posizione di Cloud Storage della directory del warehouse. Ad esempio: gs://my-bucket/path/to/location.
Configura le restanti opzioni di servizio in base alle tue esigenze oppure utilizza i valori predefiniti forniti.
Fai clic su Invia.

Torna alla pagina Dataproc Metastore e verifica che il servizio sia stato creato correttamente.

Interfaccia a riga di comando gcloud

Per creare un servizio Dataproc Metastore con un'override Hive, esegui il seguente comando gcloud metastore services create:
```
gcloud metastore services create SERVICE \
  --location=LOCATION \
  --hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"
```
Sostituisci quanto segue:
- SERVICE: il nome del tuo nuovo Servizio Dataproc Metastore.
- LOCATION: la regione Google Cloud in cui vuoi creare Dataproc Metastore. Puoi anche impostare posizione predefinita.
- CUSTOMER_DIR: la località di Cloud Storage nella directory del warehouse. Ad esempio: gs://my-bucket/path/to/location.
Verifica che la creazione sia andata a buon fine.

Creare Dataproc Metastore con la scalabilità automatica

Dataproc Metastore 2 supporta la scalabilità automatica. Se attivi la scalabilità automatica, puoi impostare un fattore di scala minimo e un fattore di scala massimo. Una volta impostato, il servizio aumenta o diminuisce automaticamente il fattore di scala richiesto per l'esecuzione dei carichi di lavoro.

Considerazioni sulla scalabilità automatica

I fattori di scalabilità automatica e di scalabilità sono opzioni che si escludono a vicenda. Ad esempio, se attivi la scalabilità automatica, non puoi impostare manualmente un fattore di scala o una dimensione.
La scalabilità automatica è disponibile solo per Dataproc Metastore a regione singola di Compute Engine.
Quando la scalabilità automatica è abilitata, le impostazioni esistenti dei fattori di scalabilità vengono cancellate.
Quando la scalabilità automatica è disabilitata:
- Le impostazioni di scalabilità automatica esistenti vengono cancellate.
- Il fattore di scalabilità è impostato sull'ultimo autoscaling_factor configurato sul servizio.
I fattori di scalabilità automatica minimo e massimo sono facoltativi. Se non vengono impostati, i valori predefiniti sono rispettivamente 0.1 e 6.

Scegli una delle seguenti schede per scoprire come creare un servizio Dataproc Metastore 2 con la scalabilità automatica abilitata.

Console

Nella console Google Cloud, vai a Dataproc Metastore .

Vai a Dataproc Metastore
Nella barra di navigazione, fai clic su +Crea.

Si apre la finestra di dialogo Crea servizio Metastore.
Seleziona Dataproc Metastore 2.
Nella sezione Prezzi e capacità, seleziona Enterprise - Regione singola
In Dimensione istanza, fai clic su Attiva la scalabilità automatica.
In Dimensioni istanza, utilizza il cursore per scegliere un'istanza minima e massima. dimensioni.
Per creare e avviare il servizio, fai clic su Invia.

Il nuovo servizio metastore viene visualizzato in Dataproc Metastore . Lo stato visualizzato è Creazione in corso finché il servizio non è pronto per essere utilizzato. Quando è tutto pronto, lo stato diventa Attivo. Il provisioning del servizio potrebbe richiedere alcuni minuti.

REST

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"scaling_config":{"autoscaling_config":{"autoscaling_enabled": true,"limit_config":{"max_scaling_factor":MAX_SCALING_FACTOR,"min_scaling_factor": MIN_SCALING_FACTOR}}}}' \
-H "Content-Type:application/json" \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/services?service_id=SERVICE_ID

Sostituisci quanto segue:

MIN_INSTANCES Facoltativo: il numero minimo di istanze da utilizzare nella configurazione della scalabilità automatica. Se questi valori non sono specificati, viene utilizzato un valore predefinito di 0.1.
MAX_INSTANCESFacoltativo: il numero massimo di istanze per la configurazione della scalabilità automatica. Se questi valori non sono specificati, viene utilizzato un valore predefinito di 6.