Questa pagina spiega come aggiornare un servizio Dataproc Metastore.
Puoi aggiornare il servizio Dataproc Metastore per modificare le impostazioni di configurazione oppure per abilitare o disabilitare le funzionalità facoltative.
Prima di iniziare
Ruoli obbligatori
Per ottenere l'autorizzazione necessaria per aggiornare un servizio Dataproc Metastore, chiedi all'amministratore di concederti i ruoli IAM seguenti per il tuo progetto, in base al principio del privilegio minimo:
-
Concedi il controllo completo delle risorse Dataproc Metastore (
roles/metastore.editor
) -
Concedi l'accesso completo a tutte le risorse Dataproc Metastore, inclusa l'amministrazione dei criteri IAM (
roles/metastore.admin
)
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.
Questo ruolo predefinito contiene l'autorizzazione metastore.services.update
, necessaria per aggiornare un servizio Dataproc Metastore.
Potresti anche essere in grado di ottenere questa autorizzazione con i ruoli personalizzati o altri ruoli predefiniti.
Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta Panoramica IAM di Dataproc Metastore.Informazioni sull'aggiornamento di un servizio
Puoi aggiornare i seguenti parametri di Dataproc Metastore.
- Numero porta: Aggiorna il numero di porta TCP dell'interfaccia di Apache Thrift.
- Livello di servizio. Passa dal livello di servizio Developer al livello di servizio Enterprise. Questi livelli influiscono sulla capacità del servizio.
- Sincronizzazione di Data Catalog. Attiva o disattiva la funzionalità di sincronizzazione di Data Catalog.
- Periodo di manutenzione. Modifica la frequenza del periodo di manutenzione, inclusi Giorno della settimana e Ora del giorno.
- Kerberos. Attiva o disattiva l'autenticazione Kerberos. Se in precedenza era attivata, puoi aggiornare i file di configurazione Kerberos.
- Configurazioni del metastore Hive. Aggiorna il percorso della directory del warehouse Hive.
- Configurazione della versione ausiliaria (anteprima). Abilita, disabilita o aggiungi altre versioni ausiliarie.
- Etichette. Aggiungi o rimuovi le etichette facoltative che descrivono i metadati.
- Fattore di scalabilità. Modifica il fattore di scalabilità. Puoi abilitare o disabilitare la scalabilità automatica e aggiornare il fattore di scalabilità minimo o massimo.
Aggiornare un servizio
Prima di eseguire un aggiornamento, tieni presente quanto segue:
- Puoi eseguire un solo job di aggiornamento alla volta (per ogni servizio Dataproc Metastore).
- Puoi aggiornare più parametri in un singolo job di aggiornamento.
- Puoi continuare a utilizzare Dataproc Metastore durante l'aggiornamento.
Una volta completato l'aggiornamento, Dataproc Metastore passa automaticamente allo stato attivo. Se l'aggiornamento non riesce, il servizio Dataproc Metastore esegue il rollback allo stato di integrità precedente.
Le seguenti istruzioni mostrano come aggiornare un servizio Dataproc Metastore.
Console
Nella console Google Cloud, apri la pagina Dataproc Metastore:
Nella pagina Dataproc Metastore, fai clic sul nome del servizio che vuoi aggiornare.
Viene visualizzata la pagina Dettagli servizio.
Nella scheda Configurazione, fai clic su Modifica.
Viene visualizzata la pagina Modifica servizio.
Scegli i valori che vuoi aggiornare per il servizio.
Fai clic su Invia.
Torna alla pagina Dataproc Metastore e verifica che il servizio sia stato aggiornato correttamente.
Interfaccia a riga di comando gcloud
Per aggiornare un servizio, esegui questo comando
gcloud metastore services update
:gcloud metastore services update SERVICE \ --location=LOCATION \ --port=PORT \ --tier=TIER \ --maintenance-window-day=MAINTENANCE_WINDOW_DAY \ --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \ --kerberos_principal=KERBEROS_PRINCIPAL \ --keytab=KEYTAB \ --krb5-config=KRB5_CONFIG \ --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \ --clear-hive-metastore-configs \ --remove-hive-metastore-configs=[KEY, ...] \ --update-labels=[KEY=VALUE, ...] \ --clear-labels \ --remove-labels=[KEY, ...]
Sostituisci quanto segue:
SERVICE
: il nome del tuo servizio Dataproc Metastore.LOCATION
: la regione di Google Cloud in cui risiede il tuo servizio Dataproc Metastore.PORT
(Facoltativo) La porta TCP dell'interfaccia Thrift che utilizzi con il servizio Dataproc Metastore.TIER
(facoltativo): la capacità del livello del tuo servizio Dataproc Metastore.MAINTENANCE_WINDOW_DAY
: facoltativo: il giorno della settimana in cui inizia la finestra del servizio.MAINTENANCE_WINDOW_HOUR
: facoltativo: l'ora del giorno in cui inizia la finestra del servizio.KERBEROS_PRINCIPAL
: facoltativo: un'entità Kerberos esistente sia nella keytab che nel KDC. Un'entità tipica è nel formato "primary/instance@REALM", ma non c'è un formato esatto.KEYTAB
(Facoltativo) Un file keytab Kerberos che viene utilizzato per autenticare un'entità servizio con un centro di distribuzione delle chiavi Kerberos.KRB5_CONFIG
(Facoltativo) Il file krb5.config specifica le informazioni relative all'area di autenticazione KDC e Kerberos, incluse le posizioni dei KDC e i valori predefiniti per le applicazioni per l'area di autenticazione e Kerberos.[KEY, ...]
: facoltativo: le configurazioni del metastore Hive che vuoi aggiornare. Se in questo campo esiste una variabile, il suo valore viene aggiornato. In caso contrario, viene creata una nuova variabile. Se questo flag è impostato, viene impostato automaticamente anche-clear-hive-metastore-configs
.[KEY, ...]
: facoltativo: le configurazioni del metastore Hive che vuoi rimuovere.[KEY=VALUE, ...]
: facoltativo: le etichette o le configurazioni di coppie chiave-valore di metastore Hive che vuoi aggiornare.[KEY, ...]
: facoltativo: le etichette o le configurazioni di coppie chiave-valore di metastore Hive che vuoi rimuovere.
Verifica che l'aggiornamento sia riuscito.
REST
Segui le istruzioni dell'API per aggiornare un servizio utilizzando Explorer API.
Aggiorna la configurazione del warehouse Hive Metastore
Se la directory del warehouse Hive si trova in Cloud Storage, devi impostare un override della configurazione di Metastore. Questo override imposta il data warehouse specifico come directory predefinita per Dataproc Metastore
Prima di impostare questo override, assicurati che il servizio Dataproc Metastore disponga delle autorizzazioni di lettura e scrittura degli oggetti per accedere alla directory del warehouse. Per ulteriori informazioni, consulta Directory del warehouse Hive.
Le seguenti istruzioni mostrano come aggiornare un override della configurazione di Hive Metastore.
Console
Nella console Google Cloud, apri la pagina Dataproc Metastore:
Nella pagina Dataproc Metastore, fai clic sul nome del servizio che vuoi aggiornare.
Viene visualizzata la pagina Dettagli servizio.
Nella scheda Configurazione, fai clic su Modifica.
Viene visualizzata la pagina Modifica servizio.
In Override della configurazione del Metastore, inserisci quanto segue:
- Chiave: inserisci il seguente valore:
hive.metastore.warehouse.dir
. - Valore: la località Cloud Storage della directory del warehouse. Ad
esempio:
gs://my-bucket/path/to/location
.
- Chiave: inserisci il seguente valore:
Fai clic su Invia.
Torna alla pagina Dataproc Metastore e verifica che il servizio sia stato aggiornato correttamente.
gcloud
Per aggiornare un servizio, esegui questo comando
gcloud metastore services update
:gcloud metastore services update SERVICE \ --location=LOCATION \ --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"
Sostituisci quanto segue:
SERVICE
: il nome del tuo servizio Dataproc Metastore.LOCATION
: la regione di Google Cloud in cui risiede il tuo servizio Dataproc Metastore.CUSTOMER_DIR
: la località di Cloud Storage della directory del warehouse. Ad esempio:gs://my-bucket/path/to/location
Verifica che l'aggiornamento sia riuscito.