Aggiorna un servizio Dataproc Metastore

Questa pagina spiega come aggiornare un servizio Dataproc Metastore.

Puoi aggiornare il servizio Dataproc Metastore per modificare le impostazioni di configurazione o per attivare o disattivare le funzionalità facoltative.

Prima di iniziare

Ruoli obbligatori

Per ottenere l'autorizzazione necessaria per aggiornare un servizio Dataproc Metastore, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto, in base al principio del privilegio minimo:

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene l'autorizzazione metastore.services.update necessaria per aggiornare un servizio Dataproc Metastore.

Potresti anche riuscire a ottenere questa autorizzazione con ruoli personalizzati altri ruoli predefiniti.

Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta la panoramica di IAM di Dataproc Metastore.

Informazioni sull'aggiornamento di un servizio

Puoi aggiornare i seguenti parametri di Dataproc Metastore.

  • Numero porta. Aggiorna il numero di porta TCP dell'interfaccia Apache Thrift.
  • Livello di servizio. Passare dal livello di servizio Developer al livello di servizio Enterprise. Questi livelli influenzano la capacità del servizio.
  • Sincronizzazione di Data Catalog. Attiva o disattiva la funzionalità di sincronizzazione di Data Catalog.
  • Periodo di manutenzione. Modifica la frequenza del periodo di manutenzione, inclusi Giorno della settimana e Ora del giorno.
  • Kerberos. Attiva o disattiva l'autenticazione Kerberos. Se precedentemente attivato, puoi aggiornare i file di configurazione Kerberos.
  • Configurazioni del metastore Hive. Aggiorna il percorso della directory del warehouse Hive.
  • Configurazione della versione ausiliaria (anteprima). Attiva, disattiva o aggiungi altre versioni ausiliarie.
  • Etichette. Aggiungi o rimuovi etichette facoltative che descrivono i metadati.
  • Fattore di scalabilità. Modifica il fattore di scala. Puoi abilitare o disabilitare la scalabilità automatica e aggiornare il numero minimo o massimo dei fattori di scalabilità.

Aggiornare un servizio

Prima di eseguire un aggiornamento, tieni presente quanto segue:

  • Puoi eseguire un solo job di aggiornamento alla volta (per ogni servizio Dataproc Metastore).
  • Puoi aggiornare più parametri in un singolo job di aggiornamento.
  • Puoi comunque utilizzare Dataproc Metastore durante l'aggiornamento.

Se l'aggiornamento va a buon fine, Dataproc Metastore entra automaticamente in uno stato attivo. Se l'aggiornamento non va a buon fine, viene eseguito il rollback del servizio Dataproc Metastore allo stato precedente di integrità.

Le istruzioni riportate di seguito mostrano come aggiornare un servizio Dataproc Metastore.

Console

  1. Nella console Google Cloud, apri la pagina Dataproc Metastore:

    Apri Dataproc Metastore

  2. Nella pagina Dataproc Metastore, fai clic sul nome del servizio che vuoi aggiornare.

    Viene visualizzata la pagina Dettagli del servizio.

    Pagina dei dettagli del servizio
    Pagina dei dettagli del servizio Dataproc Metastore

  3. Nella scheda Configurazione, fai clic su Modifica.

    Viene visualizzata la pagina Modifica servizio.

  4. Scegli i valori da aggiornare per il servizio.

  5. Fai clic su Invia.

    Torna alla pagina Dataproc Metastore e verifica che il servizio sia stato aggiornato correttamente.

Interfaccia a riga di comando gcloud

  1. Per aggiornare un servizio, esegui questo comando gcloud metastore services update:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    Sostituisci quanto segue:

    • SERVICE: il nome del tuo servizio Dataproc Metastore.
    • LOCATION: la regione Google Cloud in cui si trova il servizio Dataproc Metastore.
    • PORT: facoltativo. La porta TCP dell'interfaccia Thrift che utilizzi con il servizio Dataproc Metastore.
    • TIER: facoltativo. La capacità del livello del servizio Dataproc Metastore.
    • MAINTENANCE_WINDOW_DAY: (facoltativo) il giorno della settimana in cui viene avviata la finestra del servizio.
    • MAINTENANCE_WINDOW_HOUR: facoltativo: l'ora del giorno in cui viene avviata la finestra del servizio.
    • KERBEROS_PRINCIPAL: facoltativo. Un'entità Kerberos che esiste sia nel file keytab sia nel KDC. Un tipico ha il formato "primary/instance@REALM", ma non esistono formato esatto.
    • KEYTAB. (Facoltativo) Un file keytab Kerberos che viene utilizzato per autenticare un'entità servizio con una chiave Kerberos Centro di distribuzione.
    • KRB5_CONFIG: facoltativo, il file krb5.config specifica il KDC e le informazioni di area di autenticazione Kerberos, che includono posizioni dei KDC e valori predefiniti per area di autenticazione e Kerberos diverse applicazioni.
    • [KEY, ...]: facoltativo: le configurazioni del metastore Hive che vuoi aggiornare. Se in questo campo è presente una variabile, il suo valore viene aggiornato. In caso contrario, viene creata una nuova variabile. Se questo flag è impostato, viene impostato automaticamente anche -clear-hive-metastore-configs.
    • [KEY, ...]: facoltativo: le configurazioni del metastore Hive che vuoi rimuovere.
    • [KEY=VALUE, ...]: (Facoltativo) Le etichette o le configurazioni delle coppie chiave-valore del metastore Hive da aggiornare.
    • [KEY, ...]: (Facoltativo) Le etichette o le configurazioni delle coppie chiave-valore del metastore Hive da rimuovere.

  2. Verifica che l'aggiornamento sia riuscito.

REST

Segui le istruzioni dell'API per aggiornare un servizio utilizzando Explorer API.

Aggiorna la configurazione del warehouse Hive Metastore

Se la directory del warehouse Hive si trova su Cloud Storage, devi impostare un valore Metastore o eseguire l'override della configurazione. Con questo override, il data warehouse specifico viene impostato come directory del warehouse predefinito per Dataproc Metastore

Prima di impostare l'override, assicurati che il servizio Dataproc Metastore dispone delle autorizzazioni di lettura e scrittura degli oggetti per accedere alla directory del warehouse. Per maggiori informazioni, consulta la directory del warehouse Hive.

Le istruzioni riportate di seguito mostrano come aggiornare una sostituzione della configurazione di Hive Metastore.

Console

  1. Nella console Google Cloud, apri la pagina Dataproc Metastore:

    Apri Dataproc Metastore

  2. Nella pagina Dataproc Metastore, fai clic sul nome del servizio da aggiornare.

    Viene visualizzata la pagina Dettagli del servizio.

  3. Nella scheda Configurazione, fai clic su Modifica.

    Viene visualizzata la pagina Modifica servizio.

  4. In Metastore config overrides (Sostituzioni di configurazione metastore), inserisci quanto segue:

    • Chiave: inserisci il seguente valore: hive.metastore.warehouse.dir.
    • Valore: la posizione di Cloud Storage della directory del warehouse. Ad esempio: gs://my-bucket/path/to/location.

  5. Fai clic su Invia.

    Torna alla pagina Dataproc Metastore e e verificare che il servizio sia stato aggiornato correttamente.

gcloud

  1. Per aggiornare un servizio, esegui il seguente comando gcloud metastore services update:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    Sostituisci quanto segue:

    • SERVICE: il nome del tuo servizio Dataproc Metastore.
    • LOCATION: la regione Google Cloud in cui si trova il servizio Dataproc Metastore.
    • CUSTOMER_DIR: la posizione Cloud Storage della directory del tuo magazzino. Ad esempio: gs://my-bucket/path/to/location

  2. Verifica che l'aggiornamento sia riuscito.

Passaggi successivi