Configurazione di Kerberos per gli endpoint gRPC Dataproc Metastore

Questa pagina spiega come configurare Kerberos per il servizio Dataproc Metastore che utilizza il protocollo dell'endpoint gRPC. Se il servizio Dataproc Metastore utilizza il protocollo degli endpoint Thrift, consulta Configurare Kerberos per gli endpoint Thrift.

Prima di iniziare

  • Comprendi le nozioni di base su Kerberos.

    In queste istruzioni, utilizzerai un cluster Dataproc per creare i seguenti asset Kerberos:

    • Un file Keytab.
    • Un file krb5.conf.
    • Un'entità Kerberos.

    Per saperne di più su come funzionano questi asset Kerberos con un servizio Dataproc Metastore, consulta Informazioni su Kerberos.

  • Crea e ospita il tuo KDC Kerberos o scopri come utilizzare il KDC locale di un cluster Dataproc.

  • Crea un bucket Cloud Storage o accedi a uno esistente. Devi archiviare il file krb5.conf in questo bucket.

Ruoli obbligatori

Per ottenere l'autorizzazione necessaria per creare un Dataproc Metastore configurato con Kerberos, chiedi all'amministratore di concederti i ruoli IAM seguenti per il tuo progetto, in base al principio del privilegio minimo:

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Questo ruolo predefinito contiene l'autorizzazione metastore.services.create, necessaria per creare un Dataproc Metastore configurato con Kerberos .

Potresti anche essere in grado di ottenere questa autorizzazione con ruoli personalizzati o altri ruoli predefiniti.

Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta Gestire l'accesso con IAM.

Per ulteriori informazioni, consulta Controllo dell'accesso e IAM di Dataproc Metastore.

Configura Kerberos per Dataproc Metastore

Le seguenti istruzioni mostrano come configurare Kerberos per un servizio Dataproc Metastore che utilizza l'endpoint gRPC.

In primo luogo, creerai un Dataproc Metastore che utilizza l'endpoint gRPC. In seguito, crea un cluster Dataproc configurato con Kerberos e connettiti al cluster.

Crea un servizio Dataproc Metastore con l'endpoint gRPC

Per creare un Dataproc Metastore che utilizza l'endpoint gRPC, esegui il seguente comando gcloud metastore services create:

gcloud

gcloud metastore services create SERVICE \
     --instance-size=medium \
     --endpoint-protocol=grpc

Sostituisci:

  • SERVICE: il nome del tuo servizio Dataproc Metastore

Crea un cluster Dataproc e connettiti al servizio

Per creare un Dataproc configurato con Kerberos, esegui il seguente comando gcloud dataproc clusters create.

In questo comando, l'opzione --enable-kerberos crea il file Keytab Kerberos, il file krb5.conf e l'entità. Questi valori vengono creati utilizzando le impostazioni e i nomi predefiniti impostati dal cluster Dataproc.

gcloud

gcloud dataproc clusters create CLUSTER_NAME \
    --project PROJECT_ID \
    --region REGION \
    --image-version 2.0-debian10 \
    --dataproc-metastore DATAPROC_METASTORE_NAME \
    --enable-kerberos \
    --scopes 'https://www.googleapis.com/auth/cloud-platform'

Sostituisci:

  • CLUSTER_NAME: il nome del tuo cluster Dataproc.
  • PROJECT_ID: l'ID del tuo progetto Google Cloud.
  • REGION: la regione Google Cloud in cui vuoi creare il cluster Dataproc.
  • DATAPROC_METASTORE_NAME: il nome del servizio Dataproc Metastore che stai collegando al cluster, nel seguente formato: projects/<my_project>/locations/<location>/services/<service_id>.

Configurazione di Dataproc prima di inviare i job

Per eseguire i job Dataproc, devi aggiungere l'utente hive alla proprietà allowed.system.users nel file Hadoop container-executor.cfg. Ciò consente agli utenti di eseguire query per accedere ai dati, come select * from.

Le istruzioni seguenti mostrano come collegarsi tramite SSH al cluster Dataproc principale associato al servizio Dataproc Metastore e aggiornare il file container-executor.cfg.

  1. Nella console Google Cloud, vai alla pagina Istanze VM.

  2. Nell'elenco delle istanze di macchine virtuali, fai clic su SSH nella riga del nodo principale Dataproc (your-cluster-name-m).

    Si apre una finestra del browser nella home directory sul nodo.

  3. Nella sessione SSH, apri il file container-executor.cfg di Hadoop.

    sudo vim /etc/hadoop/conf/container-executor.cfg

    Aggiungi la seguente riga su ogni nodo Dataproc.

    allowed.system.users=hive

Acquista un biglietto kerberos

Le seguenti istruzioni mostrano come generare un ticket Kerberos.

  1. Nella sessione SSH del cluster Dataproc, genera un ticket kerberos e connettiti al servizio Dataproc Metastore.

    Questo comando utilizza il nome predefinito della keytab generato dal cluster Dataproc.

    sudo klist -kte /etc/security/keytab/hive.service.keytab
sudo kinit -kt /etc/security/keytab/hive.service.keytab hive/_HOST@${realm}
sudo klist # gets the ticket information.

    Il valore _HOST viene recuperato quando il file keytab viene elencato utilizzando il comando klist -kte. Contiene il nome host del nodo principale.

(Facoltativo) Aggiungi una nuova entità

  1. Per aggiungere una nuova entità, esegui questo comando.

    sudo kadmin.local -q "addprinc -randkey PRINCIPAL"
sudo kadmin.local -q "ktadd -k /etc/security/keytab/hive.service.keytab PRINCIPAL"

  2. Prendi il biglietto kerberos.

    sudo klist -kte /etc/security/keytab/hive.service.keytab
sudo kinit -kt /etc/security/keytab/hive.service.keytab PRINCIPAL
sudo klist
sudo hive

Passaggi successivi