Questa pagina spiega come configurare Kerberos per il servizio Dataproc Metastore che utilizza il protocollo degli endpoint Thrift. Se il servizio Dataproc Metastore utilizza il protocollo dell'endpoint gRPC, consulta Configurare Kerberos per gli endpoint gRPC.
Prima di iniziare
Comprendi le nozioni di base su Kerberos.
In queste istruzioni, utilizzerai un cluster Dataproc per creare i seguenti asset Kerberos:
- Un file Keytab.
- Un file
krb5.conf
. - Un'entità Kerberos.
Per saperne di più su come funzionano questi asset Kerberos con un servizio Dataproc Metastore, consulta Informazioni su Kerberos.
Crea e ospita il tuo KDC Kerberos o scopri come utilizzare il KDC locale di un cluster Dataproc.
Crea un bucket Cloud Storage o accedi a uno esistente. Devi archiviare il file
krb5.conf
in questo bucket.
Considerazioni sulla rete
Prima di configurare Kerberos, considera le seguenti impostazioni di rete:
Configura una connessione IP tra la rete VPC e il KDC. È necessario eseguire questa operazione per autenticare il file KDC con il servizio Dataproc Metastore.
Configura eventuali regole firewall sul tuo KDC necessarie. Queste regole sono necessarie per consentire il traffico proveniente da Dataproc Metastore. Per ulteriori informazioni, consulta Regole firewall per i servizi.
Se utilizzi Controlli di servizio VPC, il secret di Secret Manager e l'oggetto Cloud Storage
krb5.conf
devono appartenere a un progetto che risiede nello stesso perimetro di servizio del servizio Dataproc Metastore.Decidi quale rete di peering VPC utilizzare. Devi configurare il cluster Dataproc e il servizio Dataproc Metastore con la stessa rete di peering VPC.
Ruoli obbligatori
Per ottenere l'autorizzazione necessaria per creare un Dataproc Metastore con Kerberos, chiedi all'amministratore di concederti i ruoli IAM seguenti per il tuo progetto, in base al principio del privilegio minimo:
-
Concedi il controllo completo delle risorse Dataproc Metastore (
roles/metastore.editor
) -
Concedi l'accesso completo a tutte le risorse Dataproc Metastore, inclusa l'amministrazione dei criteri IAM (
roles/metastore.admin
)
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.
Questo ruolo predefinito contiene l'autorizzazione metastore.services.create
, necessaria per creare un Dataproc Metastore con Kerberos.
Potresti anche essere in grado di ottenere questa autorizzazione con ruoli personalizzati o altri ruoli predefiniti.
Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta Gestire l'accesso con IAM.Per ulteriori informazioni, consulta Controllo dell'accesso e IAM di Dataproc Metastore.
Abilita Kerberos per Dataproc Metastore
Le istruzioni seguenti mostrano come configurare Kerberos per un servizio Dataproc Metastore collegato a un cluster Dataproc.
Crea un cluster Dataproc e abilita Kerberos
gcloud
Per configurare un cluster Dataproc con Kerberos, esegui questo comando gcloud dataproc clusters create
:
gcloud dataproc clusters create CLUSTER_NAME \ --image-version=2.0 \ --enable-kerberos \ --scopes 'https://www.googleapis.com/auth/cloud-platform'
Sostituisci quanto segue:
CLUSTER_NAME
: il nome del tuo cluster Dataproc.
Configurazione del cluster Dataproc per kerbero
Le istruzioni seguenti mostrano come utilizzare SSH per connettersi a un cluster Dataproc principale associato al servizio Dataproc Metastore.
Successivamente, modifica il file hive-site.xml
e configura Kerberos per il tuo servizio.
- Nella console Google Cloud, vai alla pagina Istanze VM.
Nell'elenco delle istanze di macchine virtuali, fai clic su SSH nella riga del nodo principale Dataproc (
your-cluster-name-m
).Si apre una finestra del browser nella home directory sul nodo.
Apri il file
/etc/hive/conf/hive-site.xml
.sudo vim /etc/hive/conf/hive-site.xml
Vedrai un output simile al seguente:
<property> <name>hive.metastore.kerberos.principal</name> <value>PRINCIPAL_NAME</value> </property> <property> <name>hive.metastore.kerberos.keytab.file</name> <value>METASTORE_PRINCPAL_KEYTAB</value> </property>
Sostituisci:
PRINCIPAL_NAME
: il nome di un'entità nel seguente formatoprimary/instance@REALM
. Ad esempio,hive/test@C.MY-PROJECT.INTERNAL
.METASTORE_PRINCIPAL_KEYTAB
: la posizione del file keytab di Hive Metastore. Utilizza il seguente valore/etc/security/keytab/metastore.service.keytab
.
Crea un file keytab
Le seguenti istruzioni mostrano come creare un file keytab.
Un file keytab contiene una coppia di entità Kerberos e una coppia di chiavi criptate. Utilizzato per autenticare un'entità di servizio con un KDC Kerberos.
Per creare un file keytab
Nella sessione SSH di Dataproc, crea la scheda delle chiavi e l'entità.
sudo kadmin.local -q "addprinc -randkey PRINCIPAL_NAME" sudo kadmin.local -q "ktadd -k /etc/security/keytab/metastore.service.keytab PRINCIPAL_NAME"
Nella sessione Dataproc SSH, crea e carica il file keytab in Secret Manager.
gcloud secrets create SECRET_NAME --replication-policy automatic sudo gcloud secrets versions add SECRET_NAME --data-file /etc/security/keytab/metastore.service.keytab
Sostituisci quanto segue:
SECRET_NAME
: il nome del tuo secret.
Aggiorna il file krb5.conf
Successivamente, devi aggiornare il file krb5.conf
per associarlo al cluster Dataproc.
Determinare l'indirizzo IP interno principale dell'istanza principale del cluster Dataproc.
gcloud compute instances list
Ad esempio, l'esecuzione di questo comando produce un output simile:
~$ gcloud compute instances list --project kerberos-project NAME ZONE MACHINE_TYPE PREEMPTIBLE INTERNAL_IP EXTERNAL_IP STATUS cluster-236-m us-central1-c n2-standard-4 192.0.2.2 *.*.*.* RUNNING ...
In questo caso, l'indirizzo IP interno del cluster è
192.0.2.2
.Apri il file
krb5.conf
.sudo vim /etc/krb5.conf
Nel file, sostituisci il parametro
KDC
e il parametroadmin_server
esistenti con l'indirizzo IP interno del cluster Dataproc.Ad esempio, l'utilizzo del valore dell'indirizzo IP dei passaggi precedenti è simile a questo output.
[realms] US-CENTRAL1-A.C.MY-PROJECT.INTERNAL = { kdc = 192.0.2.2 admin_server = 192.0.2.2 }
Carica il file
/etc/krb5.conf
dalla VM principale di Dataproc nel bucket Cloud Storage.gsutil cp /etc/krb5.conf gs://PATH_TO_KRB5
Sostituisci:
PATH_TO_KRB5
: l'URI Cloud Storage che contiene il filekrb5.conf
.
Al termine del caricamento, copia il relativo percorso. Devi utilizzarlo quando crei il servizio Dataproc Metastore.
Concedi ruoli e autorizzazioni IAM
Fornire all'account di servizio Dataproc Metastore l'autorizzazione per accedere al file keytab. Questo account è gestito da Google ed è elencato nella pagina dell'interfaccia utente delle autorizzazioni IAM selezionando Includi concessioni di ruoli fornite da Google.
gcloud projects add-iam-policy-binding PROJECT_ID \ --member serviceAccount:service-PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com \ --role roles/secretmanager.secretAccessor
Fornisci all'account di servizio Dataproc Metastore l'autorizzazione per accedere al file
krb5.conf
.gcloud projects add-iam-policy-binding PROJECT_ID \ --member serviceAccount:service-PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com \ --role roles/storage.objectViewer
Crea un servizio Dataproc Metastore con Kerberos
Crea un nuovo servizio Dataproc Metastore configurato con i tuoi file Kerberos.
Assicurati di creare il servizio nella rete VPC come cluster Dataproc.
gcloud metastore services create SERVICE \ --location=LOCATION \ --instance-size=medium \ --network=VPC_NETWORK \ --kerberos-principal=KERBEROS_PRINCIPAL \ --krb5-config=KRB5_CONFIG \ --keytab=CLOUD_SECRET
Sostituisci quanto segue:
SERVICE
: il nome del servizio Dataproc Metastore.LOCATION
: la località del servizio Dataproc Metastore.VPC_NETWORK
:il nome della tua rete VPC. Utilizza la stessa rete configurata nel cluster Dataproc.KERBEROS_PRINCIPAL
: il nome dell'entità kerberos creato in precedenza.KRB5_CONFIG
: la posizione del filekrb5.config
. Utilizza l'URI dell'oggetto Cloud Storage che rimanda al tuo file.CLOUD_SECRET
: il nome relativo della risorsa di una versione del secret di Secret Manager.
Dopo aver creato il cluster, Dataproc Metastore tenta di connettersi
con le tue credenziali Kerberos utilizzando il file principal, keytab e krb5.conf
fornito. Se la connessione non va a buon fine, anche la creazione di Dataproc Metastore non riesce.
Collega il cluster Dataproc a Dataproc Metastore
Dopo aver creato il servizio Dataproc Metastore, trova l'URI dell'endpoint di Thhrift e la directory dei magazzini.
Accedi tramite SSH all'istanza principale del cluster Dataproc.
Nella sessione SSH, apri il file
/etc/hive/conf/hive-site.xml
.sudo vim /etc/hive/conf/hive-site.xml
Modifica
/etc/hive/conf/hive-site.xml
sul cluster Dataproc.<property> <name>hive.metastore.uris</name> <!-- Update this value. --> <value>ENDPOINT_URI</value> </property> <!-- Add this property entry. --> <property> <name>hive.metastore.warehouse.dir</name> <value>WAREHOUSE_DIR</value> </property>
Riavvia HiveServer2:
sudo systemctl restart hive-server2.service
Configurazione di Dataproc prima di inviare i job
Per eseguire i job Dataproc, devi aggiungere l'utente hive
alla proprietà allowed.system.users
nel file Hadoop container-executor.cfg
. Ciò consente agli utenti di eseguire query per accedere ai dati,
come select * from
.
Nella sessione SSH, apri il file
container-executor.cfg
di Hadoop.sudo vim /etc/hadoop/conf/container-executor.cfg
Aggiungi la seguente riga su ogni nodo Dataproc.
allowed.system.users=hive
Acquista un biglietto kerberos
Scarica il ticket kerberos prima di connetterti all'istanza Dataproc Metastore.
sudo klist -kte /etc/security/keytab/metastore.service.keytab sudo kinit -kt /etc/security/keytab/metastore.service.keytab PRINCIPAL_NAME sudo klist # gets the ticket information. sudo hive
Sostituisci quanto segue:
PRINCIPAL_NAME
: il nome dell'entità.