Puoi installare componenti aggiuntivi come Ranger quando crei un cluster Dataproc utilizzando la funzionalità Componenti facoltativi. In questa pagina viene descritto il componente Ranger.
Il componente Apache Ranger
è un framework open source per gestire autorizzazioni e audit per l'ecosistema
Hadoop. Il server di amministrazione Ranger e la UI web sono disponibili sulla porta 6080
del primo nodo master del cluster.
Vedi anche:
Installa il componente
Installa il componente quando crei un cluster Dataproc. I componenti possono essere aggiunti ai cluster creati con Dataproc versione 1.3 e successive. Il componente Ranger richiede l'installazione del componente Solr come mostrato di seguito.
Consulta Versioni Dataproc supportate per la versione dei componenti inclusa in ogni release di immagini Dataproc.
Procedura di installazione:
Configura la tua password di amministratore per il ranger:
- Concedi il ruolo Autore crittografia/decrittografia CryptoKey Cloud KMS all'account di servizio del cluster. Per impostazione predefinita, l'account di servizio del cluster è impostato come account di servizio predefinito di Compute Engine, che ha il seguente formato:
project-number-compute@developer.gserviceaccount.com
Puoi specificare un account di servizio del cluster diverso di seguito quando crei il cluster.- Esempio:
Concedi il ruolo Autore crittografia/decrittografia CryptoKey Cloud KMS all'account di servizio predefinito di Compute Engine:
gcloud projects add-iam-policy-binding project-id \ --member=serviceAccount:project-number-compute@developer.gserviceaccount.com \ --role=roles/cloudkms.cryptoKeyDecrypter
- Esempio:
Concedi il ruolo Autore crittografia/decrittografia CryptoKey Cloud KMS all'account di servizio predefinito di Compute Engine:
- Cripta la password dell'utente amministratore di Ranger utilizzando una chiave Key Management Service (KMS).
Per i cluster delle versioni delle immagini precedenti alla 2.2, la password deve essere composta da almeno
8 caratteri, con almeno un carattere alfabetico e un carattere numerico. Per
i cluster della versione delle immagini 2.2 e successive, la password deve essere composta da almeno
8 caratteri, con almeno una lettera maiuscola, una lettera minuscola
e un carattere numerico.
- Esempio:
- Crea il keyring:
gcloud kms keyrings create my-keyring --location=global
- Crea la chiave:
gcloud kms keys create my-key \ --location=global \ --keyring=my-keyring \ --purpose=encryption
- Cripta la password dell'utente amministratore di Ranger:
echo "my-ranger-admin-password" | \ gcloud kms encrypt \ --location=global \ --keyring=my-keyring \ --key=my-key \ --plaintext-file=- \ --ciphertext-file=admin-password.encrypted
- Crea il keyring:
- Esempio:
- Carica la password criptata in un bucket Cloud Storage del tuo progetto.
- Esempio:
gsutil cp admin-password.encrypted gs://my-bucket
- Esempio:
- Concedi il ruolo Autore crittografia/decrittografia CryptoKey Cloud KMS all'account di servizio del cluster. Per impostazione predefinita, l'account di servizio del cluster è impostato come account di servizio predefinito di Compute Engine, che ha il seguente formato:
Crea il tuo cluster:
- Quando installi il componente Ranger, è necessario installare anche il
componente Solr, come mostrato di seguito.
- Il componente Ranger si basa sul componente Solr per archiviare ed eseguire query
sugli audit log, che per impostazione predefinita utilizzano HDFS come spazio di archiviazione. Questi dati HDFS vengono eliminati quando viene eliminato il cluster. Per configurare il componente Solr per archiviare dati, inclusi gli audit log Ranger, su Cloud Storage, utilizza la
dataproc:solr.gcs.path=gs://<bucket>
proprietà cluster quando crei il cluster. I dati di Cloud Storage persistono dopo l'eliminazione del cluster.
- Il componente Ranger si basa sul componente Solr per archiviare ed eseguire query
sugli audit log, che per impostazione predefinita utilizzano HDFS come spazio di archiviazione. Questi dati HDFS vengono eliminati quando viene eliminato il cluster. Per configurare il componente Solr per archiviare dati, inclusi gli audit log Ranger, su Cloud Storage, utilizza la
- Passa la chiave e la password KMS e gli URI Cloud Storage al comando di creazione del cluster impostando le proprietà del cluster
dataproc:ranger.kms.key.uri
edataproc:ranger.admin.password.uri
. - Facoltativamente, puoi passare la password dell'utente amministratore del database Ranger tramite un URI criptato del file di Cloud Storage impostando la proprietà del cluster
dataproc:ranger.db.admin.password.uri
. - Per impostazione predefinita, il componente Ranger utilizza l'istanza del database MySQL in esecuzione sul primo nodo master del cluster. Nell'istanza MySQL, abilita il flag
log_bin_trust_function_creators
impostando la variabile suON
. L'impostazione di questo flag consente di stabilire se i creatori delle funzioni memorizzate possono essere considerati attendibili. Dopo la creazione del cluster e la configurazione Ranger, puoi reimpostarelog_bin_trust_function_creators
suOFF
. Per rendere permanente il database Ranger dopo l'eliminazione del cluster, utilizza un'istanza Cloud SQL come database MySql esterno.
- Imposta la proprietà cluster
dataproc:ranger.cloud-sql.instance.connection.name
sull'istanza Cloud SQL. - Imposta la proprietà cluster
dataproc:ranger.cloud-sql.root.password.uri
sull'URI Cloud Storage della password root criptata con la chiave KMS dell'istanza Cloud SQL. - Imposta la proprietà del cluster
dataproc:ranger.cloud-sql.use-private-ip
per indicare se la connessione all'istanza Cloud SQL è su IP privato.
Il componente Ranger utilizza il proxy Cloud SQL per connettersi all'istanza Cloud SQL. Per utilizzare il proxy:
- Imposta l'ambito API
sqlservice.admin
quando crei il cluster (vedi Autorizzazione delle richieste con OAuth 2.0). Se utilizzi il comandogcloud dataproc cluster create
, aggiungi il parametro--scopes=default,sql-admin
. - Abilita l'API SQL Admin nel tuo progetto.
- Assicurati che l'account di servizio del cluster abbia il ruolo Editor Cloud SQL.
Comando g-cloud
Per creare un cluster Dataproc che includa il componente Ranger, utilizza il comando gcloud dataproc clusters create cluster-name con il flag
--optional-components
.gcloud dataproc clusters create cluster-name \ --optional-components=SOLR,RANGER \ --region=region \ --enable-component-gateway \ --properties="dataproc:ranger.kms.key.uri=projects/project-id/locations/global/keyRings/my-keyring/cryptoKeys/my-key,dataproc:ranger.admin.password.uri=gs://my-bucket/admin-password.encrypted" \ ... other flags
API REST
Specifica i componenti Ranger e Solr nel campo SoftwareConfig.Component come parte di una richiesta clusters.create dell'API Dataproc. Devi anche impostare le seguenti proprietà del cluster nel campo SoftwareConfig.Component.properties:
dataproc:ranger.kms.key.uri
: "projects/project-id/locations/global/keyRings/my-keyring/cryptoKeys/my-key"dataproc:ranger.admin.password.uri
: "gs://my-bucket/password-amministratore.criptati"
Console
- Attiva il componente e il gateway dei componenti.
- Nella console Google Cloud, apri la pagina Crea un cluster di Dataproc. Il riquadro Configura cluster è selezionato.
- Nella sezione Componenti:
- In Componenti facoltativi, seleziona Ranger, Solr e altri componenti facoltativi da installare sul cluster.
- In Gateway dei componenti, seleziona Abilita gateway dei componenti (vedi Visualizzazione e accesso agli URL del gateway dei componenti).
- Imposta la proprietà cluster
- Quando installi il componente Ranger, è necessario installare anche il
componente Solr, come mostrato di seguito.
Fai clic sulla scheda Interfacce web. In Gateway dei componenti, fai clic su Ranger per aprire l'interfaccia web di Ranger. Accedi con il nome utente e la password dell'amministratore Ranger, ad esempio "admin".
Log amministratore Ranger
I log di amministrazione dei ranger sono disponibili in
Logging come log ranger-admin-root
.