Ativar o armazenamento em cache
Nesta seção, listamos as etapas para ativar o armazenamento em cache com o Ranger e reduzir as idas e voltas do Ranger Key Management System (KMS) para criptografar e descriptografar tokens.
Instalar
memcached
nas VMs de cluster do Dataproc. Por padrão, o servidor Memcached é iniciado na porta da VM 11211 (localhost:11211
).sudo apt-get install -y memcached
Defina as propriedades a seguir no arquivo de configuração
/etc/dataproc-ranger-gcs-plugin/conf/ranger-gcs-site.xml
do Ranger nas VMs do cluster do Dataproc.<property> <name>authorization.service.remoteCaching.address</name> <value>localhost:11211</value> </property>
<property> <name>authorization.service.remoteCaching.class</name> <value>com.google.cloud.hadoop.ranger.gcs.authorization.caching.MemcachedCache</value> </property>
<property> <name>authorization.service.remoteCaching.encryption.key.uri</name> <value>gcp-kms://projects/PROJECT_ID_OF_KMS_KEY/locations/REGION/keyRings/KEYRING_NAME/cryptoKeys/KEY_NAME</value> </property>Reinicie o serviço de autorização.
sudo systemctl restart ranger-gcs-plugin-authorization-server
Ver status do cache
Você pode usar telnet
para ver o status de cache
do Ranger.
Instale
telnet
.sudo apt-get install -y telnet
Use o telnet para se conectar a
memcache
na porta11211
da VM.sudo telnet 127.0.0.1 11211
Use comandos
telnet
para ver o status do cache, incluindo estes:stats items
: lista o status dos itens em cache. Exemplo de resposta:STAT items:17:number 2 STAT items:17:number_hot 0 STAT items:17:number_warm 0 STAT items:17:number_cold 2
stats cachedump
: lista as chaves armazenadas no cache. Exemplo de resposta:stats cachedump 17 2 ITEM 0616eeeeb54e23a09505da5bf75cd7fafe733eacf0d07bd7b1ac9cf46d17c188 [3051 b; 1707948281 s] ITEM d23645df9c79290d59ddb1b9710ff04fee37aa0b5de866b9b6d56b54641d68b4 [3078 b; 1707948281 s]
flush_all
: invalida itens de cache.
Reduzir o escopo dos tokens de acesso do Cloud Storage
Talvez seja necessário diminuir o escopo dos tokens de acesso do Ranger para subir de escopo nos caminhos do Cloud Storage apontados por uma tabela externa do Hive.
Para mover todas as partições e subpartições para o nível da tabela, defina a propriedade downscope.table.partition-name.pruning.enabled
como true
no arquivo de configuração ranger-gcs-site.xml
nas VMs de cluster do Dataproc.
<property> <name>downscope.table.partition-name.pruning.enabled</name> <value>true</value> </property>
Exemplo:
- Nome do bucket do Cloud Storage:
gs://warehouse
- Caminho do token de acesso original:
warehouse/hive/table/type=debit/year=2017/month=Aug/day=01/
- Depois de definir
downscope.table.partition-name.pruning.enabled
comotrue
, o caminho do token de acesso com escopo definido:warehouse/hive/table/