Nesta página, explicamos como atualizar um serviço Metastore do Dataproc.
É possível atualizar o serviço Metastore do Dataproc para alterar as definições de configuração ou ativar ou desativar recursos opcionais.
Antes de começar
Funções exigidas
Para ter a permissão necessária para atualizar um serviço Metastore do Dataproc, peça ao administrador para conceder a você os seguintes papéis do IAM no seu projeto, com base no princípio de privilégio mínimo:
-
Conceder controle total dos recursos do metastore do Dataproc (
roles/metastore.editor
) -
Conceder acesso total a todos os recursos do metastore do Dataproc, incluindo a administração de políticas do IAM (
roles/metastore.admin
)
Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.
Esse papel predefinido contém a
permissão metastore.services.update
, que é
necessária para atualizar um serviço Metastore do Dataproc.
Também é possível conseguir essa permissão com papéis personalizados ou outros papéis predefinidos.
Para mais informações sobre permissões e papéis específicos do metastore do Dataproc, consulte Visão geral do IAM do metastore do Dataproc.Sobre a atualização de um serviço
É possível atualizar os seguintes parâmetros do metastore do Dataproc.
- Número da porta: Atualize o número da porta TCP da interface do Apache Thrift.
- Nível de serviço. Alterne entre o nível de serviço Desenvolvedor ou Empresarial. Esses níveis influenciam a capacidade do serviço.
- Sincronização do Data Catalog. Ative ou desative o recurso de sincronização do Data Catalog.
- Janela de manutenção. Altere a frequência da janela de manutenção, incluindo Dia da semana e Hora do dia.
- Kerberos: Ativar ou desativar a autenticação do Kerberos. Você pode atualizar os arquivos de configuração do Kerberos, caso essa opção tenha sido ativada anteriormente.
- Configurações do metastore do Hive. Atualize o local do diretório de warehouse do Hive.
- Configuração da versão auxiliar (Prévia). Ative, desative ou adicione outras versões auxiliares.
- Marcadores. Adicione ou remova rótulos opcionais que descrevam seus metadados.
- Fator de escalonamento. Mude o fator de escalonamento. É possível ativar ou desativar o escalonamento automático e atualizar os fatores de escalonamento mínimo ou máximo.
Atualizar um serviço
Antes de executar uma atualização, observe as seguintes considerações:
- Você só pode executar um job de atualização por vez (para cada serviço Metastore do Dataproc).
- É possível atualizar vários parâmetros em um único job de atualização.
- O metastore do Dataproc ainda pode ser usado durante a atualização.
Se a atualização for bem-sucedida, o metastore do Dataproc entrará automaticamente em um estado ativo. Se a atualização falhar, o serviço Metastore do Dataproc será revertido ao estado íntegro anterior.
As instruções a seguir mostram como atualizar um serviço do Dataproc Metastore.
Console
No console do Google Cloud, abra a página Metastore do Dataproc:
Na página Metastore do Dataproc, clique no nome do serviço que você quer atualizar.
A página Detalhes do serviço é aberta.
Na guia Configuração, clique em Editar.
A página Editar serviço é aberta.
Escolha os valores que você quer atualizar para o serviço.
Clique em Enviar.
Volte para a página Metastore do Dataproc e verifique se o serviço foi atualizado.
CLI da gcloud
Para atualizar um serviço, execute o seguinte comando
gcloud metastore services update
:gcloud metastore services update SERVICE \ --location=LOCATION \ --port=PORT \ --tier=TIER \ --maintenance-window-day=MAINTENANCE_WINDOW_DAY \ --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \ --kerberos_principal=KERBEROS_PRINCIPAL \ --keytab=KEYTAB \ --krb5-config=KRB5_CONFIG \ --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \ --clear-hive-metastore-configs \ --remove-hive-metastore-configs=[KEY, ...] \ --update-labels=[KEY=VALUE, ...] \ --clear-labels \ --remove-labels=[KEY, ...]
Substitua:
SERVICE
: o nome do serviço Metastore do Dataproc.LOCATION
: a região do Google Cloud em que o serviço Metastore do Dataproc reside.PORT
(opcional): a porta TCP da interface do Thrift que você está usando com o serviço Metastore do Dataproc.TIER
(opcional): a capacidade do nível do serviço Metastore do Dataproc.MAINTENANCE_WINDOW_DAY
(opcional): o dia da semana em que a janela de serviço começa.MAINTENANCE_WINDOW_HOUR
(opcional): a hora do dia em que a janela de serviço é iniciada.KERBEROS_PRINCIPAL
(opcional): um principal do Kerberos que existe no keytab e no KDC. Um principal típico tem o formato "primary/instance@REALM", mas não há formato exato.KEYTAB
(opcional): um arquivo keytab do Kerberos usado para autenticar um principal de serviço com um centro de distribuição de chaves do Kerberos.KRB5_CONFIG
(opcional): o arquivo krb5.config especifica as informações de domínio do KDC e do Kerberos, que incluem locais de KDCs e padrões para os aplicativos real e Kerberos.[KEY, ...]
(opcional): as configurações do metastore do Hive que você quer atualizar. Se houver uma variável nesse campo, o valor dela será atualizado. Caso contrário, uma nova variável será criada. Se essa sinalização for definida,-clear-hive-metastore-configs
também será definido automaticamente.[KEY, ...]
(opcional): as configurações do metastore do Hive que você quer remover.[KEY=VALUE, ...]
(opcional): os rótulos ou as configurações de par de chave-valor do metastore do Hive que você quer atualizar.[KEY, ...]
(opcional): os rótulos ou as configurações de par de chave-valor do metastore do Hive que você quer remover.
Verifique se a atualização foi concluída.
REST
Siga as instruções da API para atualizar um serviço usando o APIs Explorer.
Atualizar a configuração do warehouse do metastore do Hive
Se o diretório de armazenamento do Hive estiver no Cloud Storage, será necessário definir uma modificação de configuração do Metastore. Essa substituição define seu data warehouse específico como o diretório de armazenamento padrão para o metastore do Dataproc.
Antes de definir essa substituição, verifique se o serviço Metastore do Dataproc tem permissões de leitura e gravação de objeto para acessar o diretório do warehouse. Saiba mais em Diretório de armazenamento do Hive.
As instruções a seguir mostram como atualizar uma substituição de configuração do metastore do Hive.
Console
No console do Google Cloud, abra a página Metastore do Dataproc:
Na página Metastore do Dataproc, clique no nome do serviço que quer atualizar.
A página Detalhes do serviço é aberta.
Na guia Configuração, clique em Editar.
A página Editar serviço é aberta.
Em Substituições de configuração do Metastore, insira o seguinte:
- Chave: insira o seguinte valor:
hive.metastore.warehouse.dir
. - Valor: o local do Cloud Storage do diretório de warehouse. Por
exemplo:
gs://my-bucket/path/to/location
.
- Chave: insira o seguinte valor:
Clique em Enviar.
Volte para a página Metastore do Dataproc e verifique se o serviço foi atualizado.
gcloud
Para atualizar um serviço, execute o seguinte comando
gcloud metastore services update
:gcloud metastore services update SERVICE \ --location=LOCATION \ --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"
Substitua:
SERVICE
: o nome do serviço Metastore do Dataproc.LOCATION
: a região do Google Cloud em que o serviço Metastore do Dataproc reside.CUSTOMER_DIR
: o local do Cloud Storage do diretório de warehouse. Por exemplo:gs://my-bucket/path/to/location
Verifique se a atualização foi concluída.