Atualizar um serviço do Dataproc Metastore

Esta página explica como atualizar um serviço do metastore do Dataproc.

É possível atualizar o serviço do Metastore do Dataproc para mudar as configurações ou ativar ou desativar recursos opcionais.

Antes de começar

Funções exigidas

Para receber a permissão necessária para atualizar um serviço da Metastore do Dataproc, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto com base no princípio de privilégio mínimo:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém a permissão metastore.services.update, que é necessária para atualizar um serviço da Dataproc Metastore.

Também é possível conseguir essa permissão com papéis personalizados ou outros papéis predefinidos.

Para mais informações sobre papéis e permissões específicos do Dataproc Metastore, consulte Visão geral do IAM do Dataproc Metastore.

Sobre a atualização de um serviço

É possível atualizar os seguintes parâmetros do Metastore do Dataproc.

  • Número da porta. Atualize o número da porta TCP da interface Apache Thrift.
  • Nível de serviço. Alterne entre o nível de serviço Desenvolvimento ou Empresa. Essas camadas influenciam a capacidade do serviço.
  • Sincronização do Data Catalog. Ative ou desative o recurso de sincronização do Data Catalog.
  • Janela de manutenção. Mude a frequência da janela de manutenção, incluindo o dia da semana e a hora do dia.
  • Kerberos. Ative ou desative a autenticação Kerberos. Se a opção já estiver ativada, você poderá atualizar seus arquivos de configuração do Kerberos.
  • Configurações do metastore do Hive. Atualize o local do diretório do armazém do Hive.
  • Configuração da versão auxiliar (Visualização). Ative, desative ou adicione outras versões auxiliares.
  • Rótulos. Adicione ou remova rótulos opcionais que descrevem seus metadados.
  • Fator de escalonamento. Mude o fator de escalonamento. É possível ativar ou desativar o escalonamento automático e atualizar os fatores de escalonamento mínimo ou máximo.

Atualizar um serviço

Antes de executar uma atualização, observe as seguintes considerações:

  • Só é possível executar um único job de atualização por vez (para cada serviço do metastore do Dataproc).
  • É possível atualizar vários parâmetros em um único job de atualização.
  • Você ainda pode usar a metastore do Dataproc enquanto ela está sendo atualizada.

Quando a atualização é bem-sucedida, o Dataproc Metastore entra automaticamente em um estado ativo. Se a atualização falhar, o serviço do metastore do Dataproc será revertido para o estado íntegro anterior.

As instruções a seguir mostram como atualizar um serviço do metastore do Dataproc.

Console

  1. No console do Google Cloud, abra a página Metastore do Dataproc:

    Metastore do Dataproc aberta

  2. Na página Metastore do Dataproc, clique no nome do serviço que você quer atualizar.

    A página Detalhes do serviço é aberta.

    Página de detalhes do serviço
    A página de detalhes do serviço do metastore do Dataproc

  3. Na guia Configuração, clique em Editar.

    A página Editar serviço é aberta.

  4. Escolha os valores que você quer atualizar para o serviço.

  5. Clique em Enviar.

    Volte para a página Metastore do Dataproc e verifique se o serviço foi atualizado.

CLI da gcloud

  1. Para atualizar um serviço, execute o comando gcloud metastore services update a seguir:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    Substitua:

    • SERVICE: o nome do serviço do metastore do Dataproc.
    • LOCATION: a região do Google Cloud em que o serviço do Dataproc Metastore está localizado.
    • PORT: opcional: a porta TCP da interface Thrift que você está usando com o serviço do metastore do Dataproc.
    • TIER: opcional: a capacidade do nível do serviço do metastore do Dataproc.
    • MAINTENANCE_WINDOW_DAY: opcional: o dia da semana em que a janela de serviço começa.
    • MAINTENANCE_WINDOW_HOUR: opcional: a hora do dia em que a janela de serviço começa.
    • KERBEROS_PRINCIPAL: opcional: um princípio Kerberos que existe na guia key e no KDC. Um princípio típico é o formato "primary/instance@REALM", mas não há um formato exato.
    • KEYTAB: opcional: um arquivo keytab Kerberos que é usado para autenticar um principal de serviço com um centro de distribuição de chaves do Kerberos.
    • KRB5_CONFIG (opcional): o arquivo krb5.config especifica as informações de domínio do KDC e do Kerberos, que incluem locais de KDCs e padrões para os aplicativos real e Kerberos.
    • [KEY, ...]: opcional: as configurações do metastore do Hive que você quer atualizar. Se uma variável existir nesse campo, o valor dela será atualizado. Caso contrário, uma nova variável será criada. Se essa flag for definida, -clear-hive-metastore-configs também será definido automaticamente.
    • [KEY, ...]: opcional: as configurações do metastore do Hive que você quer remover.
    • [KEY=VALUE, ...]: opcional: os rótulos ou as configurações de par de chave-valor do metastore do Hive que você quer atualizar.
    • [KEY, ...]: opcional: os rótulos ou as configurações de par de chave-valor do metastore do Hive que você quer remover.

  2. Verifique se a atualização foi concluída.

REST

Siga as instruções da API para atualizar um serviço usando o APIs Explorer.

Atualizar a configuração do depósito do metastore do Hive

Se o diretório do armazenamento do Hive estiver no Cloud Storage, defina uma substituição de configuração do Metastore. Essa substituição define o data warehouse específico como o diretório de armazenamento padrão do metastore do Dataproc.

Antes de definir essa substituição, verifique se o serviço Metastore do Dataproc tem permissões de leitura e gravação de objeto para acessar o diretório do armazenamento. Saiba mais em Diretório de armazenamento do Hive.

As instruções a seguir mostram como atualizar uma substituição de configuração do metastore do Hive.

Console

  1. No console do Google Cloud, abra a página Metastore do Dataproc:

    Metastore do Dataproc aberta

  2. Na página Metastore do Dataproc, clique no nome do serviço que você quer atualizar.

    A página Detalhes do serviço é aberta.

  3. Na guia Configuração, clique em Editar.

    A página Editar serviço é aberta.

  4. Nas Substituições de configuração do metastore, insira o seguinte:

    • Chave: insira o seguinte valor: hive.metastore.warehouse.dir.
    • Valor: o local do Cloud Storage do diretório do armazém. Por exemplo: gs://my-bucket/path/to/location.

  5. Clique em Enviar.

    Volte para a página Metastore do Dataproc e verifique se o serviço foi atualizado.

gcloud

  1. Para atualizar um serviço, execute o comando gcloud metastore services update a seguir:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    Substitua:

    • SERVICE: o nome do serviço do metastore do Dataproc.
    • LOCATION: a região do Google Cloud em que o serviço do Dataproc Metastore está localizado.
    • CUSTOMER_DIR: o local do Cloud Storage do diretório do armazém. Por exemplo: gs://my-bucket/path/to/location

  2. Verifique se a atualização foi concluída.

A seguir