Atualizar um serviço do metastore do Dataproc

Nesta página, explicamos como atualizar um serviço do Dataproc Metastore.

É possível atualizar o serviço do Metastore do Dataproc para mudar as configurações ou ativar ou desativar recursos opcionais.

Antes de começar

Funções exigidas

Para receber a permissão necessária para atualizar um serviço do Dataproc Metastore, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto, com base no princípio do privilégio mínimo:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém a permissão metastore.services.update, que é necessária para atualizar um serviço da Metastore do Dataproc.

Também é possível conseguir essa permissão com papéis personalizados ou outros papéis predefinidos.

Para mais informações sobre papéis e permissões específicos do Dataproc Metastore, consulte Visão geral do IAM do Dataproc Metastore.

Sobre a atualização de um serviço

É possível atualizar os seguintes parâmetros do Metastore do Dataproc.

  • Número da porta. Atualize o número da porta TCP da interface do Apache Thrift.
  • Nível de serviço. Alterne entre o nível de serviço Desenvolvimento ou Empresa. Esses níveis influenciam a capacidade do serviço.
  • Sincronização do Data Catalog. Ative ou desative o recurso de sincronização do Data Catalog.
  • Janela de manutenção. Mude a frequência da janela de manutenção, incluindo Dia da semana e Hora do dia.
  • Kerberos Ative ou desative a autenticação Kerberos. Se já estiver ativado, você poderá atualizar seus arquivos de configuração do Kerberos.
  • Configurações do metastore do Hive. Atualize o local do diretório do warehouse do Hive.
  • Configuração da versão auxiliar (pré-lançamento). Ative, desative ou adicione outras versões auxiliares.
  • Rótulos. Adicione ou remova rótulos opcionais que descrevem seus metadados.
  • Fator de escalonamento. Mude o fator de escalonamento. É possível ativar ou desativar o escalonamento automático e atualizar os fatores de escalonamento mínimo ou máximo.

Atualizar um serviço

Antes de executar uma atualização, observe as seguintes considerações:

  • Só é possível executar um único job de atualização por vez (para cada serviço do metastore do Dataproc).
  • É possível atualizar vários parâmetros em um único job de atualização.
  • Você ainda pode usar a metastore do Dataproc enquanto ela está sendo atualizada.

Quando a atualização é bem-sucedida, o Dataproc Metastore entra automaticamente em um estado ativo. Se a atualização falhar, o serviço do metastore do Dataproc será revertido para o estado íntegro anterior.

As instruções a seguir mostram como atualizar um serviço do metastore do Dataproc.

Console

  1. No console do Google Cloud, abra a página Metastore do Dataproc:

    Metastore do Dataproc aberta

  2. Na página Metastore do Dataproc, clique no nome do serviço do serviço que você quer atualizar.

    A página Detalhes do serviço é aberta.

    Página de detalhes do serviço
    Página de detalhes do serviço do Dataproc Metastore

  3. Na guia Configuração, clique em Editar.

    A página Editar serviço é aberta.

  4. Escolha os valores que você quer atualizar para o serviço.

  5. Clique em Enviar.

    Volte para a página Metastore do Dataproc e Verifique se o serviço foi atualizado.

CLI da gcloud

  1. Para atualizar um serviço, execute o comando gcloud metastore services update a seguir:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    Substitua:

    • SERVICE: o nome do serviço do metastore do Dataproc.
    • LOCATION: a região do Google Cloud em que o serviço do metastore do Dataproc reside.
    • PORT: opcional: a porta TCP da interface Thrift que você está usando com o serviço do metastore do Dataproc.
    • TIER: opcional: a capacidade do nível do seu serviço Metastore do Dataproc.
    • MAINTENANCE_WINDOW_DAY (opcional): o dia da semana em que a janela do serviço será iniciada.
    • MAINTENANCE_WINDOW_HOUR (opcional): a hora do dia em que a janela do serviço será iniciada.
    • KERBEROS_PRINCIPAL: opcional: um princípio Kerberos que existe na guia key e no KDC. Um princípio típico é o formato "primary/instance@REALM", mas não há um formato exato.
    • KEYTAB: opcional: um arquivo keytab Kerberos que é usado para autenticar um principal de serviço com um centro de distribuição de chaves do Kerberos.
    • KRB5_CONFIG (opcional): o arquivo krb5.config especifica as informações de domínio do KDC e do Kerberos, que incluem locais de KDCs e padrões para os aplicativos real e Kerberos.
    • [KEY, ...] (opcional): o metastore Hive configurações que você quer atualizar. Se uma variável existir nesse campo, o valor dela será atualizado. Caso contrário, uma nova variável será criada. Se esta sinalização for definida, -clear-hive-metastore-configs será também são definidos automaticamente.
    • [KEY, ...]: opcional: as configurações do metastore do Hive que você quer remover.
    • [KEY=VALUE, ...]: opcional: os rótulos ou as configurações de par de chave-valor do metastore do Hive que você quer atualizar.
    • [KEY, ...] (opcional): os rótulos ou Configurações do par de chave-valor do metastore Hive que você quer remover.

  2. Verifique se a atualização foi concluída.

REST

Siga as instruções da API para atualizar um serviço usando o APIs Explorer.

Atualizar a configuração do warehouse do Hive Metastore

Se o diretório do armazenamento do Hive estiver no Cloud Storage, defina uma substituição de configuração do Metastore. Essa substituição define o armazenamento de dados específico como o diretório de armazenamento padrão do metastore do Dataproc.

Antes de definir essa substituição, verifique se o serviço Metastore do Dataproc tem permissões de leitura e gravação de objetos para acessar o diretório do warehouse. Saiba mais em Diretório de armazenamento do Hive.

As instruções a seguir mostram como atualizar uma substituição de configuração do Hive Metastore.

Console

  1. No console do Google Cloud, abra a página do metastore do Dataproc:

    Abra o metastore do Dataproc

  2. Na página Metastore do Dataproc, clique no nome do serviço que você quer atualizar.

    A página Detalhes do serviço é aberta.

  3. Na guia Configuração, clique em Editar.

    A página Editar serviço é aberta.

  4. Em Substituições de configuração do Metastore, insira o seguinte:

    • Chave: insira o seguinte valor: hive.metastore.warehouse.dir.
    • Valor: o local do Cloud Storage do diretório do warehouse. Por exemplo: gs://my-bucket/path/to/location.

  5. Clique em Enviar.

    Volte para a página Metastore do Dataproc e verifique se o serviço foi atualizado.

gcloud

  1. Para atualizar um serviço, execute o comando gcloud metastore services update a seguir:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    Substitua:

    • SERVICE: o nome do serviço do metastore do Dataproc.
    • LOCATION: a região do Google Cloud em que o serviço do metastore do Dataproc reside.
    • CUSTOMER_DIR: o local do Cloud Storage do diretório do warehouse. Por exemplo: gs://my-bucket/path/to/location

  2. Verifique se a atualização foi concluída.

A seguir