Atualizar um serviço do Dataproc Metastore

Nesta página, explicamos como atualizar um serviço Metastore do Dataproc.

Você pode atualizar o serviço Metastore do Dataproc para alterar as definições de configuração ou ativar ou desativar recursos opcionais.

Antes de começar

Funções exigidas

Para conseguir a permissão necessária para atualizar um serviço do Dataproc Metastore, peça ao administrador para conceder a você os seguintes papéis do IAM no seu projeto, com base no princípio de privilégio mínimo:

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Esse papel predefinido contém a permissão metastore.services.update, que é necessária para atualizar um serviço do Dataproc Metastore.

Talvez você também consiga essa permissão com papéis personalizados ou outros papéis predefinidos.

Para mais informações sobre permissões e papéis específicos do metastore do Dataproc, consulte Visão geral do IAM do metastore do Dataproc.

Sobre a atualização de um serviço

É possível atualizar os seguintes parâmetros do Metastore do Dataproc.

  • Número da porta. Atualize o número da porta TCP da interface do Apache Thrift.
  • Nível de serviço. Alterne entre o nível de serviço Desenvolvedor ou Empresarial. Esses níveis influenciam a capacidade do serviço.
  • Sincronização do Data Catalog. Ative ou desative o recurso de sincronização do Data Catalog.
  • Janela de manutenção. Altere a frequência da janela de manutenção, incluindo Dia da semana e Hora do dia.
  • Kerberos: Ative ou desative a autenticação do Kerberos. Se ativado anteriormente, você pode atualizar os arquivos de configuração do Kerberos.
  • Configurações do metastore do Hive. Atualize o local do seu diretório de warehouse do Hive.
  • Configuração da versão auxiliar: Ative, desative ou adicione outras versões auxiliares.
  • Marcadores. Adicione ou remova rótulos opcionais que descrevam seus metadados.

Atualizar um serviço

Antes de executar uma atualização, observe as seguintes considerações:

  • Só é possível executar um único job de atualização por vez para cada serviço do Dataproc Metastore.
  • É possível atualizar vários parâmetros em um único job de atualização.
  • O metastore do Dataproc ainda pode ser usado durante a atualização.

Quando a atualização é bem-sucedida, o metastore do Dataproc entra automaticamente no estado active. Se a atualização falhar, o serviço do metastore do Dataproc será revertido ao estado íntegro anterior.

As instruções a seguir mostram como atualizar um serviço do Dataproc Metastore.

Console

  1. No console do Google Cloud, abra a página Metastore do Dataproc:

    Abrir o metastore do Dataproc

  2. Na página Metastore do Dataproc, clique no nome do serviço que você quer atualizar.

    A página Detalhes do serviço é aberta.

    Página de detalhes do serviço
    Página de detalhes do serviço do Dataproc Metastore
  3. Na guia Configuração, clique em Editar.

    A página Editar serviço é aberta.

  4. Escolha os valores que você quer atualizar para o serviço.

  5. Clique em Enviar.

    Volte para a página Metastore do Dataproc e verifique se o serviço foi atualizado.

CLI da gcloud

  1. Para atualizar um serviço, execute o seguinte comando do gcloud metastore services update:

    gcloud metastore services update SERVICE \
        --location=LOCATION \
        --port=PORT \
        --tier=TIER \
        --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
        --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
        --kerberos_principal=KERBEROS_PRINCIPAL \
        --keytab=KEYTAB \
        --krb5-config=KRB5_CONFIG \
        --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
        --clear-hive-metastore-configs \
        --remove-hive-metastore-configs=[KEY, ...] \
        --update-labels=[KEY=VALUE, ...] \
        --clear-labels \
        --remove-labels=[KEY, ...]
    

    Substitua:

    • SERVICE: o nome do serviço do Metastore do Dataproc.
    • LOCATION: a região do Google Cloud em que o serviço Metastore do Dataproc reside.
    • PORT (opcional): a porta TCP da interface do Thrift que você está usando com o serviço Metastore do Dataproc.
    • TIER (opcional): a capacidade do nível do serviço Metastore do Dataproc.
    • MAINTENANCE_WINDOW_DAY (opcional): o dia da semana em que a janela de serviço começa.
    • MAINTENANCE_WINDOW_HOUR (opcional): a hora do dia em que a janela do serviço começa.
    • KERBEROS_PRINCIPAL (opcional): um principal do Kerberos que existe na keytab e no KDC. Um principal típico tem o formato "primary/instance@REALM", mas não há um formato exato.
    • KEYTAB (opcional): um arquivo keytab do Kerberos usado para autenticar um principal de serviço com um centro de distribuição de chave do Kerberos.
    • KRB5_CONFIG (opcional): o arquivo krb5.config especifica as informações de domínio do KDC e do Kerberos, que incluem locais de KDCs e padrões para os aplicativos real e Kerberos.
    • [KEY, ...] (opcional): as configurações do metastore do Hive que você quer atualizar. Se houver uma variável nesse campo, o valor dela será atualizado. Caso contrário, uma nova variável será criada. Se essa sinalização for definida, -clear-hive-metastore-configs também será definido automaticamente.
    • [KEY, ...] (opcional): as configurações do metastore do Hive que você quer remover.
    • [KEY=VALUE, ...] (opcional): os rótulos ou as configurações do par de chave-valor do metastore do Hive que você quer atualizar.
    • [KEY, ...] (opcional): os rótulos ou as configurações do par de chave-valor do metastore do Hive que você quer remover.
  2. Verifique se a atualização foi concluída.

REST

Siga as instruções da API para atualizar um serviço usando o APIs Explorer.

Atualizar a configuração do warehouse do Hive Metastore

Se o diretório de warehouse do Hive estiver no Cloud Storage, defina uma substituição da configuração do Metastore. Essa substituição define seu data warehouse específico como o diretório de armazenamento padrão do metastore do Dataproc.

Antes de definir essa substituição, verifique se o serviço Metastore do Dataproc tem permissões de leitura e gravação de objeto para acessar o diretório do warehouse. Saiba mais em Diretório de armazenamento do Hive.

As instruções a seguir mostram como atualizar uma substituição de configuração do Hive Metastore.

Console

  1. No console do Google Cloud, abra a página do metastore do Dataproc:

    Abrir o metastore do Dataproc

  2. Na página Metastore do Dataproc, clique no nome do serviço que quer atualizar.

    A página Detalhes do serviço é aberta.

  3. Na guia Configuração, clique em Editar.

    A página Editar serviço é aberta.

  4. Em Substituições de configuração do Metastore, insira o seguinte:

    • Chave: insira o seguinte valor: hive.metastore.warehouse.dir.
    • Valor: o local do diretório de warehouse no Cloud Storage. Por exemplo: gs://my-bucket/path/to/location.
  5. Clique em Enviar.

    Volte para a página Metastore do Dataproc e verifique se o serviço foi atualizado.

gcloud

  1. Para atualizar um serviço, execute o seguinte comando gcloud metastore services update:

    gcloud metastore services update SERVICE \
        --location=LOCATION \
        --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"
    

    Substitua:

    • SERVICE: o nome do serviço do Metastore do Dataproc.
    • LOCATION: a região do Google Cloud em que o serviço Metastore do Dataproc reside.
    • CUSTOMER_DIR: o local do diretório de warehouse no Cloud Storage. Por exemplo: gs://my-bucket/path/to/location
  2. Verifique se a atualização foi concluída.

A seguir