Atualize um serviço de Metastore do Dataproc

Esta página explica como atualizar um serviço do Dataproc Metastore.

Pode atualizar o serviço Dataproc Metastore para alterar as definições de configuração ou ativar ou desativar funcionalidades opcionais.

Antes de começar

Funções necessárias

Para receber a autorização de que precisa para atualizar um serviço do Dataproc Metastore, peça ao seu administrador que lhe conceda as seguintes funções do IAM no seu projeto, com base no princípio do menor privilégio:

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Esta função predefinida contém a autorização metastore.services.update, que é necessária para atualizar um serviço do Dataproc Metastore.

Também pode obter esta autorização com funções personalizadas ou outras funções predefinidas.

Para mais informações sobre as funções e as autorizações específicas do Dataproc Metastore, consulte a vista geral do IAM do Dataproc Metastore.

Acerca da atualização de um serviço

Pode atualizar os seguintes parâmetros do Dataproc Metastore.

  • Número da porta. Atualize o número da porta TCP da interface Apache Thrift.
  • Nível de serviço. Alternar entre o nível de serviço Developer ou Enterprise. Estes níveis influenciam a capacidade do serviço.
  • Sincronização do catálogo de dados. Ative ou desative a funcionalidade de sincronização do catálogo de dados.
  • Período de manutenção. Altere a frequência do período de manutenção, incluindo o dia da semana e a hora do dia.
  • Kerberos. Ative ou desative a autenticação Kerberos. Se tiver sido ativada anteriormente, pode atualizar os ficheiros de configuração do Kerberos.
  • Configurações da metastore do Hive. Atualize a localização do diretório do armazém do Hive.
  • Configuração da versão auxiliar (pré-visualização). Ative, desative ou adicione versões auxiliares adicionais.
  • Etiquetas. Adicione ou remova etiquetas opcionais que descrevem os seus metadados.
  • Fator de escalabilidade. Altere o fator de escalabilidade. Pode ativar ou desativar o ajuste de escala automático e atualizar os fatores de ajuste de escala mínimo ou máximo.

Atualize um serviço

Antes de executar uma atualização, tenha em atenção as seguintes considerações:

  • Só pode executar uma tarefa de atualização de cada vez (para cada serviço do Dataproc Metastore).
  • Pode atualizar vários parâmetros num único trabalho de atualização.
  • Pode continuar a usar o Dataproc Metastore enquanto está a ser atualizado.

Quando a atualização é bem-sucedida, o Dataproc Metastore entra automaticamente num estado ativo. Se a atualização falhar, o serviço Dataproc Metastore reverte para o estado de funcionamento anterior.

As instruções seguintes mostram como atualizar um serviço do Dataproc Metastore.

Consola

  1. Na Google Cloud consola, abra a página Dataproc Metastore:

    Abra o Dataproc Metastore

  2. Na página Dataproc Metastore, clique no nome do serviço do serviço que quer atualizar.

    É apresentada a página Detalhes do serviço.

    Página de detalhes do serviço
    A página de detalhes do serviço Dataproc Metastore

  3. No separador Configuração, clique em Editar.

    É apresentada a página Editar serviço.

  4. Escolha os valores que quer atualizar para o seu serviço.

  5. Clique em Enviar.

    Regresse à página Dataproc Metastore e verifique se o serviço foi atualizado com êxito.

CLI gcloud

  1. Para atualizar um serviço, execute o seguinte comando gcloud metastore services update:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    Substitua o seguinte:

    • SERVICE: o nome do seu serviço Dataproc Metastore.
    • LOCATION: a Google Cloud região onde reside o seu serviço Dataproc Metastore.
    • PORT: opcional: a porta TCP da interface Thrift que está a usar com o seu serviço Dataproc Metastore.
    • TIER: opcional: a capacidade do nível do seu serviço Dataproc Metastore.
    • MAINTENANCE_WINDOW_DAY: Opcional: o dia da semana em que a janela de serviço começa.
    • MAINTENANCE_WINDOW_HOUR: Opcional: a hora do dia em que a janela de serviço começa.
    • KERBEROS_PRINCIPAL: Opcional: um principal do Kerberos que existe no keytab e no KDC. Um principal típico tem o formato "primary/instance@REALM", mas não existe um formato exato.
    • KEYTAB: Opcional: um ficheiro keytab do Kerberos que é usado para autenticar um nome principal do serviço com um centro de distribuição de chaves do Kerberos.
    • KRB5_CONFIG: Opcional: o ficheiro krb5.config especifica o KDC e as informações do domínio do Kerberos, que incluem localizações de KDCs e predefinições para o domínio e as aplicações do Kerberos.
    • [KEY, ...]: Opcional: as configurações do metastore do Hive que quer atualizar. Se existir uma variável neste campo, o respetivo valor é atualizado. Caso contrário, é criada uma nova variável. Se esta flag estiver definida, a flag -clear-hive-metastore-configs também é definida automaticamente.
    • [KEY, ...]: Opcional: as configurações do Hive metastore que quer remover.
    • [KEY=VALUE, ...]: opcional: as etiquetas ou as configurações de pares de chaves-valores do Hive metastore que quer atualizar.
    • [KEY, ...]: Opcional: as etiquetas ou as configurações de pares de chave-valor do Hive metastore que quer remover.

  2. Verifique se a atualização foi bem-sucedida.

REST

Siga as instruções da API para atualizar um serviço através do APIs Explorer.

Atualize a configuração do armazém do Hive Metastore

Se o diretório do armazém do Hive estiver no Cloud Storage, deve definir uma substituição da configuração do Metastore. Esta substituição define o seu armazém de dados específico como o diretório do armazém predefinido para o Dataproc Metastore

Antes de definir esta substituição, certifique-se de que o serviço de Metastore do Dataproc tem autorizações de leitura e escrita de objetos para aceder ao diretório do data warehouse. Para mais informações, consulte o artigo Diretório do armazém de dados do Hive.

As instruções seguintes mostram como atualizar uma substituição da configuração do Hive Metastore.

Consola

  1. Na Google Cloud consola, abra a página Dataproc Metastore:

    Abra o Dataproc Metastore

  2. Na página Dataproc Metastore, clique no nome do serviço que quer atualizar.

    É apresentada a página Detalhes do serviço.

  3. No separador Configuração, clique em Editar.

    É apresentada a página Editar serviço.

  4. Em Substituições da configuração do metastore, introduza o seguinte:

    • Chave: introduza o seguinte valor: hive.metastore.warehouse.dir.
    • Valor: a localização do Cloud Storage do diretório do armazém. Por exemplo: gs://my-bucket/path/to/location.

  5. Clique em Enviar.

    Regresse à página Dataproc Metastore e verifique se o serviço foi atualizado com êxito.

gcloud

  1. Para atualizar um serviço, execute o seguinte comando gcloud metastore services update:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    Substitua o seguinte:

    • SERVICE: o nome do seu serviço Dataproc Metastore.
    • LOCATION: a Google Cloud região onde reside o seu serviço Dataproc Metastore.
    • CUSTOMER_DIR: a localização do Cloud Storage do diretório do armazém. Por exemplo: gs://my-bucket/path/to/location

  2. Verifique se a atualização foi bem-sucedida.

O que se segue?