Solução de problemas

Nesta página, explicamos vários cenários de erro e as etapas de solução de problemas.

Cenários de erros de conectividade e rede

Caso seu serviço apresente conectividade ou problemas de rede, verifique os cenários nesta seção para ver se um deles está causando o problema.

Falha na criação do serviço devido à restrição para restringir o peering de VPC

Não defina a restrição de política organizacional para restringir o peering de VPC. Especificar constraints/compute.restrictVpcPeering fará com que sua solicitação de criação falhe com um erro INVALID_ARGUMENT. Se você precisar definir a restrição, use o seguinte comando para permitir under:folders/270204312590:

gcloud resource-manager org-policies allow compute.restrictVpcPeering under:folders/270204312590 --organization ORGANIZATION_ID

Para mais informações, consulte Restrições da política da organização.

A implantação entre projetos falha quando a conta de serviço pode não existir

Para criar um serviço Metastore do Dataproc que possa ser acessado em uma rede pertencente a um projeto diferente daquele a que o serviço pertence, é preciso conceder roles/metastore.serviceAgent ao agente de serviço do metastore do Dataproc (service-SERVICE_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com) na política de IAM do projeto de rede.

gcloud projects add-iam-policy-binding NETWORK_PROJECT_ID \
    --role "roles/metastore.serviceAgent" \
    --member "serviceAccount:service-SERVICE_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com"

Para mais informações, consulte Como configurar uma implantação entre projetos.

É necessário ter um IP privado para a conectividade de rede

Como o Metastore do Dataproc usa apenas IP privado, nenhum IP público é exposto. Isso significa que somente VMs na rede de nuvem privada virtual (VPC) fornecida ou no local (conectada por meio de Cloud VPN ou Cloud Interconnect) podem acessar serviço Dataprocstore do Dataproc.

Para mais informações, consulte Como acessar um serviço.

Erro de conexão causado por recursos provisionados em redes VPC compartilhadas

Se o serviço metastore do Dataproc usa uma rede pertencente a um projeto diferente e o Compute Engine está protegido pelo perímetro de serviço, o projeto de metastore e o projeto de rede precisam estar no mesmo perímetro.

Para adicionar projetos do metastore do Dataproc ao perímetro, siga as instruções em Como atualizar um perímetro de serviço.

Para mais informações, consulte VPC Service Controls com o metastore do Dataproc.

O intervalo de IP alocado foi esgotado

A rede VPC fornecida pode acabar sem endereços RFC 1918 disponíveis exigidos pelos serviços do Metastore do Dataproc. Se isso acontecer, o Metastore do Dataproc tentará reservar intervalos de endereços IP particulares fora dos intervalos RFC 1918 para a criação do serviço. Consulte Intervalos válidos na documentação da rede VPC para ver uma lista de intervalos privados não RFC 1918 compatíveis.

Os endereços IP particulares não RFC 1918 usados no Metastore do Dataproc podem entrar em conflito com um intervalo em uma rede local conectada à rede VPC fornecida. Para verificar a lista de endereços IP particulares RFC 1918 e endereços IP não RFC 1918 reservados pelo Metastore do Dataproc:

gcloud compute addresses list \
    --project NETWORK_PROJECT_ID \
    --filter="purpose:VPC_PEERING AND name ~ cluster|resourcegroup"

Se um conflito for determinado e não puder ser atenuado ao reconfigurar a rede local, exclua o serviço metastore do Dataproc e o recrie novamente após duas horas.

Para mais informações, consulte exaustão do intervalo de endereços IP.

Cenários de erro de tempo limite da operação

Os cenários de erro a seguir resultam em um serviço sem resposta ou tempos limite de operação.

Como usar registros de auditoria para solucionar problemas de tempos limite de operação

Para solucionar problemas de tempo limite da operação de serviço, use o Logs Explorer no Console do Cloud para recuperar as entradas de registro de auditoria para o projeto do Cloud.

No painel "Criador de consultas", selecione Recurso auditado ou audited_resource como o tipo de recurso do Google Cloud, seguido por Dataproc Metastore ou metastore.googleapis.com como o serviço. A seleção de um método é opcional.

Para mais informações, consulte Como visualizar registros.

Cenários de erros de importação e exportação

Nesta seção, descrevemos alguns problemas comuns que podem ser encontrados ao usar a importação e a exportação do metastore do Dataproc.

A importação falhou porque as versões do Hive não correspondem

Quando você importa metadados, as versões do metastore do Hive e do metastore do Dataproc precisam ser compatíveis. Sua importação poderá falhar se os dois não forem correspondentes. Para mais informações, consulte a política de versões.

Falha na importação porque faltam arquivos da tabela do Hive

Ao preparar a importação para o Avro, haverá um arquivo para cada tabela do Hive, mesmo que a tabela esteja vazia. Caso contrário, a importação falhará.

O agente de serviço ou usuário não tem as permissões corretas

O agente de serviço do metastore do Dataproc (service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com) e o usuário que importa os metadados precisam ter a seguinte permissão de leitura: no bucket do Cloud Storage usado para a importação.

  • Para MySQL, eles precisam ter a permissão storage.objects.get no objeto do Cloud Storage (arquivo dump SQL) usado para a importação.

  • Para o Avro, eles precisam ter a permissão storage.objects.get no bucket do Cloud Storage usado para a importação.

Para exportações, o agente de serviço do metastore do Dataproc (service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com) e o usuário que está criando a exportação precisam ter a permissão storage.objects.create no bucket.

O job falhou porque o arquivo do banco de dados é muito grande

Se o arquivo do banco de dados for muito grande, pode demorar mais de um limite de tempo limite de jobs para concluir o processo de importação ou exportação.

Cenários de erros de backup e restauração

Esta seção descreve alguns problemas comuns que você pode encontrar ao usar o backup e a restauração do metastore do Dataproc.

Não é possível criar um novo backup para um serviço

Se já houver sete backups em um serviço, você precisará excluir manualmente um backup antes de criar um novo. É possível excluir backups existentes na guia Fazer backup/Restaurar.

O usuário não tem as permissões corretas

Para fazer backup de metadados, você precisa receber um papel do IAM que contenha a permissão do IAM metastore.backups.create.

Para restaurar metadados, você precisa ter um papel do IAM que contenha as permissões de IAM metastore.services.restore e metastore.backups.use.

O job falhou porque o arquivo de metadados do serviço é muito grande

Se o arquivo de metadados de serviço for muito grande, poderá demorar mais do que o limite de tempo limite de jobs por uma hora para concluir o processo de backup ou restauração.

Como solucionar problemas da ferramenta de linha de comando de gcloud

Se ocorrer um problema em que um comando da ferramenta gcloud não está disponível ou se o comando apresentar comportamento diferente do que consta na documentação, tente atualizar o SDK do gcloud:

gcloud components update