Dépannage

Cette page explique les différents scénarios d'erreur et les étapes de dépannage pour les résoudre.

Scénarios d'erreur de connectivité et de mise en réseau

Si votre service rencontre des problèmes de connectivité ou de mise en réseau, consultez les scénarios des sections suivantes pour voir si l'un d'entre eux est à l'origine du problème.

Échec de la création du service en raison d'une contrainte visant à restreindre l'appairage de VPC

Ne définissez pas la contrainte de règle d'administration pour restreindre l'appairage de VPC. La spécification de constraints/compute.restrictVpcPeering entraîne l'échec de votre requête de création avec une erreur INVALID_ARGUMENT. Si vous devez définir la contrainte, utilisez la commande suivante pour autoriser under:folders/270204312590:

gcloud resource-manager org-policies allow compute.restrictVpcPeering under:folders/270204312590 --organization ORGANIZATION_ID

Pour plus d'informations, consultez la section Contraintes en matière de règles d'administration.

Échec du déploiement interprojet lorsque le compte de service est inexistant

Pour créer un service Dataproc Metastore accessible dans un réseau appartenant à un projet différent de celui auquel le service appartient, vous devez accorder les autorisations suivantes :roles/metastore.serviceAgent à l'agent de service Dataproc Metastore du projet de service (service-SERVICE_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com ) dans la stratégie IAM du projet réseau.

gcloud projects add-iam-policy-binding NETWORK_PROJECT_ID \
    --role "roles/metastore.serviceAgent" \
    --member "serviceAccount:service-SERVICE_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com"

Pour en savoir plus, consultez la section Configurer un déploiement multiprojet.

Veuillez indiquer une adresse IP privée pour la connectivité réseau

Dataproc Metastore n'utilise qu'une adresse IP privée. Par conséquent, aucune adresse IP publique n'est exposée. Cela signifie que seules les VM du réseau cloud privé virtuel (VPC) fourni ou sur site (connectées via Cloud VPN ou Cloud Interconnect) peuvent accéder au service Dataproc Metastore.

Pour en savoir plus, consultez la section Accéder à un service.

Règle de pare-feu d'entrée requise pour Kerberos

Kerberos requiert que Dataproc Metastore lance des connexions aux hôtes de votre réseau de projets. Vous devez créer une règle de pare-feu autorisant l'entrée TCP et UDP sur tous les ports du bloc d'adresses IP /17 contenant l'adresse IP de Dataproc Metastore.

Pour en savoir plus, consultez les sections Règles de pare-feu sur votre KDC et Règles de pare-feu pour vos services.

Erreur de connexion causée par les ressources provisionnées dans les réseaux VPC partagés

Si votre service Dataproc Metastore utilise un réseau appartenant à un autre projet et que Compute Engine est protégé par le périmètre de service, le projet Metastore et le projet réseau doivent se trouver dans le même périmètre.

Pour ajouter des projets Dataproc Metastore existants au périmètre, suivez les instructions de la section Mettre à jour un périmètre de service.

Pour en savoir plus, consultez la page VPC Service Controls avec Dataproc Metastore.

La plage d'adresses IP allouée est épuisée.

Le réseau VPC fourni peut manquer d'adresses RFC 1918 disponibles requises par les services Dataproc Metastore. Le cas échéant, Dataproc Metastore tente de réserver des plages d'adresses IP privées en dehors des plages RFC 1918 pour la création de services. Pour obtenir la liste des plages privées non-RFC 1918 compatibles, consultez la section Plages valides dans la documentation du réseau VPC.

Les adresses IP privées non-RFC 1918 utilisées dans Dataproc Metastore peuvent entrer en conflit avec une plage d'un réseau sur site connecté au réseau VPC fourni. Pour vérifier la liste des adresses IP privées RFC 1918 et non-RFC 1918 réservées par Dataproc Metastore:

gcloud compute addresses list \
    --project NETWORK_PROJECT_ID \
    --filter="purpose:VPC_PEERING AND name ~ cluster|resourcegroup"

Si un conflit est déterminé et ne peut pas être atténué en reconfigurant le réseau sur site, supprimez le service Dataproc Metastore incriminé et recréez ce dernier au bout de deux heures.

Pour plus d'informations, consultez la section épuisement de la plage d'adresses IP.

Scénarios d'erreurs de dépassement de délai d'opération

Les scénarios d'erreur suivants entraînent un dépassement du délai d'expiration du service ou des opérations.

Résoudre les problèmes liés aux délais avant expiration des opérations à l'aide des journaux d'audit

Pour résoudre les délais avant expiration des opérations de service, utilisez l'explorateur de journaux de Cloud Console pour récupérer les entrées du journal d'audit de votre projet Cloud.

Dans le volet du générateur de requêtes, sélectionnez Ressource auditée ou audited_resource comme type de ressource Google Cloud, suivi de Dataproc Metastore ou metastore.googleapis.com. en tant que service. Le choix d'une méthode est facultatif.

Pour en savoir plus, consultez la page Afficher les journaux.

Scénarios d'erreur d'importation et d'exportation

Cette section décrit les problèmes courants d'importation et d'exportation de Dataproc Metastore.

Échec de l'importation, car les versions Hive ne correspondent pas

Lorsque vous importez des métadonnées, les versions du métastore Hive et de Dataproc Metastore doivent être compatibles. Votre importation peut échouer si les deux ne correspondent pas.

Pour plus d'informations, consultez les règles de versions.

Échec de l'importation, car il manque des fichiers de table Hive

Lors de la préparation de l'importation pour Avro, chaque table Hive doit contenir un fichier, même si la table est vide. Sinon, l'importation échouera.

Le kit Dataproc Metastore peut vous servir de référence pour vérifier les schémas de métadonnées Hive appropriés.

L'agent de service ou l'utilisateur ne dispose pas des autorisations nécessaires

L'agent de service Dataproc Metastore (service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com) et l'utilisateur qui importe les métadonnées doivent disposer des autorisations de lecture suivantes sur le bucket Cloud Storage utilisé pour l'importation:

  • Pour MySQL, ils doivent disposer de l'autorisation storage.objects.get sur l'objet Cloud Storage (fichier de vidage SQL) utilisé pour l'importation.

  • Pour Avro, ils doivent disposer de l'autorisation storage.objects.get sur le bucket Cloud Storage utilisé pour l'importation.

Pour les exportations, l'agent de service Dataproc Metastore (service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com) et l'utilisateur qui crée l'exportation doivent disposer de l'autorisation storage.objects.create sur le bucket.

La tâche échoue, car le fichier de la base de données est trop volumineux

Si le fichier de base de données est trop volumineux, le délai d'heure d'expiration de la tâche peut être plus long que le processus d'importation ou d'exportation.

Scénarios d'erreur de sauvegarde et de restauration

Cette section décrit les problèmes courants liés à la sauvegarde et à la restauration de Dataproc Metastore.

Impossible de créer une sauvegarde pour un service

Si un service contient déjà sept sauvegardes, vous devez d'abord en supprimer une manuellement avant d'en créer une autre. Vous pouvez supprimer des sauvegardes existantes à partir de l'onglet Sauvegardes/Restaurations.

L'utilisateur ne dispose pas des autorisations nécessaires

Pour sauvegarder des métadonnées, vous devez disposer d'un rôle IAM contenant l'autorisation IAM metastore.backups.create.

Pour restaurer les métadonnées, vous devez disposer d'un rôle IAM contenant les autorisations IAM metastore.services.restore et metastore.backups.use.

La tâche échoue, car le fichier de métadonnées du service est trop volumineux

Si le fichier de métadonnées du service est trop volumineux, le délai d'expiration de la tâche peut prendre plus d'une heure pour terminer le processus de sauvegarde ou de restauration.

Scénarios d'erreur de cluster Dataproc

Les sections suivantes décrivent les problèmes courants liés à Dataproc et aux clusters autogérés.

Le rattachement de cluster Dataproc échoue en raison de versions non concordantes

Lorsque vous associez un cluster Dataproc, l'image Dataproc et la version de Dataproc Metastore Hive doivent être compatibles. Vérifiez les pages de gestion des versions d'image suivantes pour vous assurer que la version Hive est compatible:

Pour en savoir plus, consultez la liste des versions d'images Dataproc.

Échec de la connexion au métastore en raison de problèmes de fuseau horaire

Votre fichier Hive renvoie l'erreur The server time zone value 'CDT' is unrecognized or represents more than one time zone.

Si vous ne pouvez pas vous connecter à votre métastore à partir de Dataproc, vous devez supprimer votre cluster actuel et mettre à jour votre commande gcloud dataproc clusters create ou votre outil d'automatisation afin d'inclure les éléments suivants. fuseau horaire:

--metadata "hive-metastore-uri=jdbc:mysql://10.207.26.77:3306/hive_metastore?serverTimezone=CST6CDT"

Résoudre les problèmes liés à l'outil de ligne de commande gcloud

Si vous rencontrez un problème où une commande de l'outil gcloud n'est pas disponible ou si la commande se comporte différemment de la manière dont elle est documentée, essayez de mettre à jour le SDK gcloud:

gcloud components update

Étape suivante