Cette page a été traduite par l'API Cloud Translation.

Créer un service Dataproc Metastore

Cette page explique comment créer un service Dataproc Metastore.

Après avoir créé votre service Dataproc Metastore, vous pouvez importer métadonnées et se connecter à l'un des services suivants:

Un cluster Dataproc
Un Apache Hive autogéré l'instance Apache Spark, ou un cluster Presto.

Une fois que vous avez connecté l'un de ces services, il utilise votre service Dataproc Metastore comme métastore Hive lors de l'exécution des requêtes.

Avant de commencer

Découvrez les différences entre un service Dataproc Metastore 1 et un service Dataproc Metastore 2.
Activer Dataproc Metastore dans votre projet.
Comprendre les exigences de mise en réseau spécifiques à votre projet

Rôles requis

Pour obtenir l'autorisation nécessaire pour créer un Dataproc Metastore, demandez à votre administrateur de vous accorder le les rôles IAM suivants sur votre projet, selon le principe du moindre privilège:

Accorder un contrôle total sur les ressources Dataproc Metastore (roles/metastore.editor)
Accorder un accès complet à toutes les ressources Dataproc Metastore, y compris l'administration des stratégies IAM (roles/metastore.admin)

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient l'autorisation metastore.services.create, qui est requise pour créer un métastore Dataproc.

Vous pouvez également obtenir cette autorisation avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur les autorisations et les rôles Dataproc Metastore spécifiques, consultez Gérer l'accès avec IAM.

Créer Dataproc Metastore à l'aide des paramètres par défaut

Créer un Dataproc Metastore à l'aide des paramètres par défaut configure votre service avec un niveau Enterprise, une taille d'instance moyenne, la dernière version du métastore Hive, un point de terminaison Thrift et un emplacement de données ; sur us-central.

Dataproc Metastore 2

Les instructions suivantes vous expliquent comment créer un Dataproc Metastore 2 à l'aide d'un point de terminaison Thrift et d'autres paramètres par défaut fournis.

Console

Dans la console Google Cloud, accédez à Dataproc Metastore. .

Accéder à Dataproc Metastore
Dans la barre de navigation, cliquez sur + Créer.

La boîte de dialogue Create Metastore service (Créer un service de metastore) s'ouvre.
Sélectionnez Dataproc Metastore 2.
Dans la section Tarifs et capacité, choisissez une taille d'instance.

Pour en savoir plus, consultez les forfaits et configurations de scaling.
Dans le champ Nom du service, saisissez un nom unique pour votre service.

Pour en savoir plus sur les conventions d'attribution de noms, consultez la section Convention d'attribution de noms aux ressources.
Sélectionnez Data location (Emplacement des données).

Pour en savoir plus sur la sélection de la région appropriée, consultez les sections Régions et zones disponibles et Point de terminaison régional.
Pour les autres options de configuration de service, utilisez les valeurs par défaut fournies.
Pour créer et démarrer le service, cliquez sur Envoyer.

Votre nouveau service de métastore s'affiche sur la page Dataproc Metastore. L'état indique Création jusqu'à ce que le service soit prêt à être utilisé. Une fois l'opération terminée, l'état passe à Actif. Le provisionnement du service peut prendre quelques minutes.

CLI gcloud

Pour créer un service métastore Dataproc Metastore 2 à l'aide des valeurs par défaut fournies, exécutez la commande gcloud metastore services create suivante :

gcloud metastore services create SERVICE \
  --location=LOCATION \
  --instance-size=INSTANCE_SIZE \
  --scaling-factor=SCALING_FACTOR

Remplacez les éléments suivants :

SERVICE: nom de votre nouveau Service Dataproc Metastore.
LOCATION : région Google Cloud dans laquelle vous souhaitez créer votre Dataproc Metastore. Vous pouvez également définir un emplacement par défaut.

Pour en savoir plus sur les conventions d'attribution de noms, consultez Convention d'attribution de noms pour les ressources.
INSTANCE_SIZE: taille de l'instance de votre Dataproc Metastore multirégional. Par exemple, small, medium ou large. Si vous spécifiez une valeur pour INSTANCE_SIZE, spécifiez une valeur pour SCALING_FACTOR.
SCALING_FACTOR: facteur de scaling de votre service Dataproc Metastore. Par exemple, 0.1. Si vous spécifiez une valeur pour SCALING_FACTOR, ne spécifiez pas de valeur pour INSTANCE_SIZE.

REST

Suivez les instructions de l'API pour créer un service à l'aide de l'explorateur d'API.

Dataproc Metastore 1

Les instructions suivantes vous expliquent comment créer un Dataproc Metastore 1 à l'aide d'un point de terminaison Thrift et d'autres paramètres par défaut fournis.

Console

Dans la console Google Cloud, accédez à Dataproc Metastore. .

Accéder à Dataproc Metastore
Dans la barre de navigation, cliquez sur + Créer.

La boîte de dialogue Créer un service de metastore s'ouvre.
Sélectionnez Dataproc Metastore 1.
Dans le champ Nom du service, saisissez un nom unique pour votre service.

Pour en savoir plus sur les conventions d'attribution de noms, consultez la section Convention d'attribution de noms aux ressources.
Sélectionnez Data location (Emplacement des données).

Pour en savoir plus sur la sélection de la région appropriée, consultez les sections Régions et zones disponibles et Point de terminaison régional.
Pour les autres options de configuration de service, utilisez les valeurs par défaut fournies.
Pour créer et démarrer le service, cliquez sur Envoyer.

Votre nouveau service de métastore s'affiche sur Dataproc Metastore. . L'état indique Creating (Création en cours) jusqu'à ce que le service soit prêt à être utilisé. Une fois l'opération terminée, l'état passe à Actif. Le provisionnement du service peut prendre quelques minutes.

CLI gcloud

Pour créer un service de métastore de base à l'aide des valeurs par défaut fournies, exécutez la commande gcloud metastore services create suivante commande:

gcloud metastore services create SERVICE \
  --location=LOCATION

Remplacez les éléments suivants :

SERVICE: nom de votre nouveau Service Dataproc Metastore.
LOCATION: région Google Cloud souhaitée pour créer votre Dataproc Metastore. Vous pouvez également définir un emplacement par défaut.

Pour en savoir plus sur les conventions d'attribution de noms, consultez Convention d'attribution de noms pour les ressources.

REST

Suivez les instructions de l'API pour créer un service à l'aide de l'explorateur d'API.

Créer un Dataproc Metastore à l'aide des paramètres avancés

La création d'un métastore Dataproc à l'aide des paramètres avancés montre que vous devez modifier des configurations telles que les configurations réseau, les paramètres de mise à l'échelle, les paramètres de point de terminaison, les paramètres de sécurité et les fonctionnalités facultatives.

Dataproc Metastore 2 ou 1

Les instructions suivantes vous expliquent comment créer un service Dataproc Metastore 2 ou Dataproc Metastore 1 à l'aide de paramètres avancés.

Console

Commencer

Dans la console Google Cloud, ouvrez la page Dataproc Metastore :

Ouvrir Dataproc Metastore
Dans le menu de navigation, cliquez sur + Créer.

La boîte de dialogue Créer un service Metastore s'ouvre.
Sélectionnez la version de Metastore que vous souhaitez utiliser : Dataproc Metastore 1 ou Dataproc Metastore 2.

Informations sur le service

Exemple de page Créer un service
1. (Facultatif) Pour Dataproc Metastore 2. Dans la section Tarifs et capacité, choisissez une taille d'instance.
  
  Pour en savoir plus, consultez la page Forfaits et configurations de scaling.
2. Dans le champ Nom du service, saisissez un nom unique pour votre service.
  
  Pour en savoir plus sur les conventions d'attribution de noms, consultez Convention d'attribution de noms pour les ressources.
3. Sélectionnez Data location (Emplacement des données).
  
  Pour en savoir plus sur la sélection de la région appropriée, Voir la section Régions et zones disponibles et un point de terminaison régional.
4. Sélectionnez la Version du métastore Hive.
  
  Si cette valeur n'est pas modifiée, votre service utilise la dernière version compatible de Hive (actuellement la version 3.1.2).
  
  Pour en savoir plus sur le choix de la bonne version, consultez la section Règle concernant les versions.
5. Sélectionnez la version disponible.
  
  Si cette valeur n'est pas modifiée, votre métastore utilise la valeur Stable. Pour en savoir plus, consultez Version disponible.
6. Indiquez le port TCP.
  
  Port TCP auquel se connecte votre point de terminaison Thrift. Si cette valeur est non modifié, le numéro de port 9083 est utilisé. Si vous définissez votre point de terminaison sur gRPC, cette valeur passe automatiquement à 443 et ne peut plus être modifiée.
7. (Facultatif) Pour Dataproc Metastore 1 Sélectionnez le niveau de service.
  
  Le niveau de service influence la capacité de votre service. Pour en savoir plus, consultez la section Niveau de service.
Protocole du point de terminaison
- (Facultatif) Choisissez un protocole de point de terminaison.
  
  L'option sélectionnée par défaut est Apache Thrift. Pour en savoir plus sur les différents points de terminaison, consultez Choisir le protocole de point de terminaison.
Configuration du réseau
1. Sélectionnez une configuration réseau.
  
  Par défaut, votre service n'est exposé que dans un seul réseau VPC et utilise le réseau default. Le réseau default n'autorise que votre service pour se connecter à d'autres services dans le même projet.
  
  Modifiez les paramètres réseau par défaut pour effectuer les actions suivantes :
  - Connectez votre service Dataproc Metastore aux services Dataproc Metastore d'autres projets.
  - Utilisez votre service Dataproc Metastore avec d'autres services Google Cloud, tels que le cluster Dataproc.
  Remarque : Si vous utilisez un point de terminaison gRPC, ces paramètres sont désactivés.
2. (Facultatif) Cliquez sur Utiliser un réseau VPC partagé et saisissez le paramètre ID du projet et Nom du réseau VPC.
3. Facultatif : cliquez sur Rendre les services accessibles dans plusieurs sous-réseaux VPC, puis sélectionnez les sous-réseaux. Vous pouvez spécifier jusqu'à cinq sous-réseaux.
4. Cliquez sur OK.
Intégration des métadonnées
- Facultatif: Activez la synchronisation avec Data Catalog.
  
  Pour en savoir plus, consultez la page Synchronisation de Dataproc Metastore vers Data Catalog.
Intervalle de maintenance
- Facultatif: Sélectionnez le jour de la semaine et l'heure de la journée pour votre l'intervalle de maintenance.
  
  Pour en savoir plus, consultez la page Intervalles de maintenance.
Sécurité
1. Facultatif : activez Kerberos.
  
  Remarque : Pour activer Kerberos, vous avez besoin d'un fichier keytab. Ce fichier contient de comptes principaux Kerberos et de clés chiffrées. Un fichier keytab doit contenir l'entrée du compte de service principal créé pour ce métastore Hive. Pour en savoir plus, consultez la section Configurer Kerberos pour un service.
  1. Pour activer Kerberos, cliquez sur le bouton d'activation.
  2. Sélectionnez ou saisissez l'ID de ressource du secret.
  3. Vous pouvez soit utiliser la dernière version du secret, soit sélectionner une version plus ancienne.
  4. Saisissez le principal Kerberos.
    
    Il s'agit du principal alloué à ce service Dataproc Metastore.
  5. Accédez au fichier de configuration krb5.
2. Facultatif: sélectionnez un type de chiffrement.
  - L'option sélectionnée par défaut est Clé de chiffrement gérée par Google.
  - Pour sélectionner une clé gérée par le client, cliquez sur Utiliser une clé de chiffrement gérée par le client (CMEK).
    
    Pour en savoir plus, consultez la page Utiliser des clés de chiffrement gérées par le client.
Remplacements de configuration du metastore
- Facultatif: pour appliquer un mappage au métastore Hive, cliquez sur + Ajouter des remplacements.
  
  Remarque : Pour définir un forçage d'entrepôt de métastore Hive, consultez Définir un forçage d'entrepôt Hive.
Configuration de la version auxiliaire
- Facultatif : Pour ajouter une configuration de version auxiliaire, cliquez sur Activer.
  
  Pour en savoir plus, consultez Versions auxiliaires.
Type de base de données
- Facultatif: choisissez un type de base de données.
  
  Dans le champ Type de base de données, sélectionnez MySQL ou Spanner. MySQL est le type de base de données par défaut.
  
  Pour en savoir plus sur le choix d'un type de base de données spécifique, consultez la section Types de bases de données.
Libellés
- Facultatif : pour ajouter ou supprimer des libellés facultatifs qui décrivent vos métadonnées, cliquez sur + Ajouter des libellés.

Démarrer le service

Pour créer et démarrer le service, cliquez sur Envoyer.

Votre nouveau service de métastore s'affiche sur la page Dataproc Metastore. L'état indique Création jusqu'à ce que le service soit prêt à être utilisé. Lorsqu'elle est prête, son état passe à Actif. Le provisionnement du service peut prendre quelques minutes.

CLI gcloud

Pour créer un métastore, exécutez la commande gcloud metastore services create suivante :
```
gcloud metastore services create SERVICE \
  --location=LOCATION \
  --instance-size=INSTANCE_SIZE \
  --scaling-factor=SCALING_FACTOR \
  --port=PORT \
  --tier=TIER \
  --endpoint-protocol=ENDPOINT_PROTOCOL \
  --database-type=DATABASE_TYPE \
  --hive-metastore-version=HIVE_METASTORE_VERSION \
  --data-catalog-sync=DATA_CATALOG_SYNC \
  --release-channel=RELEASE_CHANNEL \
  --hive-metastore-configs=METADATA_OVERRIDE \
  --labels=LABELS \
  --auxiliary-versions=AUXILIARY_VERSION \
  --network=NETWORK \
  --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2" \
  --kerberos-principal=KERBEROS_PRINCIPAL \
  --krb5-config=KRB5_CONFIG \
  --keytab=CLOUD_SECRET \
  --encryption-kms-key=KMS_KEY
```
Remplacez les éléments suivants :

Paramètres du service :
- SERVICE: nom de votre nouveau Service Dataproc Metastore. de votre service Dataproc Metastore. Exemple :0.1 Si vous spécifiez une valeur pour SCALING_FACTOR, ne spécifiez pas de valeur pour INSTANCE_SIZE.
- LOCATION : région Google Cloud dans laquelle vous souhaitez créer votre Dataproc Metastore. Vous pouvez également définir un emplacement par défaut.
- PORT : (facultatif) port TCP utilisé par votre point de terminaison Thrift. Si cette règle n'est pas configurée, le port 9083 est utilisé. Si vous choisissez d'utiliser un point de terminaison gRPC, votre numéro de port devient 443.
- TIER : facultatif pour Dataproc Metastore 1 : niveau de service de votre nouveau service. Si cette règle n'est pas configurée, la valeur Developer est utilisée.
- ENDPOINT_PROTOCOL : (Facultatif) Choisissez le protocole de point de terminaison pour votre service.
- DATABASE_TYPE: Facultatif: Choisissez le type de base de données de votre service. Pour en savoir plus sur le choix d'un type de base de données spécifique, consultez la page Types de bases de données.
- DATA_CATALOG_SYNC : Facultatif : activez la fonctionnalité Synchronisation avec Data Catalog.
- HIVE_METASTORE_VERSION (facultatif) : version du métastore Hive que vous souhaitez utiliser avec votre service. Exemple : 3.1.2. Si cette règle n'est pas configurée, la dernière version de Hive est utilisée.
- RELEASE_CHANNEL: facultatif: version disponible du service. Si ce paramètre n'est pas défini, la valeur Stable est utilisée.
- METADATA_OVERRIDE : (facultatif) configurations de remplacement du métastore Hive que vous souhaitez appliquer à votre service. Utiliser une liste d'éléments séparés par une virgule au format k1=v1,k2=v2,k3=v3.
- LABELS : facultatif : paires clé-valeur pour ajouter des métadonnées supplémentaires à votre service. Utiliser une liste d'éléments séparés par une virgule au format k1=v1,k2=v2,k3=v3. Dataproc Metastore
- AUXILIARY_VERSION: facultatif: activer l'instance auxiliaire versions. Pour en savoir plus, consultez la section Versions auxiliaires.
Paramètres de scaling:
- INSTANCE_SIZE : facultatif pour Dataproc Metastore 2 : taille de l'instance de votre Dataproc Metastore multirégional. Par exemple, small, medium ou large. Si vous spécifiez une valeur pour INSTANCE_SIZE, ne spécifiez pas de valeur pour SCALING_FACTOR.
- SCALING_FACTOR: facultatif pour Dataproc Metastore 2: le facteur de scaling de votre service Dataproc Metastore. Par exemple, 0.1. Si vous spécifiez une valeur pour SCALING_FACTOR, ne spécifiez pas de valeur pour INSTANCE_SIZE
Paramètres réseau :
- NETWORK: nom du réseau VPC lorsque vous vous connectez à votre service. Si ce paramètre n'est pas défini, la valeur default est utilisée.
  
  Si vous utilisez un réseau VPC appartenant à d'un projet différent de celui de votre service, vous devez fournir l'intégralité un nom de ressource relatif doit être fourni. Par exemple, projects/HOST_PROJECT/global/networks/NETWORK_ID.
- SUBNET1, SUBNET2: Facultatif: liste des sous-réseaux qui peuvent accéder à votre service. Vous pouvez utiliser l'ID, l'URL complète ou le nom relatif du sous-réseau. Vous pouvez spécifier jusqu'à cinq sous-réseaux.
  
  Remarque : Si vous avez spécifié une valeur dans --network, vous ne pouvez pas utiliser ce paramètre.
Paramètres Kerberos :
- KERBEROS_PRINCIPAL : (facultatif) principal Kerberos existant dans le fichier keytab et le KDC. Un principal se présente généralement sous la forme "primary/instance@REALM", mais il n'existe pas de format strictement défini.
- KRB5_CONFIG : (facultatif) le fichier krb5.config spécifie les informations du KDC et du domaine Kerberos, qui incluent les emplacements des KDC et les valeurs par défaut du domaine et des applications Kerberos.
- CLOUD_SECRET : ressource relative (facultatif) nom d'un Secret Manager la version du secret.
- KMS_KEY : facultatif : fait référence à l'ID de ressource de la clé.
  
  Preview
  
  Ce produit ou cette fonctionnalité est soumis aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les produits et fonctionnalités pré-DG sont disponibles "en l'état" et peuvent bénéficier d'une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.
Vérifiez que la création a réussi.

REST

Suivez les instructions de l'API pour créer un service à l'aide de l'explorateur d'API.

Définir un remplacement de configuration de métastore Hive pour Dataproc Metastore

Si votre répertoire d'entrepôt Apache Hive se trouve sur Cloud Storage, vous devez définir un de configuration de métastore. Ce forçage définit votre entrepôt de données personnalisé comme répertoire d'entrepôt par défaut pour votre service Dataproc Metastore.

Avant de définir ce forçage, assurez-vous que votre service Dataproc Metastore dispose d'autorisations de lecture et d'écriture sur les objets pour accéder au répertoire de l'entrepôt. Pour en savoir plus, consultez la section Répertoire d'entrepôt Hive.

Les instructions suivantes vous expliquent comment définir un forçage de configuration du métastore Hive pour un nouveau service Dataproc Metastore.

Console

Dans la console Google Cloud, ouvrez la page Dataproc Metastore:

Ouvrir Dataproc Metastore
Dans la barre de navigation, cliquez sur + Créer.
Dans Remplacements de configuration Metastore, saisissez les valeurs suivantes:
- Clé: hive.metastore.warehouse.dir.
- Valeur: emplacement Cloud Storage de votre répertoire d'entrepôt. Exemple : gs://my-bucket/path/to/location.
Configurez les options de service restantes si nécessaire ou utilisez le par défaut.
Cliquez sur Envoyer.

Revenez à la page Dataproc Metastore. vérifier que votre service a bien été créé.

CLI gcloud

Pour créer un service Dataproc Metastore avec un forçage Hive, exécutez la commande gcloud metastore services create suivante commande:
```
gcloud metastore services create SERVICE \
  --location=LOCATION \
  --hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"
```
Remplacez les éléments suivants :
- SERVICE: nom de votre nouveau Service Dataproc Metastore.
- LOCATION: région Google Cloud souhaitée pour créer votre Dataproc Metastore. Vous pouvez également définir emplacement par défaut.
- CUSTOMER_DIR: emplacement Cloud Storage de votre répertoire d'entrepôt. Exemple : gs://my-bucket/path/to/location.
Vérifiez que la création a réussi.

Créer Dataproc Metastore avec autoscaling

Dataproc Metastore 2 est compatible avec l'autoscaling. Si vous activez l'autoscaling, vous pouvez définir un facteur de scaling minimal et un facteur de scaling maximal. Une fois cette valeur définie, votre service augmente ou diminue automatiquement le facteur de scaling requis pour exécuter vos charges de travail.

Considérations relatives à l'autoscaling

L'autoscaling et les facteurs de scaling sont des options mutuellement exclusives. Par exemple : si vous activez l'autoscaling, vous ne pouvez pas définir manuellement un facteur de scaling ou une taille.
L'autoscaling n'est disponible que pour Dataproc Metastore dans une seule région Compute Engine.
Lorsque l'autoscaling est activé, les paramètres des facteurs de scaling existants sont effacés.
Lorsque l'autoscaling est désactivé :
- Les paramètres d'autoscaling existants sont effacés.
- Le facteur de scaling est défini sur le dernier autoscaling_factor configuré sur le service.
Les facteurs d'autoscaling minimal et maximal sont facultatifs. S'il n'est pas défini, les valeurs par défaut sont respectivement 0.1 et 6.

Choisissez l'un des onglets suivants pour découvrir comment créer un service Dataproc Metastore 2 avec l'autoscaling activé.

Console

Dans la console Google Cloud, accédez à la page Dataproc Metastore.

Accéder à Dataproc Metastore
Dans la barre de navigation, cliquez sur + Créer.

La boîte de dialogue Create Metastore service (Créer un service de metastore) s'ouvre.
Sélectionnez Dataproc Metastore 2.
Dans la section Tarifs et capacité, sélectionnez Enterprise – Région unique.
Sous Taille de l'instance, cliquez sur Activer l'autoscaling.
Sous Taille de l'instance, sélectionnez une valeur minimale et maximale d'instance à l'aide du curseur. la taille de l'image.
Pour créer et démarrer le service, cliquez sur Envoyer.

Votre nouveau service de métastore s'affiche sur Dataproc Metastore. . L'état indique Création jusqu'à ce que le service soit prêt à être utilisé. Lorsqu'elle est prête, son état passe à Actif. Le provisionnement du service peut prendre quelques minutes.

REST

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"scaling_config":{"autoscaling_config":{"autoscaling_enabled": true,"limit_config":{"max_scaling_factor":MAX_SCALING_FACTOR,"min_scaling_factor": MIN_SCALING_FACTOR}}}}' \
-H "Content-Type:application/json" \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/services?service_id=SERVICE_ID

Remplacez les éléments suivants :

MIN_INSTANCES (facultatif) : nombre minimal d'instances à utiliser dans votre configuration d'autoscaling. Si ces valeurs ne sont pas spécifiées, la valeur par défaut 0.1 est utilisée.
MAX_INSTANCESFacultatif: nombre maximal d'instances à utiliser dans votre configuration d'autoscaling. Si ces valeurs ne sont pas spécifiées, une valeur par défaut de 6 est utilisée.