Créer un service et un cluster Dataproc Metastore
Cette page explique comment créer un service Dataproc Metastore et un cluster Dataproc qui utilise le service en tant que métastore Hive.
Avant de commencer
- Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.
-
Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.
-
Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier si la facturation est activée sur un projet.
-
Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.
-
Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier si la facturation est activée sur un projet.
-
Activez l'API Dataproc Metastore
Contrôle des accès
Pour créer un service, vous devez demander un rôle IAM contenant l'autorisation IAM
metastore.services.create
. Les rôles spécifiques à Dataproc Metastoreroles/metastore.admin
etroles/metastore.editor
incluent l'autorisation de créer.Les anciens rôles
roles/owner
etroles/editor
permettent d'accorder l'autorisation de créer à des utilisateurs ou des groupes.
Pour obtenir et définir des stratégies IAM, vous pouvez utiliser les outils suivants:
- Google Cloud Console: consultez la section Contrôle des accès via Google Cloud Console.
- API REST: consultez la section Contrôle des accès via l'API.
- Ligne de commande
gcloud
: consultez la page Contrôle des accès via la CLI Google Cloud.
Pour en savoir plus, consultez la page IAM et contrôle des accès Dataproc Metastore.
Créer un service Dataproc Metastore
Les instructions suivantes montrent comment créer un service Dataproc Metastore à l'aide de Google Cloud Console, de la CLI gcloud ou de l'API Dataproc Metastore.
Console
Dans Cloud Console, ouvrez la page Créer un service :
Ouvrir la page Créer un service dans Cloud Console
Dans le champ Service name (Nom du compte de service), saisissez
example-service
.Sélectionnez Data location (Emplacement des données). Pour en savoir plus sur la sélection d'une région, consultez la section Emplacements Cloud.
Pour les autres options de configuration du service, utilisez les valeurs par défaut fournies.
Pour créer et démarrer le service, cliquez sur le bouton Submit (Envoyer).
Le nouveau service apparaît dans la liste des services.
gcloud
Exécutez la commande gcloud metastore services create
suivante pour créer un service.
gcloud metastore services create example-service \ --location=LOCATION
Remplacez LOCATION
par la région Compute Engine dans laquelle le service doit être créé. Assurez-vous que Dataproc Metastore est disponible à l'emplacement.
REST
Suivez les instructions de l'API pour créer un service à l'aide de l'explorateur d'API.
Créer un cluster Dataproc qui utilise le service
Après avoir créé un service, vous pouvez créer et associer un cluster Dataproc qui utilise le service en tant que métastore Hive.
L'image Dataproc et la version Dataproc Metastore Hive doivent être compatibles. Consultez les pages de gestion des versions d'images suivantes pour vous assurer que la version de Hive est compatible:
Pour en savoir plus, consultez la liste des versions d'image Dataproc.
Console
Dans Cloud Console, ouvrez la page Dataproc Créer un cluster.
Dans le champ Cluster Name (Nom du cluster), saisissez
example-cluster
.Dans les menus Région et Zone, sélectionnez une région et une zone pour le cluster. Vous pouvez sélectionner une région distincte pour isoler les ressources et les emplacements de stockage de métadonnées dans cette région. Si vous sélectionnez une région distincte, vous pouvez sélectionner "No preference" (Aucune préférence) pour la zone afin de laisser Dataproc choisir une zone dans la région sélectionnée pour votre cluster (consultez la page Sélection automatique des zones de Dataproc).
Utilisez les valeurs fournies par défaut pour toutes les autres options.
Cliquez sur l'onglet Personnaliser le cluster.
Dans la section Configuration du réseau, sélectionnez le même réseau spécifié lors de la création du service de métastore.
Dans la section Dataproc Metastore, sélectionnez
example-service
.Cliquez sur Créer pour créer le cluster.
Votre nouveau cluster apparaît dans la liste des clusters. L'état du cluster indique "Provisionnement" jusqu'à ce qu'il soit prêt à être utilisé. Son état devient alors "Running" (En cours d'exécution).
gcloud
Exécutez la commande gcloud dataproc clusters create
ci-dessous pour créer un cluster :
gcloud dataproc clusters create example-cluster \ --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/example-service \ --region=LOCATION
Remplacez PROJECT_ID
par l'ID du projet dans lequel vous avez créé votre service Dataproc Metastore.
Remplacez LOCATION
par la région que vous avez spécifiée pour le service Dataproc Metastore.
REST
Suivez les instructions de l'API pour créer un cluster à l'aide de l'explorateur d'API.
Effectuer un nettoyage
Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud :
- Dans Cloud Console, accédez à la page Gérer les ressources :
- Si le projet que vous envisagez de supprimer est associé à une organisation, développez la liste Organisation dans la colonne Nom.
- Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
- Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.
Vous pouvez également supprimer les ressources utilisées dans ce tutoriel :
Supprimez le service Dataproc Metastore.
Console
Dans Cloud Console, ouvrez la page "Dataproc Metastore" :
À gauche du nom du service, cochez la case
example-service
.En haut de la page Dataproc Metastore, cliquez sur Supprimer pour supprimer le service.
Dans la boîte de dialogue, cliquez sur Supprimer pour confirmer la suppression.
Votre service n'apparaît plus dans la liste des services.
gcloud
Exécutez la commande
gcloud metastore services delete
suivante pour supprimer un service:gcloud metastore services delete example-service \ --location=LOCATION
Remplacez
LOCATION
par la région Compute Engine dans laquelle le service a été créé.REST
Suivez les instructions de l'API pour supprimer un service à l'aide de l'explorateur d'API.
Toutes les suppressions sont effectives immédiatement.
Supprimez le bucket Cloud Storage associé au service Dataproc Metastore.
Supprimez le cluster Dataproc qui utilisait le service Dataproc Metastore.