Lorsque vous créez un service Dataproc Metastore, vous devez choisir d'utiliser de base de données MySQL ou Spanner.
Ce choix affecte les fonctionnalités que vous pouvez intégrer et utiliser avec votre service Dataproc Metastore. Notez que vous ne pouvez pas Mettre à jour votre type de base de données après avoir créé un Dataproc Metastore Google Cloud. Assurez-vous de choisir le type de base de données adapté à vos besoins.
Cette page explique les différences entre ces types de bases de données et explique comment les sélectionner une pour votre service.
Différences entre MySQL et Spanner
MySQL
Le type de base de données MySQL Dataproc Metastore est une implémentation de Cloud SQL. Tenez compte des points suivants lorsque vous utilisez une base de données MySQL :
- MySQL est le type de base de données par défaut lors de la création d'un Dataproc Metastore.
- MySQL est compatible avec toutes les versions de Hive.
- MySQL est compatible avec toutes les fonctionnalités de Dataproc Metastore.
- MySQL est compatible avec le chiffrement Dataproc Metastore, par exemple en utilisant les clés de chiffrement gérées par le client (CMEK).
Spanner
Le type de base de données Spanner Dataproc Metastore est une implémentation de Spanner. Notez les points suivants lorsque vous utilisez une base de données Spanner:
- Spanner n'est compatible qu'avec les versions 2.3.6 et 3.1.2 de Hive.
- Spanner n'accepte que les importations Avro.
Informations supplémentaires
Le tableau suivant fournit des informations supplémentaires sur ces différences.
MySQL | Spanner | |
---|---|---|
Fiabilité (disponibilité) | Niveau de service Cloud SQL : 99,95 %* | SLO Spanner 99,99%* |
Intervalles de maintenance | Obligatoire | Non obligatoire |
Remarques :
- *Les SLO Cloud SQL et Spanner ne se traduisent pas directement en SLO Dataproc Metastore. Dataproc Metastore Votre sélection de type de base de données n'a aucune incidence sur les SLA de Dataproc Metastore.
- Il n'existe aucune différence de prix entre les deux types de bases de données.
Avant de commencer
- Activer Dataproc Metastore dans votre projet.
- Comprendre les exigences de mise en réseau spécifiques à votre projet
Rôles requis
Pour obtenir l'autorisation nécessaire pour créer un Dataproc Metastore, demandez à votre administrateur de vous accorder le les rôles IAM suivants sur votre projet, selon le principe du moindre privilège:
-
Accorder le contrôle complet des ressources Dataproc Metastore (
roles/metastore.editor
) -
Accorder un accès complet à toutes les ressources Dataproc Metastore, y compris l'administration des stratégies IAM (
roles/metastore.admin
)
Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.
Ce rôle prédéfini contient l'autorisation metastore.services.create
, qui est requise pour créer un métastore Dataproc.
Vous pouvez également obtenir cette autorisation avec des rôles personnalisés ou d'autres rôles prédéfinis.
Pour en savoir plus sur les rôles et les autorisations spécifiques de Dataproc Metastore, consultez Gérer l'accès à Dataproc avec IAM.Choisir votre type de base de données
Vous choisissez le type de base de données lorsque vous créez un service Dataproc Metastore.
L'exemple suivant présente une version abrégée des étapes à suivre pour choisir un type de base de données. Pour obtenir des instructions détaillées, consultez la page Créer un service Dataproc Metastore.
Console
Dans la console Google Cloud, ouvrez la page Dataproc Metastore:
Dans la barre de navigation, cliquez sur Créer.
La page Create service (Créer un service) s'ouvre.
Dans le champ Type de base de données, sélectionnez MySQL ou Spanner.
MySQL est le type de base de données par défaut.
Choisissez les configurations restantes pour votre service, si nécessaire.
Cliquez sur Envoyer.
CLI gcloud
Exécutez la commande
gcloud metastore services create
suivante :gcloud metastore services create SERVICE_ID \ --location=LOCATION \ --database-type=DATABASE_TYPE; default="mysql"
Remplacez les éléments suivants :
SERVICE_ID
: nom ou ID de votre Service Dataproc Metastore.LOCATION
: région dans laquelle Le service Dataproc Metastore réside.DATABASE_TYPE
: type de base de données que vous souhaitez définir pour votre service Dataproc Metastore. Les valeurs acceptées incluentmysql
etspanner
. La valeur par défaut estmysql
.