Qu'est-ce que Dataproc Metastore ?

Dataproc Metastore est un Metastore Apache Hive (HMS) entièrement géré, hautement disponible et sans serveur qui s'exécute sur Google Cloud. Il est compatible avec HMS et constitue un composant essentiel pour la gestion des métadonnées d'entités relationnelles. Il assure l'interopérabilité entre les applications de traitement de données de l'écosystème de données Open Source.

Pourquoi utiliser Dataproc Metastore ?

Cas d'utilisation de Dataproc Metastore

Voici quelques cas d'utilisation de Dataproc Metastore :

  • Un dépôt de métadonnées centralisé pouvant être partagé entre différents clusters Dataproc éphémères exécutant différents moteurs Open Source, tels qu'Apache Hive, Apache Spark. et Presto.

  • Une vue unifiée de vos tables Open Source dans Google Cloud offrant l'interopérabilité entre les services cloud natifs tels que Dataproc et diverses autres offres partenaires Open Source sur Google Cloud.

Fonctionnalités de Dataproc Metastore

Dataproc Metastore présente les avantages suivants :

  • Compatibilité avec les logiciels Open Source : Dataproc Metastore offre une métastore complète compatible avec les logiciels Open Source. Il s'intègre parfaitement à votre pile de traitement de données existante, telle qu'Apache Hive, Apache Spark et Presto. Vous bénéficiez ainsi d'une plus grande interopérabilité entre les services Google Cloud et les partenaires Open Source.

  • Gestion : Dataproc Metastore allège la charge liée à la gestion de votre système HMS. Vous pouvez créer ou mettre à jour une instance HMS en quelques minutes grâce à des tâches de surveillance et d'opérations entièrement configurées.

  • Intégration : en plus de simplifier la gestion des services de HSM, Dataproc Metastore peut s'intégrer aux produits Google Cloud existants tels que Dataproc. Vous pouvez utiliser un service Dataproc Metastore en cours d'exécution comme source de métadonnées pour un cluster Dataproc.

  • Importation simple : la fonctionnalité d'importation vous permet d'importer des métadonnées existantes stockées dans une base de données externe dans Dataproc Metastore.

  • Sécurité : vous pouvez sécuriser les services Dataproc Metastore avec les solutions de sécurité Google Cloud. Vous pouvez également configurer des autorisations Cloud IAM et utiliser l'authentification Kerberos.

  • Fiabilité : le service Dataproc Metastore est régulièrement sauvegardé. Vous n'avez donc pas à vous soucier de la durabilité de vos données HMS.

  • Performances élevées : chaque niveau fournit des allocations de ressources garanties pour les charges de travail intensives capables de répondre aux pics d'appels HMS sans nécessiter de préchauffage ni de mise en cache.

  • Évolue avec la croissance de votre lac de données : vous pouvez aisément passer d'un niveau à l'autre lorsque votre lac de données est prêt ou créer rapidement des métastores.

  • Réduction des temps d'arrêt et augmentation de la productivité : Google Cloud fournit des contrats de niveau de service et une assistance.

Que contient Dataproc Metastore ?

Consultez les règles de version de Dataproc Metastore pour en savoir plus sur les versions Open Source (Apache Hive) compatibles avec Dataproc Metastore.

Premiers pas avec Dataproc Metastore

Pour vous familiariser rapidement avec Dataproc Metastore, consultez le guide de démarrage rapide sur le déploiement de Dataproc Metastore. Dataproc Metastore est accessible à l'aide des options suivantes :