Qu'est-ce que Dataproc Metastore ?

Dataproc Metastore est un service de stockage d'autoréparation Apache Hive (HMS) sans serveur, entièrement géré dans une région, pour les produits d'analyse de données. Il est compatible avec la technologie HMS et constitue un composant essentiel de la gestion des métadonnées des entités relationnelles. Il assure l'interopérabilité entre les applications de traitement de données dans l'écosystème de données Open Source.

Pourquoi utiliser Dataproc Metastore ?

Cas d'utilisation de Dataproc Metastore

Voici quelques cas d'utilisation de Dataproc Metastore :

  • Dépôt de métadonnées centralisé pouvant être partagé entre différents clusters Dataproc éphémères exécutant différents moteurs Open Source, tels qu'Apache Hive, Apache Spark et Presto.

  • Vue unifiée de vos tables Open Source dans Google Cloud, offrant une interopérabilité entre des services cloud natifs tels que Dataproc et d'autres offres partenaires Open Source sur Google Cloud.

Fonctionnalités de Dataproc Metastore

Dataproc Metastore présente les avantages suivants :

  • Compatibilité OSS : Dataproc Metastore propose une métabibliothèque complète compatible OSS. Il s'intègre parfaitement à votre pile de traitement de données existante, telle qu'Apache Hive, Apache Spark et Presto. Vous bénéficiez ainsi d'une plus grande interopérabilité entre les services Google Cloud et les partenaires Open Source.

  • Gestion : Dataproc Metastore allège la charge liée à la gestion de votre système HMS. Vous pouvez créer ou mettre à jour une instance HMS en quelques minutes grâce à des tâches de surveillance et d'opérations entièrement configurées.

  • Intégration : en plus de simplifier la gestion des services HMS, Dataproc Metastore peut s'intégrer aux produits Google Cloud existants tels que Cloud Dataproc. Vous pouvez utiliser un service Dataproc Metastore en cours d'exécution comme source de métadonnées pour un cluster Dataproc.

  • Importation simple : la fonctionnalité d'importation vous permet d'importer des métadonnées existantes stockées dans une base de données externe dans Dataproc Metastore.

  • Sécurité : vous pouvez sécuriser les services Dataproc Metastore à l'aide des solutions de sécurité fournies par Google Cloud. Vous pouvez également configurer des autorisations Cloud IAM et utiliser l'authentification Kerberos.

  • Fiabilité : le service Dataproc Metastore est régulièrement sauvegardé. Vous n'avez donc pas à vous soucier de la durabilité de vos données HMS.

  • Performances élevées : chaque niveau fournit des allocations de ressources garanties pour les charges de travail intensives capables de répondre aux pics d'appels HMS sans nécessiter de préchauffage ni de mise en cache.

  • Évolue avec la croissance de votre lac de données : vous pouvez aisément passer d'un niveau à l'autre lorsque votre lac de données est prêt ou créer rapidement des métastores.

  • Réduction des temps d'arrêt et augmentation de la productivité : Google Cloud fournit des contrats de niveau de service et une assistance.

Que contient Dataproc Metastore ?

Consultez les règles de version de Dataproc Metastore pour en savoir plus sur les versions Open Source (Apache Hive) compatibles avec Dataproc Metastore.

Premiers pas avec Dataproc Metastore

Pour commencer à utiliser Dataproc Metastore, consultez le guide de démarrage rapide. Dataproc Metastore est accessible à l'aide des options suivantes :