Che cos'è Dataproc Metastore?

Dataproc Metastore è un metastore Apache Hive (HMS) serverless completamente gestito e a disponibilità elevata eseguito su Google Cloud. Supporta HMS, svolge un ruolo fondamentale per la gestione dei metadati delle entità relazionali e fornisce l'interoperabilità tra le applicazioni di elaborazione dati nell'ecosistema open source.

Perché utilizzare Dataproc Metastore?

Casi d'uso di Dataproc Metastore

I casi d'uso di Dataproc Metastore includono:

  • Un repository di metadati centralizzato che può essere condiviso tra vari cluster Dataproc temporanei in esecuzione su diversi motori open source, come Apache Hive, Apache Spark e Presto.

  • Visualizzazione unificata delle tabelle open source su Google Cloud, che consente l'interoperabilità tra servizi cloud-native come Dataproc e varie altre offerte di partner open source su Google Cloud.

Funzionalità di Dataproc Metastore

Dataproc Metastore fornisce:

  • Compatibilità OSS: Dataproc Metastore offre un metastore compatibile con OSS completo. Può integrarsi perfettamente con lo stack di elaborazione dati esistente, come Apache Hive, Apache Spark e Presto. Ciò fornisce una maggiore interoperabilità tra i servizi Google Cloud e i partner open source.

  • Management: Dataproc Metastore alleggerisce il carico di lavoro di gestione del sistema HMS. Puoi creare o aggiornare un'istanza HMS in pochi minuti con attività di monitoraggio e operazioni completamente configurate.

  • Integrazione: oltre a semplificare la gestione dei servizi di HMS, Dataproc Metastore può integrarsi con prodotti Google Cloud esistenti come Dataproc. Puoi utilizzare un servizio Dataproc Metastore in esecuzione come origine dei metadati per un cluster Dataproc.

  • Importazione semplice: la funzionalità di importazione consente di importare in Dataproc Metastore i metadati esistenti memorizzati in un database esterno.

  • Sicurezza: puoi proteggere i servizi Dataproc Metastore con le soluzioni per la sicurezza di Google Cloud. Puoi anche configurare autorizzazioni Cloud IAM e utilizzare l'autenticazione Kerberos.

  • Affidabilità: il servizio Dataproc Metastore viene regolarmente sottoposto a backup, quindi non devi preoccuparti della durabilità dei dati HMS.

  • Prestazioni elevate: ogni livello offre allocazioni di risorse garantite per carichi di lavoro ad alta intensità che possono rispondere a picchi nelle chiamate HMS senza richiedere la preparazione o la memorizzazione nella cache.

  • Scalabilità con la crescita del data lake: puoi passare facilmente da un livello all'altro quando il tuo data lake è pronto o da creare rapidamente nuovi metastore.

  • Tempi di inattività ridotti e maggiore produttività: Google Cloud fornisce SLA e assistenza.

Che cosa è incluso in Dataproc Metastore?

Per informazioni sulle versioni open source (Apache Hive) supportate da Dataproc Metastore, consulta i criteri di versione di Dataproc Metastore.

Introduzione a Dataproc Metastore

Per iniziare rapidamente a utilizzare Dataproc Metastore, consulta la guida rapida per l'implementazione di Dataproc Metastore. Puoi accedere a Dataproc Metastore nei seguenti modi: