Panoramica di Dataproc Metastore

Dataproc Metastore è un metastore Apache Hive (HMS) completamente gestito che viene eseguito su Google Cloud. Un HMS è lo standard stabilito nell'ecosistema big data open source per la gestione dei metadati tecnici, come schemi, partizioni e statistiche delle colonne in un database relazionale.

Dataproc Metastore è ad alta disponibilità, con riparazione automatica e serverless. Utilizzalo per gestire i metadati del data lake e per garantire l'interoperabilità tra i vari motori di elaborazione dei dati e gli strumenti che utilizzi.

Come funziona Dataproc Metastore

Puoi utilizzare un servizio Dataproc Metastore collegandolo a un cluster Dataproc. Un cluster Dataproc include componenti che si basano su un HMS per gestire la pianificazione e l'esecuzione delle query.

Questa integrazione ti consente di conservare le informazioni sulle tabelle tra i job o di rendere disponibili i metadati per altri cluster e altri motori di elaborazione.

Ad esempio, l'implementazione di un metastore potrebbe aiutarti a designare un sottoinsieme di file contenenti dati sulle entrate, anziché monitorare manualmente i nomi file. In questo caso, puoi definire una tabella per questi file e archiviare i metadati in Dataproc Metastore. Dopodiché puoi collegarlo a un cluster Dataproc ed eseguire query sulla tabella per ottenere informazioni utilizzando Hive, Spark SQL o altri servizi di query.

Versioni di Dataproc Metastore

Quando crei un servizio Dataproc Metastore, puoi scegliere di utilizzare un servizio Dataproc Metastore 2 o un servizio Dataproc Metastore 1.

  • Dataproc Metastore 2 è la nuova generazione del servizio che offre scalabilità orizzontale oltre alle funzionalità di Dataproc Metastore 1. Per ulteriori informazioni, vedi Funzionalità e vantaggi.

  • Dataproc Metastore 2 ha un piano tariffario diverso rispetto Dataproc Metastore. Per ulteriori informazioni, consulta i piani tariffari e le configurazioni di scalabilità.

Casi d'uso comuni

Tutti i casi d'uso elencati in questa sezione sono supportati da Dataproc Metastore 2 e Dataproc Metastore 1, se non diversamente specificato.

  • Assegna un significato ai tuoi dati. Crea un repository di metadati centralizzato che viene condiviso tra molti cluster Dataproc effimeri. Utilizza le funzionalità di diversi motori software open source (OSS), come [Apache Hive](https://hive.apache.org) , Apache Spark e Presto.

  • Crea una visualizzazione unificata dei tuoi dati. Fornire l'interoperabilità tra ai servizi Google Cloud come Dataproc, Dataplex, e BigQuery o altre offerte di partner basate su open source su in Google Cloud.

Funzionalità e vantaggi

Tutte le funzionalità elencate in questa sezione sono supportate da Dataproc Metastore 2 e Dataproc Metastore 1, salvo diversa indicazione.

  • Compatibilità con software open source. Collegati ai tuoi motori di elaborazione dati esistenti come Apache Hive, Apache Spark e Presto.

  • Gestione. Crea o aggiorna un metastore in pochi minuti, completa di di attività di monitoraggio e operative completamente configurate.

  • Integrazione. Eseguire l'integrazione con altri prodotti Google Cloud, come usando BigQuery come origine dei metadati per un progetto Dataproc in un cluster Kubernetes.

  • Sicurezza integrata. Utilizza i protocolli di sicurezza Google Cloud stabiliti, come Identity and Access Management (IAM) e l'autenticazione Kerberos.

  • Importazione semplice. Importa i metadati esistenti archiviati in un metastore Hive esterno metastore in un servizio Dataproc Metastore.

  • Backup automatici. Configura backup automatici del metastore per evitare e la perdita di dati.

  • Monitoraggio del rendimento. Imposta i livelli di prestazioni in modo che rispondano in modo dinamico a picchi e carichi di lavoro molto intensi, senza preriscaldamento o memorizzazione nella cache.

  • Alta disponibilità.

    • Dataproc Metastore 2. Offre alta disponibilità (HA) di zona senza richiedere alcuna configurazione o gestione continua specifica. Questo è mediante la replica automatica dei database di backend e dei server HMS in più zone nella regione scelta. Oltre all'HA zonale, Dataproc Metastore 2 supporta l'HA regionale e la gestione del rischio di catastrofe (DR).
    • Dataproc Metastore 1. Per impostazione predefinita, fornisce dati a livello di zona (HA) senza richiedere alcuna configurazione specifica o gestione dei dispositivi. Ciò si ottiene replicando automaticamente i database di backend e i server HMS in più zone nella regione scelta

  • Scalabilità.

    • Dataproc Metastore 2. Utilizza un fattore di scalabilità orizzontale per determinare quante risorse deve utilizzare il tuo servizio in un determinato momento. Il fattore di scalabilità può essere controllato manualmente o impostato su scalabilità automatica se necessario.
    • Dataproc Metastore 1. Scegli tra un livello sviluppatore di livello enterprise quando configuri il servizio. Questo livello determina il numero di risorse che il tuo servizio deve utilizzare in un determinato momento.

  • Assistenza. Sfrutta gli SLA (accordi sul livello del servizio) e i canali di assistenza standard di Google Cloud.

Integrazioni con Google Cloud

Tutte le integrazioni elencate in questa sezione sono supportate da Dataproc Metastore 1 e Dataproc Metastore 2, se non diversamente specificato.

  • Dataproc. Connettiti a un cluster Dataproc per poter pubblicare i metadati per i carichi di lavoro big data OSS.
  • BigQuery. Eseguire query su set di dati BigQuery in Dataproc carichi di lavoro con scale out impegnativi.
  • Dataplex. Esegui query sui dati strutturati e semistrutturati rilevati in un data lake Dataplex.
  • Data Catalog. Sincronizza Dataproc Metastore con Data Catalog per abilitare la ricerca e il rilevamento dei metadati.
  • Logging e Monitoring. Integra Dataproc Metastore con i prodotti Cloud Monitoring e Logging.
  • Autenticazione e IAM. Utilizza l'autenticazione OAuth standard utilizzata da altri prodotti Google Cloud, che supporta l'utilizzo di ruoli granulari di Identity and Access Management per abilitare il controllo dell'accesso per le singole risorse.

Passaggi successivi