Panoramica di Data Catalog

La funzionalità Data Catalog di Dataplex è un inventario centrale degli asset di dati di un'organizzazione. Data Catalog cataloga automaticamente i metadati delle origini Google Cloud come BigQuery, Vertex AI, Pub/Sub, Spanner, Bigtable e altri. Data Catalog indicizza anche i metadati delle tabelle e dei set di file da Cloud Storage tramite la scoperta.

Puoi rilevare i dati con il database di Dataplex a livello di organizzazione la funzionalità di ricerca dei metadati. Puoi arricchire ulteriormente i metadati con il contesto aziendale fondamentale e attivare il monitoraggio della derivazione, la profilazione dei dati, i controlli della qualità dei dati e le funzionalità di controllo dell'accesso.

Utilizzando Data Catalog, le organizzazioni possono ottenere dati migliori individuazione, gestione e governance dei metadati.

Perché hai bisogno di Data Catalog?

La maggior parte delle organizzazioni oggi ha a che fare con un numero elevato e crescente di dati asset.

Gli stakeholder dei dati (consumatori, produttori e amministratori) all'interno di un'organizzazione devono affrontare una serie di sfide:

  • Ricerca di dati approfonditi:

    • I consumer di dati non conoscono la posizione e l'origine dei dati. Devono gestire "paludi" di dati.
    • I consumer di dati non sanno quali dati utilizzare per ottenere informazioni perché la maggior parte dei dati non è ben documentata e, anche se lo è, non è ben gestita.
    • I dati non possono essere trovati e spesso si perdono quando si trovano solo nella mente delle persone.

  • Informazioni sui dati:

    • I dati sono aggiornati, puliti, convalidati e approvati per l'uso in produzione?
    • Quale set di dati di diversi set duplicati è pertinente e aggiornato?
    • Qual è la relazione tra un set di dati e un altro?
    • Chi sta utilizzando i dati e chi è il proprietario?
    • Chi e quali processi stanno trasformando i dati?

  • Rendere i dati utili:

    • I produttori di dati non dispongono di un modo efficiente per presentare i loro dati per i consumatori. Senza un servizio self-service, i consumatori possono sommergere i produttori di richieste. Molti data engineer non riescono a fornire manualmente i dati a migliaia di data analist.

    • I consumer dei dati rischiano di perdere molto tempo prezioso cercando di scoprire come richiedere l'accesso ai dati, attendere senza un tempo di risposta definito, riassegnare la richiesta e attendere di nuovo.

Senza gli strumenti giusti, le sfide diventano un ostacolo importante per l'uso efficiente dei dati. Data Catalog fornisce un repository centralizzato che consente alle organizzazioni di:

  • Ottieni una visualizzazione unificata per semplificare la ricerca dei dati giusti.
  • Supporta il processo decisionale basato sui dati e accelera i tempi di approfondimento mediante l'arricchimento dei dati con metadati tecnici e aziendali.
  • Migliora la gestione dei dati per aumentare l'efficienza operativa e la produttività.
  • Assumere la proprietà dei dati per migliorare la fiducia in essi.

Funzioni di Data Catalog

Data Catalog offre tre funzioni principali:

Inoltre, Data Catalog può basarsi sui risultati Analisi di Sensitive Data Protection per identificare dati sensibili i dati direttamente in Data Catalog sotto forma di modelli di tag.

Come funziona Data Catalog

Data Catalog può catalogare i metadati delle risorse provenienti da diversi sistemi Google Cloud.

Puoi anche utilizzare le API Data Catalog per l'integrazione con le origini dati personalizzate.

Dopo aver catalogato i dati, puoi aggiungere i tuoi metadati a questi asset utilizzando i tag.

Data Catalog rileva i metadati dai dati di Google Cloud come BigQuery, Pub/Sub, Dataproc Metastore, Cloud Storage e o origini dati non cloud, come Hive e Oracle.
Figura 1. Data Catalog legge i metadati dai servizi Google Cloud e dalle origini dati personalizzate.

Metadati di Data Catalog

Data Catalog gestisce due tipi di metadati: metadati tecnici e metadati aziendali. Per saperne di più sui metadati, consulta la sezione Metadati di Data Catalog.

Ricerca e individuazione

Data Catalog offre una potente funzionalità di ricerca basata sui predicati per i metadati tecnici e aziendali associati a una voce di dati. Tu devono disporre delle autorizzazioni necessarie per leggere i metadati per una voce di dati, in modo da e applicare la ricerca e la scoperta ai metadati. Data Catalog non indicizzare i dati all'interno di una voce di dati. Data Catalog indicizza solo metadati che descrivono una risorsa.

Data Catalog controlla alcuni metadati, come i tag generati dall'utente. Per tutti i metadati provenienti dal sistema di archiviazione sottostante, Data Catalog è un servizio di sola lettura che riflette i metadati e autorizzazioni fornite dal sistema di archiviazione sottostante. Puoi apportare modifiche al sistema di archiviazione sottostante per aggiungere, aggiornare o eliminare i metadati di una voce di dati.

Per scoprire di più sulla ricerca in Data Catalog, consulta Cercare asset di dati con Data Catalog.

Catalogazione automatica delle risorse

Per un determinato progetto, Data Catalog cataloga automaticamente i seguenti asset Google Cloud:

  • Set di dati collegati ad Analytics Hub
  • Set di dati, tabelle, modelli, routine e connessioni BigQuery
  • Istanze, cluster e tabelle Bigtable (inclusi i dettagli famiglia di colonne)
  • Lake, zone, tabelle e set di file Dataplex
  • Servizi, database e tabelle Dataproc Metastore
  • Argomenti Pub/Sub
  • Istanze, database, tabelle e visualizzazioni Spanner

  • Modelli Vertex AI, set di dati e Risorse Vertex AI Feature Store

Oltre a catalogare gli asset all'interno degli ID progetto per i quali hai accesso ai metadati, Data Catalog può catalogare i dati archiviati nei progetti BigQuery che contengono set di dati pubblici.

Cataloga gli asset non Google Cloud

Per catalogare i metadati dei sistemi non Google Cloud nella tua organizzazione, puoi utilizzare quanto segue:

Accedere a Data Catalog

Puoi accedere alle funzionalità di Data Catalog utilizzando:

Passaggi successivi