Panoramica di Data Catalog

La funzionalità Data Catalog di Dataplex è un inventario centrale degli asset di dati di un'organizzazione. Data Catalog automaticamente cataloga i metadati da origini Google Cloud come BigQuery, Vertex AI, Pub/Sub, Spanner, Bigtable e altro ancora. Data Catalog indicizza anche i metadati di tabelle e set di file da Cloud Storage tramite il rilevamento.

Puoi rilevare i dati con il database di Dataplex a livello di organizzazione la funzionalità di ricerca dei metadati. Puoi arricchire ulteriormente i metadati con contesto aziendale e abilitare il monitoraggio della derivazione, la profilazione e la qualità dei dati e le funzionalità di controllo dell'accessoo.

Utilizzando Data Catalog, le organizzazioni possono ottenere dati migliori individuazione, gestione e governance dei metadati.

Perché hai bisogno di Data Catalog?

La maggior parte delle organizzazioni oggi ha a che fare con un numero elevato e crescente di dati asset.

Stakeholder dei dati (consumatori, produttori e amministratori) all'interno di un un'organizzazione deve affrontare diverse sfide:

  • Ricerca di dati approfonditi:

    • I consumatori dei dati non conoscono la località e l'origine dei dati. Devono esplora le "palude".
    • I consumatori dei dati non sanno quali dati utilizzare per ottenere approfondimenti perché la maggior parte dei dati non è ben documentato e, anche se documentato, non è ben mantenuto.
    • I dati non possono essere trovati e spesso vanno persi quando si trovano solo nel mente.

  • Comprensione dei dati:

    • I dati sono aggiornati, puliti, convalidati e approvati per l'uso in produzione?
    • Quale set di dati di diversi set duplicati è pertinente e aggiornato?
    • Qual è la relazione tra un set di dati e un altro?
    • Chi sta utilizzando i dati e chi è il proprietario?
    • Chi e quali processi stanno trasformando i dati?

  • Rendere utili i dati:

    • I produttori di dati non dispongono di un modo efficiente per presentare i loro dati per i consumatori. In assenza di un self-service, i consumatori potrebbero sopraffare i produttori. Diversi data engineer non possono fornire manualmente i dati a migliaia di dati analisti.

    • Si perde tempo prezioso se i consumatori dei dati devono scoprire come richiedere l'accesso ai dati, attendi senza un tempo di risposta definito, riassegna e attendi di nuovo.

Senza i giusti strumenti, le sfide diventano un grave ostacolo all'uso efficiente dei dati. Data Catalog offre una soluzione centralizzata che consenta alle organizzazioni di:

  • Ottieni una vista unificata per ridurre le difficoltà di ricerca dei dati giusti.
  • Supporta il processo decisionale basato sui dati e accelera i tempi di approfondimento mediante l'arricchimento dei dati con metadati tecnici e aziendali.
  • Migliora la gestione dei dati per aumentare l'efficienza operativa e la produttività.
  • Assumere la proprietà dei dati per migliorarne l'affidabilità e l'affidabilità.

Funzioni di Data Catalog

Data Catalog offre tre funzioni principali:

  • Ricerca di voci di dati a cui si ha accesso
  • Tagging delle voci di dati con i metadati
  • Fornire sicurezza a livello di colonna per le tabelle BigQuery

Inoltre, Data Catalog può basarsi sui risultati Analisi di Sensitive Data Protection per identificare i dati sensibili i dati direttamente in Data Catalog sotto forma di modelli di tag.

Come funziona Data Catalog

Data Catalog può catalogare i metadati degli asset da diversi sistemi Google Cloud.

Puoi anche utilizzare le API Data Catalog per l'integrazione con origini dati personalizzate.

Dopo aver catalogato i dati, puoi aggiungere i tuoi metadati a queste risorse utilizzando i tag.

Data Catalog rileva i metadati dai dati di Google Cloud come BigQuery, Pub/Sub, Dataproc Metastore, Cloud Storage e o origini dati non cloud, come Hive e Oracle.
. Figura 1. Data Catalog legge i metadati dai servizi Google Cloud e origini dati personalizzate.

Metadati di Data Catalog

Data Catalog gestisce due tipi di metadati: metadati tecnici e metadati aziendali. Per saperne di più sui metadati, consulta la pagina Metadati Data Catalog.

Ricerca e individuazione

Data Catalog offre una potente funzionalità di ricerca basata sui predicati per i metadati tecnici e aziendali associati a una voce di dati. Tu devono disporre delle autorizzazioni necessarie per leggere i metadati per una voce di dati, in modo da e applicare la ricerca e la scoperta ai metadati. Data Catalog non indicizzare i dati all'interno di una voce di dati. Data Catalog indicizza solo metadati che descrivono una risorsa.

Data Catalog controlla alcuni metadati, come i tag generati dagli utenti. Per tutti i metadati provenienti dal sistema di archiviazione sottostante, Data Catalog è un servizio di sola lettura che riflette i metadati e autorizzazioni fornite dal sistema di archiviazione sottostante. Puoi apportare modifiche in al sistema di archiviazione sottostante per aggiungere, aggiornare o eliminare i metadati di un dato .

Per saperne di più sulla ricerca in Data Catalog, consulta Cerca asset di dati con Data Catalog.

Catalogazione automatica delle risorse

Per un determinato progetto, Data Catalog cataloga automaticamente seguenti asset Google Cloud:

  • Set di dati collegati ad Analytics Hub
  • Set di dati, tabelle, modelli, routine e connessioni BigQuery
  • Istanze, cluster e tabelle Bigtable (inclusi i dettagli famiglia di colonne)
  • Lake, zone, tabelle e set di file Dataplex
  • Servizi, database e tabelle Dataproc Metastore
  • Argomenti Pub/Sub
  • Istanze, database, tabelle e viste Spanner

  • Modelli Vertex AI, set di dati e Risorse Vertex AI Feature Store

Oltre a catalogare gli asset all'interno degli ID progetto per i quali hai accesso ai metadati, Data Catalog può catalogare i dati archiviati nei progetti BigQuery che contengono set di dati pubblici.

Catalogo degli asset non Google Cloud

Per catalogare i metadati da sistemi non Google Cloud nella tua organizzazione, puoi utilizzare il metodo seguenti:

Accedi a Data Catalog

Puoi accedere alle funzionalità di Data Catalog utilizzando:

Passaggi successivi