Questo documento descrive Dataplex Catalog, che fornisce una piattaforma per archiviare, gestire e accedere ai metadati.
Dataplex Catalog fornisce un inventario unificato delle risorse Google Cloud, come BigQuery, e di altre risorse, come le risorse on-premise. Vengono raccolti i metadati per le risorse Google Cloud automaticamente e trasferirai i metadati per le risorse di terze parti Dataplex Catalog.
Dataplex Catalog ti consente di arricchire il tuo inventario con metadati tecnici e aziendali aggiuntivi per acquisire il contesto e le conoscenze sulle tue risorse. Con Dataplex Catalog, puoi cercare e scoprire i tuoi dati in tutta l'organizzazione e attivare la governance dei dati per le tue risorse di dati.
Casi d'uso
Puoi utilizzare Dataplex Catalog per fare quanto segue:
Scopri e comprendi i tuoi dati. Catalogo Dataplex offre visibilità sulle tue risorse di dati in tutta l'organizzazione. Consente di a trovare risorse pertinenti per le esigenze di consumo dei dati. Fornisce contesto per le risorse di dati, aiutandoti a comprendere l'idoneità dei dati e risorse per le esigenze dei tuoi consumatori di dati.
Abilita la governance e la gestione dei dati. Catalogo Dataplex fornisce metadati che possono informare e alimentare la governance dei dati e i dati funzionalità di gestione.
Gestisci un repository estensibile e completo per i metadati. Dataplex Catalog archivia e fornisce l'accesso ai metadati che vengono raccolte automaticamente dalle risorse Google Cloud. Puoi integrare i tuoi metadati da sistemi non Google Cloud. Puoi arricchire tutti con annotazioni aggiuntive sui metadati aziendali e tecnici.
Come funziona Dataplex Catalog
Dataplex Catalog si basa sui seguenti concetti:
Voce: una voce rappresenta un asset di dati. La maggior parte dei metadati è descritta in base agli aspetti di una voce. È simile a in Data Catalog. Per ulteriori informazioni, consulta la sezione Voce.
Aspetto: un aspetto è un insieme di campi di metadati correlati all'interno di una voce. Un aspetto può essere interpretato come un componente di base di un elemento metadati aggiuntivi. È simile ai tag in Data Catalog, tuttavia gli aspetti vengono archiviati all'interno delle voci e non come risorse autonome. Per ulteriori informazioni, consulta Aspetti.
Tipo di aspetto: un tipo di aspetto è un modello riutilizzabile per gli aspetti. Ogni evento aspetto è un'istanza di un tipo di aspetto. È simile ai modelli di tag in Data Catalog. Per ulteriori informazioni, consulta Tipi di aspetti.
Gruppo di voci: un gruppo di voci è un contenitore di voci che funge da unità di gestione per queste voci. Ad esempio, utilizza un gruppo di voci per configurare il controllo dell'accesso IAM, l'attribuzione del progetto o la posizione nel gruppo di voci. È simile a gruppi di voci in Data Catalog. Per ulteriori informazioni, vedi Gruppi di voci.
Tipo di voce: un tipo di voce è un modello per la creazione di voci. Stabilisce gli elementi essenziali dei metadati, descritti come un elenco di aspetti obbligatori per le voci di questo tipo. Per ulteriori informazioni, vedi Tipi di voce.
Figura 1. Voci e gruppi di voci 
Figura 2. Tipi di aspetti e tipi di voci
Di seguito sono riportati alcuni casi d'uso per Dataplex Catalog:
- In qualità di analista di dati o analista aziendale, puoi cercare le voci nell'organizzazione ed esplorare i metadati associati. Per maggiori informazioni, consulta Cercare asset di dati.
- In qualità di proprietario o regolatore dei dati, puoi acquisire ulteriori informazioni i metadati aziendali annotando gli aspetti alle voci. Per ulteriori informazioni, consulta Gestire gli aspetti e arricchire i metadati.
- In qualità di proprietario o governatore dei dati, puoi garantire la coerenza i metadati definendo gli standard per l'annotazione (utilizzando i tipi di aspetto) e voci personalizzate (utilizzando i tipi di voce). Per ulteriori informazioni, vedi Gestisci gli aspetti e arricchisci i metadati.
- In qualità di data engineer, puoi avere un inventario unificato per le tue risorse, incluse le risorse Google Cloud e quelle di sistemi di terze parti. Le risorse Google Cloud vengono raccolte automaticamente da Dataplex Catalog, mentre quelle non Google Cloud vengono raccolte da te. Per ulteriori informazioni, vedi Gestisci le voci e importa origini personalizzate.
Se utilizzi già Data Catalog, tieni presente quanto segue:
- Le voci personalizzate, il contesto di panoramica e i gruppi di voci che hai creato in Data Catalog vengono resi disponibili in Dataplex Catalog.
- I tag e i modelli di tag creati in Data Catalog non sono disponibili in Dataplex Catalog.
- Quando cerchi asset di dati in Dataplex Catalog, sia creati direttamente in Dataplex Catalog direttamente dai metadati importati da Data Catalog Dataplex Catalog è incluso.
- Quando cerchi asset di dati in Data Catalog, sono inclusi i metadati creati in Data Catalog.
- Descrizioni dei gruppi di voci in Data Catalog che superano 1024 vengono troncati a 1024 caratteri in Dataplex Catalog.
Dataplex Catalog e Data Catalog
Dataplex Catalog offre una funzionalità per gestire e i metadati in Dataplex. È dotato di un'area di archiviazione dei metadati separata e di un nuovo insieme di metodi API integrati nell'API Dataplex.
Le funzionalità principali di Dataplex Catalog includono:
Metamodello più solido
- Voci digitate. Puoi applicare standard minimi per i metadati definendo i contenuti obbligatori per le voci personalizzate
- Metamodello configurabile dall'utente per voci personalizzate, che aiuta a rendere l'importazione in modo più solido e migliora la coerenza dei metadati personalizzati completezza.
- Supporto per una maggiore varietà e complessità dei metadati, incluso il supporto per strutture nidificate come elenchi, mappe e array.
Scalabilità migliorata, inclusa la possibilità di interagire con tutti i metadati associati a una voce tramite singole operazioni CRUD atomiche e la possibilità di recuperare più annotazioni dei metadati associate nelle risposte di ricerca o elenco.
La tabella seguente mette a confronto le funzionalità di Dataplex Catalog e Data Catalog:
| Funzionalità | Dataplex Catalog | Data Catalog |
|---|---|---|
| Origini Google Cloud supportate | Tutte le origini descritte nella sezione Origini Google Cloud supportate di questo documento. | Tutte le origini descritte in Voci e gruppi di voci. |
| Importazione di origini personalizzate | Importazione in voci personalizzate con una struttura regolata, definita da tipi di voce. Le voci e i gruppi di voci personalizzati di Data Catalog vengono resi disponibili in Dataplex Catalog nel tipo di voce | Importazione in voci personalizzate generiche. |
| Arricchimento dei metadati | Il contesto dei metadati per le voci viene acquisito utilizzando aspetti e tipi di aspetti. | Il contesto dei metadati per le voci viene acquisito utilizzando i tag e i modelli di tag. |
| Cerca | La ricerca viene eseguita su quanto segue:
I risultati di ricerca includono solo le risorse che appartengono allo stesso perimetro VPC-SC del progetto in base al quale viene eseguita la ricerca. Quando utilizzi la console Google Cloud, si tratta del progetto selezionato nella console. Tieni presente che per cercare le voci, è necessaria almeno una delle Ruoli IAM di Dataplex Catalog all'interno del progetto utilizzato per la ricerca. Le autorizzazioni per i risultati di ricerca vengono controllate indipendentemente dal progetto selezionato. |
La ricerca viene eseguita su quanto segue:
|
La tabella seguente descrive come le risorse Dataplex Catalog corrispondono alle risorse di Data Catalog:
| Risorsa Dataplex Catalog | Risorsa Data Catalog | Descrizione |
|---|---|---|
Tipo di aspetto (global) |
Modello di tag pubblico | I modelli di tag sono risorse a livello di regione. Tuttavia, puoi utilizzarli per creare
tag in più regioni. I modelli di tag corrispondono ai global tipi di aspetti
in Dataplex Catalog. |
| Aspetto facoltativo | Tag pubblico | I tag pubblici in Data Catalog corrispondono agli aspetti facoltativi in Dataplex Catalog. |
| Gruppo di voci | Gruppo di voci | Per le origini Google Cloud, gruppi di voci di sistema come @bigquery
vengono stabilite per singolo progetto in Dataplex Catalog. |
| Aspetti obbligatori per le voci personalizzate | Voce personalizzata | Condivisione di Data Catalog e Dataplex Catalog concetti simili per le voci personalizzate. Le proprietà delle voci standard sono modellate come aspetti obbligatori in Dataplex Catalog. |
| Aspetti obbligatori delle voci di sistema | Voce Sistema (Google Cloud) | Metadati che descrivono le entità integrate, ad esempio Schema per
BigQuery, vengono acquisite negli aspetti obbligatori del
tipi di aspetto definiti dal sistema. |
Per ulteriori informazioni sulle funzionalità disponibili in in Data Catalog e non sono supportati in Dataplex Catalog, vedi Funzionalità che non sono supportate in Dataplex Catalog in questo documento.
Origini supportate
I metadati delle seguenti origini Google Cloud vengono importati automaticamente in Dataplex Catalog:
- Piattaforme di scambio e schede Analytics Hub
- set di dati, tabelle, modelli, routine, connessioni e dati BigQuery set di dati collegati
- Istanze, cluster e tabelle Bigtable (inclusi i dettagli delle famiglie di colonne)
- Istanze, database, schemi, tabelle e viste di Cloud SQL: consulta Abilitazione dell'integrazione di Cloud SQL
- Servizi, database e tabelle di Dataproc Metastore
- Argomenti Pub/Sub
- Istanze, database, tabelle e visualizzazioni Spanner
- Modelli, set di dati, gruppi di funzionalità, visualizzazioni di funzionalità e istanze di datastore online di Vertex AI
Per importare metadati da un'origine di terze parti in Dataplex Catalog, puoi utilizzare pipeline di connettività gestita.
Vincoli di località e progetto
Le risorse Dataplex Catalog sono ospitate all'interno di vari progetti e località. Si applicano le seguenti limitazioni:
Località:
- La posizione di una voce deve corrispondere a quella del tipo di voce
oppure il tipo di voce deve essere
global. - Un aspetto aggiunto a una voce deve essere basato su un tipo di aspetto archiviato
nella stessa posizione della voce o il tipo di aspetto deve essere
global. - Un tipo di voce deve essere composto da tipi di aspetto archiviati nello stesso posizione come tipo di voce.
- La posizione di una voce deve corrispondere a quella del tipo di voce
oppure il tipo di voce deve essere
Progetto:
- Se un tipo di voce fa riferimento a tipi di aspetto personalizzato, questi tipi devono trovarsi nella stessa posizione e nello stesso progetto del tipo di voce.
Funzionalità non supportate in Dataplex Catalog
Le seguenti funzionalità disponibili in Data Catalog non sono supportato in Dataplex Catalog:
- Il concetto di aspetti privati e tipi di aspetto non è supportato in Dataplex Catalog. L'accesso agli aspetti è regolato dalle autorizzazioni associate alla voce che li contiene. Per saperne di più, consulta Ruoli IAM di Dataplex.
- La ricerca dei tag delle norme non è supportata nella ricerca di Dataplex Catalog. Di conseguenza, i predicati
policytagepolicytagidnon funzionano nella ricerca di Dataplex Catalog. - Per le voci personalizzate di Data Catalog importate in Dataplex Catalog, le autorizzazioni IAM esistenti per i metadati attuali non vengono propagate automaticamente ai metadati copiati. Devi configurare esplicitamente le autorizzazioni IAM per i metadati copiati prima di utilizzarli.
- Invio dei risultati del job di Sensitive Data Protection a Dataplex Catalog non è supportato.
- Non puoi elencare i tipi di voce e di aspetto nei progetti utilizzando l'API. Puoi limitare l'ambito della richiesta dell'elenco a un solo progetto.
- Non puoi allegare il glossario aziendale alle colonne delle voci Dataplex.
- Non puoi modificare l'elenco dei tipi di aspetto obbligatori in un tipo di voce dopo crei il tipo di voce.
- Per le voci create direttamente in Dataplex Catalog, la derivazione dei dati mostra gli eventi di derivazione nella console Google Cloud ma non mostra informazioni dettagliate sull'origine, sulla destinazione o sul processo. Inoltre, la cronologia dei dati non mostra gli aspetti per nessuna voce nella console Google Cloud.
Prezzi
Dataplex utilizza lo SKU di archiviazione dei metadati per addebitare l'archiviazione dei metadati. Per ulteriori informazioni, consulta Prezzi di Dataplex.
Non sono previsti costi per l'utilizzo di quanto segue:
- Creazione e gestione delle risorse Dataplex Catalog
- Chiamate API di ricerca per Dataplex Catalog
- Query di ricerca eseguite nella pagina Catalogo Dataplex della console Google Cloud
Passaggi successivi
- Scopri come cercare asset di dati in Dataplex Catalog.
- Scopri come gestire le risorse e arricchire i metadati.
- Scopri come gestire le voci e importare le origini personalizzate.