Mantieni tutto organizzato con le raccolte
Salva e classifica i contenuti in base alle tue preferenze.
Questo documento descrive Dataplex Catalog, che fornisce
per archiviare, gestire e accedere ai tuoi metadati.
Dataplex Catalog offre un inventario unificato
le risorse di Google Cloud, come BigQuery e altre,
ad esempio le risorse on-premise. Vengono raccolti i metadati per le risorse Google Cloud
automaticamente e trasferirai i metadati per le risorse di terze parti
Dataplex Catalog.
Dataplex Catalog ti consente di arricchire il tuo inventario con
i metadati aziendali e tecnici per acquisire il contesto e le conoscenze del tuo
Google Cloud. Con Dataplex Catalog puoi cercare e individuare
gestire i tuoi dati in tutta l'organizzazione e abilitare la governance dei dati
asset.
Casi d'uso
Puoi utilizzare Dataplex Catalog per fare quanto segue:
Scopri e comprendi i tuoi dati. Catalogo Dataplex
offre visibilità sulle tue risorse di dati in tutta l'organizzazione. Consente di
a trovare risorse pertinenti per le esigenze di consumo dei dati. Fornisce contesto
per le risorse di dati, aiutandoti a comprendere l'idoneità dei dati
e risorse per le esigenze dei tuoi consumatori di dati.
Abilita la governance e la gestione dei dati. Catalogo Dataplex
fornisce metadati che possono informare e alimentare la governance dei dati e i dati
funzionalità di gestione.
Gestisci un repository estensibile e completo per i tuoi metadati.
Dataplex Catalog archivia e fornisce l'accesso ai metadati che
vengono raccolte automaticamente dalle risorse Google Cloud. Puoi
integrare i tuoi metadati da sistemi non Google Cloud. Puoi arricchire tutti
con annotazioni aggiuntive sui metadati aziendali e tecnici.
Come funziona Dataplex Catalog
Dataplex Catalog si basa sui seguenti concetti:
Voce: una voce rappresenta un asset di dati. La maggior parte dei metadati è descritta
in base agli aspetti di una voce. È simile a
in Data Catalog.
Per ulteriori informazioni, consulta Voci.
Aspetto: un aspetto è un insieme di campi di metadati correlati all'interno di una voce.
Un aspetto può essere interpretato come un componente di base di un elemento
metadati aggiuntivi. È simile a
tag in Data Catalog,
tuttavia gli aspetti sono archiviati all'interno delle voci e non come risorse autonome.
Per ulteriori informazioni, consulta la sezione Aspetti.
Tipo di aspetto: un tipo di aspetto è un modello riutilizzabile per gli aspetti. Ogni evento
aspetto è un'istanza di un tipo di aspetto. È simile a
modelli di tag in Data Catalog.
Per ulteriori informazioni, consulta la sezione Tipi di aspetto.
Gruppo di voci: un gruppo di voci è un container di voci che funge da
unità di gestione per queste voci. Ad esempio, utilizza un gruppo di voci per
configurare il controllo dell'accesso IAM, l'attribuzione del progetto o la posizione
nel gruppo di voci. È simile a
gruppi di voci in Data Catalog.
Per ulteriori informazioni, vedi Gruppi di voci.
Tipo di voce: un tipo di voce è un modello per la creazione di voci. it
che stabilisce gli elementi essenziali dei metadati, delineati come un elenco
gli aspetti obbligatori per le voci di questo tipo. Per ulteriori informazioni, vedi
Tipi di voce.
Figura 1. Voci e gruppi di voci.
.
Figura 2. Tipi di aspetto e di voce.
Di seguito sono riportati alcuni casi d'uso per Dataplex Catalog:
In qualità di analista di dati o business, puoi cercare voci in
dell'organizzazione ed esplorare i metadati associati alle voci. Per
Per saperne di più, consulta Cercare asset di dati.
In qualità di proprietario o regolatore dei dati, puoi acquisire ulteriori informazioni
i metadati aziendali annotando gli aspetti alle voci. Per ulteriori informazioni,
consulta Gestire gli aspetti e arricchire i metadati.
In qualità di proprietario o governatore dei dati, puoi garantire la coerenza
i metadati definendo gli standard per l'annotazione (utilizzando i tipi di aspetto) e
voci personalizzate (utilizzando i tipi di voce). Per ulteriori informazioni, vedi
Gestisci gli aspetti e arricchisci i metadati.
In qualità di data engineer, puoi avere un inventario unificato per le tue risorse,
incluse le risorse di Google Cloud
e le risorse di sistemi di terze parti.
Le risorse Google Cloud vengono raccolte automaticamente
Dataplex Catalog e le risorse non Google Cloud
raccolte da te. Per ulteriori informazioni, vedi
Gestisci le voci e importa origini personalizzate.
Se utilizzi già Data Catalog, tieni presente quanto segue:
Voci personalizzate, contesto della panoramica e gruppi di voci creati in
Data Catalog viene reso disponibile in Dataplex Catalog.
I tag e i modelli di tag creati in Data Catalog non sono disponibili in
Dataplex Catalog.
Quando cerchi asset di dati in Dataplex Catalog, sia
creati direttamente in Dataplex Catalog direttamente
dai metadati importati da Data Catalog
Dataplex Catalog è incluso.
Quando cerchi asset di dati in Data Catalog,
sono inclusi i metadati creati in Data Catalog.
Descrizioni dei gruppi di voci in Data Catalog che superano 1024
vengono troncati a 1024 caratteri in
Dataplex Catalog.
Dataplex Catalog e Data Catalog
Dataplex Catalog offre una funzionalità per gestire
e i metadati in Dataplex. Dispone di spazio di archiviazione separato per i metadati e di una
un nuovo set di metodi API integrati nell'API Dataplex.
Le funzionalità principali di Dataplex Catalog includono quanto segue:
Metamodello più efficace
Voci digitate. Puoi applicare standard minimi dei metadati definendo
contenuti di metadati richiesti per le voci personalizzate
Metamodello configurabile dall'utente per voci personalizzate, che aiuta a rendere
l'importazione in modo più solido e migliora la coerenza dei metadati personalizzati
completezza.
Supporto per una più ampia varietà e complessità dei metadati, inclusa l'assistenza
per nidificare strutture come elenchi, mappe e array.
Scalabilità migliorata, inclusa la capacità di interagire con tutti i metadati
associato a una voce tramite singole operazioni CRUD atomiche e
possibilità di recuperare più annotazioni di metadati associate nella ricerca o nell'elenco
diverse.
La tabella seguente mette a confronto le funzionalità di Dataplex Catalog
e Data Catalog:
Voci personalizzate create in Data Catalog e
portato in Dataplex Catalog
I risultati di ricerca includono solo le risorse che appartengono
Perimetro VPC-SC come progetto in cui viene eseguita la ricerca. Quando utilizzi il
Google Cloud, si tratta del progetto selezionato nella
Google Cloud.
Tieni presente che per cercare le voci, è necessaria almeno una delle
Ruoli IAM di Dataplex Catalog
all'interno del progetto utilizzato per la ricerca. Le autorizzazioni nei risultati di ricerca sono
indipendentemente dal progetto selezionato.
La tabella seguente descrive come le risorse Dataplex Catalog
corrispondono alle risorse di Data Catalog:
Mappatura tra Dataplex Catalog e Data Catalog
Risorsa Dataplex Catalog
Risorsa Data Catalog
Descrizione
Tipo di aspetto (global)
Modello di tag pubblico
I modelli di tag sono risorse di regione. Tuttavia, puoi utilizzarle per creare
tra regioni diverse. I modelli di tag corrispondono all'aspetto global
in Dataplex Catalog.
Aspetto facoltativo
Tag pubblico
I tag pubblici in Data Catalog corrispondono ad aspetti facoltativi in
Dataplex Catalog.
Gruppo di voci
Gruppo di voci
Per le origini Google Cloud, gruppi di voci di sistema come @bigquery
vengono stabilite per singolo progetto in Dataplex Catalog.
Aspetti obbligatori per le voci personalizzate
Voce personalizzata
Condivisione di Data Catalog e Dataplex Catalog
concetti simili per le voci personalizzate.
Le proprietà delle voci standard vengono modellate come aspetti obbligatori in
Dataplex Catalog.
Aspetti obbligatori delle voci di sistema
Voce di sistema (Google Cloud)
Metadati che descrivono le entità integrate, ad esempio Schema per
BigQuery, vengono acquisite negli aspetti obbligatori del
tipi di aspetto definiti dal sistema.
I metadati delle seguenti origini Google Cloud vengono importati automaticamente
in Dataplex Catalog:
Piattaforme di scambio e schede Analytics Hub
set di dati, tabelle, modelli, routine, connessioni e dati BigQuery
set di dati collegati
Istanze, cluster e tabelle Bigtable (incluse le colonne
dettagli del gruppo Famiglia)
Istanze, database, schemi, tabelle e viste di Cloud SQL
Servizi, database e tabelle Dataproc Metastore
Argomenti Pub/Sub
Istanze, database, tabelle e viste Spanner
Modelli Vertex AI, set di dati
Vincoli di località e progetto
Le risorse Dataplex Catalog sono ospitate all'interno di vari progetti
e località. Si applicano le seguenti limitazioni:
Località:
La posizione di una voce deve corrispondere a quella del tipo di voce
oppure il tipo di voce deve essere global.
Un aspetto aggiunto a una voce deve essere basato su un tipo di aspetto archiviato
nella stessa posizione della voce o il tipo di aspetto deve essere global.
Un tipo di voce deve essere composto da tipi di aspetto archiviati nello stesso
posizione come tipo di voce.
Progetto:
Se un tipo di voce fa riferimento a tipi di aspetto personalizzati, questi devono essere
nella stessa località e nello stesso progetto del tipo di voce.
Funzionalità non supportate in Dataplex Catalog
Le seguenti funzionalità disponibili in Data Catalog non sono
supportato in Dataplex Catalog:
La nozione di aspetti privati e tipi di aspetto non è supportata in
Dataplex Catalog. L'accesso agli aspetti è regolato da
autorizzazioni associate alla voce che contiene gli aspetti.
Per saperne di più, consulta Ruoli IAM di Dataplex.
La ricerca di tag di criteri non è supportata in Dataplex Catalog
ricerca; di conseguenza i predicati policytag e policytagid non funzionano
nella ricerca in Dataplex Catalog.
Per le voci personalizzate di Data Catalog che vengono
Dataplex Catalog, le autorizzazioni IAM esistenti
i metadati correnti non vengono propagati automaticamente ai metadati copiati. Devi
configurare esplicitamente le autorizzazioni IAM per i metadati copiati prima di utilizzarli.
Invio dei risultati del job di Sensitive Data Protection a
Dataplex Catalog non è supportato.
Non puoi elencare i tipi di voce e di aspetto nei progetti utilizzando l'API.
Puoi limitare la richiesta di elenco a un solo progetto.
Non puoi modificare l'elenco dei tipi di aspetto obbligatori in un tipo di voce dopo
crei il tipo di voce.
Prezzi
Dataplex utilizza lo SKU di archiviazione dei metadati per addebitare l'archiviazione dei metadati.
Per ulteriori informazioni, consulta i prezzi di Dataplex.
Non sono previsti costi per l'utilizzo di quanto segue:
Creazione e gestione delle risorse Dataplex Catalog
Cerca chiamate API per Dataplex Catalog
Le query di ricerca eseguite nella pagina Dataplex Catalog nella
Console Google Cloud
