Se utilizzi Data Catalog, puoi eseguire la transizione dei contenuti e dell'utilizzo di Data Catalog a Dataplex Catalog seguendo i passaggi descritti in questo documento.
Se non hai mai utilizzato il catalogo, ti invitiamo a iniziare con Dataplex Catalog configurandolo come esperienza di catalogo predefinita.
Questo documento è rivolto agli amministratori e ai responsabili dei dati.
Dataplex Catalog ha una nuova API e interfaccia web. La transizione a Dataplex Catalog consente ai carichi di lavoro e agli utenti esistenti e futuri di usufruire delle funzionalità e delle funzionalità avanzate. Per saperne di più, consulta la panoramica di Dataplex Catalog.
Per un confronto tra Dataplex Catalog e Data Catalog, consulta Dataplex Catalog e Data Catalog.
Prima di iniziare la transizione, esamina le funzionalità non supportate in Dataplex Catalog.
Panoramica della transizione
La pagina Gestisci la transizione a Dataplex nella console Google Cloud offre un unico punto di accesso per gestire la transizione.
Questa sezione descrive i vari scenari di transizione e illustra la procedura di transizione per ciascuno di questi scenari.
Se non hai metadati personalizzati in Data Catalog o se non hai mai utilizzato Data Catalog
Se utilizzi Data Catalog e non hai metadati personalizzati, come tag, modelli di tag, voci personalizzate o gruppi di voci, o se non hai mai utilizzato Data Catalog, completa la transizione impostando l'esperienza utente predefinita del catalogo su Dataplex Catalog.
Se hai metadati personalizzati di Data Catalog o carichi di lavoro programmatici
Se utilizzi Data Catalog con metadati personalizzati (ad esempio tag, modelli di tag, voci personalizzate o gruppi di voci), Dataplex può importarli automaticamente in Dataplex Catalog come read-only
. Per abilitare questa funzionalità, sono necessarie modifiche alla configurazione come descritto nella fase preparatoria.
La seconda fase è la fase di trasferimento, in cui lo stato attivo (read-write
)
degli metadati personalizzati viene spostato in Dataplex Catalog. Durante questa fase, devi anche aggiornare eventuali carichi di lavoro programmatici (ad esempio API, librerie client, moduli Terraform e comandi Google Cloud CLI) per interagire con Dataplex Catalog.
Di seguito sono riportati ulteriori dettagli su ogni fase del processo di transizione:
Fase preparatoria: esegui le attività di configurazione necessarie per rendere disponibili contemporaneamente i contenuti di Data Catalog in Dataplex Catalog come
read-only
. Durante questa fase, Data Catalog rimane la fonte autorevole per i contenuti dei metadati.La fase preparatoria include le seguenti attività:
- Aggiorna i modelli di tag privati di Data Catalog in modo che siano pubblici.
- Attiva i modelli di tag e i tag per la disponibilità simultanea dei metadati in Dataplex Catalog.
- Configura le autorizzazioni IAM di Dataplex Catalog per i metadati personalizzati.
Fase di trasferimento: sposta l'utilizzo del catalogo e lo stato attivo (
read-write
) degli metadati personalizzati in Dataplex Catalog.La fase di trasferimento include le seguenti attività:
- Imposta l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog.
- Trasferisci i metadati personalizzati di Data Catalog in Dataplex Catalog.
- Aggiorna i workload programmatici.
Al termine della fase di trasferimento, Dataplex Catalog diventa la fonte autorevole per tutti i metadati e non devi utilizzare Data Catalog.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per eseguire la transizione da Data Catalog a Dataplex Catalog, concedi i seguenti ruoli IAM alla risorsa:
Aggiorna i modelli di tag privati in pubblici: Proprietario TagTemplate Data Catalog (
roles/datacatalog.tagTemplateOwner
)Questo ruolo predefinito contiene l'autorizzazione
datacatalog.tagTemplates.update
, necessaria per aggiornare i modelli di tag privati in modo che siano pubblici.Attiva i modelli di tag e i tag pubblici per la disponibilità simultanea dei metadati in Dataplex Catalog: DataCatalog Migration Config Admin (
roles/datacatalog.migrationConfigAdmin
)Questo ruolo predefinito contiene l'autorizzazione
datacatalog.migrationConfig.set
, obbligatoria per attivare i modelli di tag e i tag.Imposta l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog: DataCatalog Migration Config Admin (
roles/datacatalog.migrationConfigAdmin
)Questo ruolo predefinito contiene l'autorizzazione
datacatalog.migrationConfig.set
, necessaria per impostare l'esperienza di interfaccia utente di catalogo predefinita.Trasferisci i modelli di tag pubblici di Data Catalog a Dataplex Catalog: Proprietario TagTemplate Data Catalog (
roles/datacatalog.tagTemplateOwner
)Questo ruolo predefinito contiene l'autorizzazione
datacatalog.tagTemplates.update
, necessaria per trasferire i modelli di tag pubblici.Trasferisci i gruppi di voci di Data Catalog a Dataplex Catalog: DataCatalog EntryGroup Owner (
roles/datacatalog.entryGroupOwner
)Questo ruolo predefinito contiene l'autorizzazione
datacatalog.entryGroups.update
, necessaria per trasferire i gruppi di voci.
Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.
Potresti anche ottenere questa autorizzazione con ruoli personalizzati o altri ruoli predefiniti.
Fase preparatoria
Questa fase prevede attività per rendere disponibili contemporaneamente i contenuti dei metadati di Data Catalog in Dataplex Catalog, in modalità read-only
.
Di seguito sono riportati i punti chiave da ricordare durante la fase preparatoria:
- Data Catalog rimane la fonte autorevole per i metadati personalizzati.
- Per impostazione predefinita, la pagina Ricerca di Dataplex rimanda alla ricerca in Data Catalog, che include solo i metadati di Data Catalog e non quelli di Dataplex Catalog.
- La ricerca di Dataplex Catalog potrebbe non includere tutti i modelli di tag e i tag pubblici di Data Catalog finché non avrai completato la fase preparatoria.
Scopri di più sulla disponibilità simultanea dei metadati di Data Catalog in Dataplex Catalog
I gruppi di voci personalizzate di Data Catalog e le relative voci sono già resi disponibili contemporaneamente in Dataplex Catalog come read-only
. Quando
attivi i modelli di tag e i tag pubblici
nella fase preparatoria, i relativi contenuti verranno resi disponibili contemporaneamente in
Dataplex Catalog come read-only
.
La tabella seguente mostra la mappatura tra le risorse di Data Catalog e Dataplex Catalog quando le risorse di Data Catalog vengono rese disponibili contemporaneamente in Dataplex Catalog:
Risorsa Data Catalog | Risorsa Dataplex Catalog corrispondente | Descrizione |
---|---|---|
Modello di tag | Tipo di aspetto (globale) | I modelli di tag in Data Catalog sono risorse a livello di regione. Quando attivi i modelli di tag, i relativi contenuti vengono resi disponibili contemporaneamente come tipi di aspetti globali in Dataplex Catalog. Questo serve a preservare i riferimenti tra regioni tra i tag e i modelli di tag. Le definizioni dei tipi di aspetti globali vengono replicate in tutte le regioni Google Cloud. I concetti standard come |
Tag | Aspetto facoltativo | Quando attivi i modelli di tag, i relativi tag vengono resi disponibili contemporaneamente come aspetti facoltativi in Dataplex Catalog. Per ulteriori informazioni, consulta Categorie di aspetti. |
Gruppo di voci | Gruppo di voci | I gruppi di voci per le voci di sistema vengono stabiliti per progetto e per regione in Dataplex Catalog. I gruppi di voci creati in Data Catalog vengono resi disponibili contemporaneamente in Dataplex Catalog. |
Voce personalizzata | Voce personalizzata | Tutte le voci personalizzate in Data Catalog vengono rese disponibili contemporaneamente come voci di GenericEntryType in Dataplex Catalog.
Per ulteriori informazioni, consulta
Categorie di tipi di voci.
|
Voce di sistema (Google Cloud) | Aspetto richiesto per l'inserimento nel sistema | I metadati che descrivono le voci di sistema, ad esempio Schema per le tabelle BigQuery, vengono acquisiti negli aspetti obbligatori dei tipi di aspetto definiti dal sistema.
|
Nota: in genere, gli aggiornamenti dei contenuti di Data Catalog vengono propagati a Dataplex Catalog entro 10 minuti. In alcuni casi, potrebbero essere necessarie fino a 24 ore. Per garantire la coerenza dei dati nei workload critici in termini di tempo, ti consigliamo di verificare le risorse di Dataplex Catalog rispetto alle risorse di Data Catalog o al sistema di origine originale prima dell'utilizzo.
Aggiorna i modelli di tag privati di Data Catalog in modo che siano pubblici
Dataplex Catalog non supporta il concetto di aspetti privati (corrispondenti ai tag privati). Pertanto, i tag e i modelli di tag privati non vengono resi disponibili contemporaneamente in Dataplex Catalog. Per propagare i tag e i modelli di tag privati in Dataplex Catalog, devi aggiornarli in modo da renderli pubblici.
Prima di procedere, esamina la struttura dei modelli di tag privati per assicurarti che la loro struttura e i metadati siano coerenti con la visibilità dei tag pubblici.
Per aggiornare i tag e i modelli di tag privati in modo che diventino pubblici:
Console
Nella console Google Cloud, vai alla pagina Catalogo di Dataplex.
Fai clic su Gestisci la transizione a Dataplex.
Fai clic sulla scheda Modelli di tag privati.
Fai clic su Gestisci modelli di tag.
Nella pagina Modelli di tag, fai clic sul modello di tag privato che vuoi aggiornare.
Nella pagina Dettagli del modello, fai clic su Modifica.
Nella sezione Visibilità, seleziona Pubblico.
Fai clic su Aggiorna.
REST
Per aggiornare i modelli di tag privati in modo che siano pubblici, utilizza il metodo
tagTemplates.patch
.
Attivare i modelli di tag e i tag pubblici per la disponibilità simultanea dei metadati in Dataplex Catalog
Quando attivi la funzionalità, i contenuti dei tag e dei modelli di tag pubblici di Data Catalog vengono propagati automaticamente e in modo continuo a Dataplex Catalog nella tua organizzazione o nel tuo progetto Google Cloud (senza un'organizzazione). I modelli di tag e i tag pubblici di Data Catalog vengono propagati a Dataplex Catalog come tipi di aspetti e aspetti pubblici, rispettivamente. Le definizioni dei tipi di aspetti globali vengono replicate in tutte le regioni Google Cloud.
Per attivare i modelli di tag e i tag pubblici:
Console
Nella console Google Cloud, vai alla pagina Catalogo di Dataplex.
Fai clic su Gestisci la transizione a Dataplex.
Fai clic sulla scheda Attiva.
Fai clic su Fornisci attivazione.
Nella finestra di dialogo di conferma, inserisci il testo visualizzato e fai clic su Conferma.
REST
Per attivare i modelli di tag e i tag, utilizza il metodo
setConfig
.
Sia per le organizzazioni Google Cloud sia per i progetti senza un'organizzazione, puoi revocare l'attivazione fornita in origine facendo clic su Revoca attivazione. Quando revochi l'attivazione, il processo di propagazione dei modelli di tag e dei tag di Data Catalog in Dataplex Catalog si interrompe. Gli aspetti e i tipi di aspetti di Dataplex Catalog creati dalla procedura di attivazione, ma non trasferiti a Dataplex Catalog, vengono eliminati. Il processo di eliminazione potrebbe richiedere fino a 12 ore.
Configura le autorizzazioni IAM di Dataplex Catalog per i metadati personalizzati
I tipi di aspetto e i gruppi di voci personalizzati di Dataplex Catalog che rappresentano i modelli di tag e i gruppi di voci di Data Catalog non ereditano le autorizzazioni IAM originali di Data Catalog. Devi configurare manualmente le autorizzazioni IAM di Dataplex per questi tipi di aspetti e gruppi di voci personalizzati.
Ad esempio, se vuoi creare aspetti utilizzando un tipo di aspetto propagato (che rappresenta il modello di tag di Data Catalog), devi configurare le autorizzazioni IAM necessarie per quel tipo di aspetto. Analogamente, quando importi metadati personalizzati, per creare voci personalizzate all'interno di un gruppo di voci personalizzate propagato, devi configurare le autorizzazioni IAM necessarie per quel gruppo di voci.
Per configurare le autorizzazioni IAM di Dataplex necessarie per i tipi di aspetti e i gruppi di voci personalizzati:
Console
Nella console Google Cloud, vai alla pagina Catalogo di Dataplex.
Fai clic su Gestisci la transizione a Dataplex.
Fai clic sulla scheda Autorizzazioni Dataplex.
Per configurare le autorizzazioni IAM di Dataplex per i tipi di aspetti, fai clic su Tipi di aspetti e modelli di tag.
Per il modello di tag propagato da Data Catalog, fai clic su > Autorizzazioni.
Fai clic su Aggiungi entità.
Aggiungi una nuova entità e assegna i ruoli richiesti.
Fai clic su Salva.
Per configurare le autorizzazioni IAM di Dataplex per i gruppi di voci, fai clic su Gruppi di voci.
Per il gruppo di voci propagato da Data Catalog, fai clic su > Autorizzazioni.
Fai clic su Aggiungi entità.
Aggiungi una nuova entità e assegna i ruoli richiesti.
Fai clic su Salva.
REST
Per configurare le autorizzazioni IAM di Dataplex per i tipi di aspetti, utilizza il metodo aspectTypes.setIamPolicy
.
Per configurare le autorizzazioni IAM di Dataplex per i gruppi di voci, utilizza il metodo entryGroups.setIamPolicy
.
Fase di trasferimento
Questa fase prevede attività per spostare lo stato attivo (read-write
) dei metadati personalizzati di Data Catalog in Dataplex Catalog.
Di seguito sono riportati i punti chiave da ricordare durante la fase di trasferimento:
- La pagina Ricerca di Dataplex rimanda per impostazione predefinita alla ricerca di Dataplex Catalog.
- Puoi trovare e leggere i metadati di Data Catalog e Dataplex Catalog in Dataplex Catalog.
- Per aggiornare i metadati nella console Google Cloud, verrà visualizzato un reindirizzamento alla relativa origine. Ad esempio, se stai aggiornando i modelli di tag di Data Catalog, verrà visualizzata la pagina dei modelli di tag in Data Catalog.
Imposta l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog
Se imposti l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog, si verificherà quanto segue:
Quando vai alla pagina Cerca di Dataplex nella console Google Cloud, la ricerca nel Catalogo Dataplex viene visualizzata per impostazione predefinita. La ricerca di Dataplex Catalog opera su Dataplex Catalog e trova tutti i contenuti dei metadati, inclusi i contenuti creati in Dataplex Catalog e quelli importati da Data Catalog.
La ricerca di Data Catalog trova solo i contenuti di Data Catalog, non quelli di Dataplex Catalog. Pertanto, ti consigliamo di utilizzare la ricerca di Dataplex Catalog.
L'interfaccia web ti incoraggia a creare nuove risorse in Dataplex Catalog. Ad esempio, per impostazione predefinita viene visualizzato Crea tipi di aspetto anziché Crea modelli di tag e Crea gruppo di voci (Dataplex Catalog) anziché Crea gruppo di voci (Data Catalog).
L'impostazione dell'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog è in genere un'operazione unidirezionale. Tuttavia, Dataplex ti consente di annullare le modifiche in casi eccezionali, ad esempio quando vuoi tornare all'esperienza della UI di Catalog predefinita in Data Catalog. Se ripristini le modifiche, non potrai accedere ai contenuti creati in Dataplex Catalog nell'interfaccia web di Data Catalog.
Per impostare l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog, segui questi passaggi:
Console
Nella console Google Cloud, vai alla pagina Catalogo di Dataplex.
Fai clic su Gestisci la transizione a Dataplex.
Fai clic sulla scheda Ricerca Dataplex.
Fai clic su Imposta l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog.
REST
Per impostare l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog,
utilizza il
metodo
setConfig
.
Trasferisci i metadati personalizzati di Data Catalog a Dataplex Catalog
Puoi trasferire i modelli di tag pubblici di Data Catalog (per i quali hai attivato la funzionalità) e i gruppi di voci personalizzate in Dataplex Catalog. Assicurati di trasferire ogni modello di tag e ogni gruppo di voci personalizzate separatamente.
Di seguito è riportato un riepilogo della procedura di trasferimento:
Effetto
- Trasferisce lo stato attivo delle risorse da Data Catalog a Dataplex Catalog. Dopo il trasferimento, per modificare la risorsa o accedere al suo stato corrente, devi utilizzare Dataplex Catalog.
Modifiche al flusso e ai contenuti dei dati
- Contrassegna la risorsa come
read-only
in Data Catalog. - Contrassegna la risorsa come
read-write
in Dataplex Catalog. - Interrompe la disponibilità simultanea di questa risorsa.
- Contrassegna la risorsa come
Dipendenze
- Il trasferimento di un modello di tag comporta anche il trasferimento di tutti i tag che lo utilizzano.
- Il trasferimento dei gruppi di voci comporta anche il trasferimento di tutte le voci all'interno del gruppo.
- Il trasferimento delle voci non influisce sullo stato di trasferimento dei relativi tag e dei rispettivi modelli di tag.
Prima del trasferimento, per modificare il contesto aziendale di una voce (ad esempio overview
, contacts
), puoi utilizzare sia le API Data Catalog sia quelle Dataplex. Dopo il trasferimento, devi utilizzare solo l'API Dataplex.
Di seguito sono descritte le operazioni consentite per una voce personalizzata di Data Catalog con tag, a seconda dello stato di trasferimento del gruppo di voci personalizzate e del modello di tag correlati:
- Quando un modello di tag è attivo in Data Catalog, puoi utilizzarlo per creare tag. Dopo aver trasferito il modello di tag in Dataplex Catalog, non puoi utilizzarlo per creare tag in Data Catalog.
- Puoi creare aspetti utilizzando tipi di aspetti propagati dai modelli di tag di Data Catalog solo dopo aver trasferito i modelli di tag.
Per trasferire i modelli di tag e i gruppi di voci personalizzati di Data Catalog in Dataplex Catalog:
Console
Nella console Google Cloud, vai alla pagina Catalogo di Dataplex.
Fai clic su Gestisci la transizione a Dataplex.
Fai clic sulla scheda Trasferisci a Dataplex.
Per trasferire i modelli di tag di Data Catalog a Dataplex Catalog, fai clic su Visualizza tipi di aspetti e modelli di tag.
Seleziona i modelli di tag che vuoi trasferire.
Fai clic su Trasferisci.
Nella finestra di dialogo di conferma, fai clic su Conferma.
Per trasferire i gruppi di voci personalizzati di Data Catalog a Dataplex Catalog, fai clic su Visualizza gruppi di voci.
Seleziona i gruppi di voci che vuoi trasferire.
Fai clic su Trasferisci.
Nella finestra di dialogo di conferma, fai clic su Conferma.
REST
Per trasferire i modelli di tag e i gruppi di voci personalizzati di Data Catalog
a Dataplex Catalog, utilizza il metodo
tagTemplates.patch
.
Al termine della fase di trasferimento, Dataplex Catalog diventa la fonte autorevole per tutti i metadati e non è necessario utilizzare Data Catalog.
Aggiorna i workload programmatici
Dataplex Catalog include una nuova API, librerie client, moduli Terraform e comandi Google Cloud CLI. Pertanto, devi aggiornare eventuali carichi di lavoro esistenti con l'utilizzo programmatico di Data Catalog in Dataplex Catalog. Consulta gli esempi di codice per Dataplex.
Assicurati di allineare l'aggiornamento dei carichi di lavoro programmatici al trasferimento delle risorse dipendenti, come i modelli di tag e i gruppi di voci personalizzati. Questo è necessario perché il trasferimento sposta lo stato attivo (read-write
) di una risorsa da Data Catalog a Dataplex Catalog.
Di seguito è riportata una sequenza di esempio di aggiornamento dei carichi di lavoro programmatici per interagire con Dataplex Catalog, coordinata con il trasferimento delle risorse dipendenti:
Se i tuoi carichi di lavoro possono tollerare la coerenza finale, sposta le operazioni
read
in Dataplex Catalog.Sposta i carichi di lavoro che eseguono operazioni di tagging
write
in Dataplex Catalog in modo coordinato con il trasferimento dei relativi modelli di tag.Sposta i carichi di lavoro che eseguono operazioni di importazione
write
personalizzate in Dataplex Catalog in modo coordinato con il trasferimento dei rispettivi gruppi di voci personalizzate.
Se devi disaccoppiare l'aggiornamento dei carichi di lavoro e il trasferimento delle risorse corrispondenti, ti consigliamo di implementare una logica all'interno dei carichi di lavoro per instradareread-write
a Data Catalog o Dataplex Catalog in base allo stato del trasferimento delle risorse. Pertanto, i carichi di lavoro funzioneranno indipendentemente
dallo stato di trasferimento della risorsa correlata.
Passaggi successivi
- Scopri di più su Dataplex Catalog.
- Scopri come cercare risorse in Dataplex Catalog.
- Scopri come gestire gli aspetti e arricchire i metadati in Dataplex Catalog.
- Scopri come gestire le voci e importare le origini personalizzate in Dataplex Catalog.
- Consulta il riferimento all'API Dataplex Catalog.