Se utilizzi Data Catalog, puoi eseguire la transizione dei contenuti e dell'utilizzo di Data Catalog a Dataplex Catalog seguendo i passaggi descritti in questo documento.
Se non hai mai utilizzato il catalogo, ti invitiamo a iniziare con Dataplex Catalog configurandolo come esperienza di catalogo predefinita.
Questo documento è rivolto agli amministratori e ai responsabili dei dati.
Dataplex Catalog ha una nuova API e un'interfaccia web. La transizione a Dataplex Catalog consente ai carichi di lavoro e agli utenti esistenti e futuri di usufruire delle funzionalità e delle capacità avanzate. Per saperne di più, consulta la panoramica di Dataplex Catalog.
Per un confronto tra Dataplex Catalog e Data Catalog, consulta Dataplex Catalog e Data Catalog.
Prima di iniziare la transizione, esamina le funzionalità non supportate in Dataplex Catalog.
Panoramica della transizione
La pagina Gestisci la transizione a Dataplex nella console Google Cloud offre un unico punto di accesso per gestire la transizione.
Questa sezione descrive i vari scenari di transizione e illustra la procedura di transizione per ciascuno di questi scenari.
Se non hai metadati personalizzati in Data Catalog o se non hai mai utilizzato Data Catalog
Se utilizzi Data Catalog e non hai metadati personalizzati, come tag, modelli di tag, voci personalizzate o gruppi di voci, o se non hai mai utilizzato Data Catalog, completa la transizione impostando l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog.
Se hai metadati personalizzati di Data Catalog o carichi di lavoro programmatici
Se utilizzi Data Catalog con metadati personalizzati (ad esempio tag, modelli di tag, voci personalizzate o gruppi di voci), Dataplex può importarli automaticamente in Dataplex Catalog come read-only
. Per attivare questa funzionalità, sono necessarie modifiche alla configurazione come descritto nella fase preparatoria.
La seconda fase è la fase di trasferimento, in cui lo stato attivo (read-write
)
degli metadati personalizzati viene spostato in Dataplex Catalog. Durante questa fase, devi anche aggiornare eventuali carichi di lavoro programmatici (ad esempio API, librerie client, moduli Terraform e comandi Google Cloud CLI) per interagire con Dataplex Catalog.
Di seguito sono riportati ulteriori dettagli su ogni fase del processo di transizione:
Fase preparatoria: esegui le attività di configurazione necessarie per rendere disponibili contemporaneamente i contenuti di Data Catalog in Dataplex Catalog come
read-only
. Durante questa fase, Data Catalog rimane la fonte autorevole per i contenuti dei metadati.La fase preparatoria include le seguenti attività:
- Aggiorna i modelli di tag privati di Data Catalog in modo che siano pubblici.
- Attiva i modelli di tag e i tag per la disponibilità simultanea dei metadati in Dataplex Catalog.
- Configura le autorizzazioni IAM di Dataplex Catalog per i metadati personalizzati.
Per ulteriori informazioni, consulta la fase preparatoria.
Fase di trasferimento: sposta l'utilizzo del catalogo e lo stato attivo (
read-write
) degli metadati personalizzati in Dataplex Catalog.La fase di trasferimento include le seguenti attività:
- Imposta l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog.
- Trasferisci i metadati personalizzati di Data Catalog in Dataplex Catalog.
- Aggiorna i workload programmatici.
Al termine della fase di trasferimento, Dataplex Catalog diventa la fonte attendibile per tutti i metadati e non è necessario utilizzare Data Catalog.
Per ulteriori informazioni, consulta la fase di trasferimento.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per la transizione da Data Catalog a Dataplex Catalog, concedi i seguenti ruoli IAM alla risorsa:
Aggiorna i modelli di tag privati in pubblici: Proprietario TagTemplate Data Catalog (
roles/datacatalog.tagTemplateOwner
)Questo ruolo predefinito contiene l'autorizzazione
datacatalog.tagTemplates.update
, necessaria per aggiornare i modelli di tag privati in modo che siano pubblici.Attiva i modelli di tag e i tag pubblici per la disponibilità simultanea dei metadati in Dataplex Catalog: DataCatalog Migration Config Admin (
roles/datacatalog.migrationConfigAdmin
)Questo ruolo predefinito contiene l'autorizzazione
datacatalog.migrationConfig.set
, obbligatoria per attivare i modelli di tag e i tag.Imposta l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog: DataCatalog Migration Config Admin (
roles/datacatalog.migrationConfigAdmin
)Questo ruolo predefinito contiene l'autorizzazione
datacatalog.migrationConfig.set
, necessaria per impostare l'esperienza di interfaccia utente di catalogo predefinita.Trasferisci i modelli di tag pubblici di Data Catalog a Dataplex Catalog: Proprietario TagTemplate Data Catalog (
roles/datacatalog.tagTemplateOwner
)Questo ruolo predefinito contiene l'autorizzazione
datacatalog.tagTemplates.update
, necessaria per trasferire i modelli di tag pubblici.Trasferisci i gruppi di voci di Data Catalog a Dataplex Catalog: DataCatalog EntryGroup Owner (
roles/datacatalog.entryGroupOwner
)Questo ruolo predefinito contiene l'autorizzazione
datacatalog.entryGroups.update
, necessaria per trasferire i gruppi di voci.
Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.
Potresti anche ottenere le autorizzazioni richieste con ruoli personalizzati o altri ruoli predefiniti.
Fase preparatoria
Questa fase prevede attività per rendere disponibili contemporaneamente i contenuti dei metadati di Data Catalog in Dataplex Catalog, in modalità read-only
.
Di seguito sono riportati i punti chiave da ricordare durante la fase preparatoria:
- Data Catalog rimane la fonte autorevole per i metadati personalizzati.
- Per impostazione predefinita, la pagina Ricerca di Dataplex rimanda alla ricerca in Data Catalog, che include solo i metadati di Data Catalog e non quelli di Dataplex Catalog.
- La ricerca di Dataplex Catalog potrebbe non includere tutti i modelli di tag e i tag pubblici di Data Catalog finché non completi la fase preparatoria.
Scopri di più sulla disponibilità simultanea dei metadati di Data Catalog in Dataplex Catalog
I gruppi di voci personalizzati di Data Catalog e le relative voci sono già resi disponibili contemporaneamente in Dataplex Catalog come
read-only
. Quando
attivi i modelli di tag e i tag pubblici
nella fase preparatoria, i relativi contenuti verranno resi disponibili contemporaneamente in
Dataplex Catalog come read-only
.
La tabella seguente mostra la mappatura tra le risorse di Data Catalog e Dataplex Catalog quando le risorse di Data Catalog vengono rese disponibili contemporaneamente in Dataplex Catalog:
Risorsa Data Catalog | Risorsa Dataplex Catalog corrispondente | Descrizione |
---|---|---|
Modello di tag | Tipo di aspetto (globale) | I modelli di tag in Data Catalog sono risorse a livello di regione. Quando attivi i modelli di tag, i relativi contenuti vengono resi disponibili contemporaneamente come tipi di aspetti globali in Dataplex Catalog. Questo serve a preservare i riferimenti tra regioni tra i tag e i modelli di tag. Le definizioni dei tipi di aspetto globali vengono replicate in tutte le regioni di Google Cloud . I concetti standard come |
Tag | Aspetto facoltativo | Quando attivi i modelli di tag, i relativi tag vengono resi disponibili contemporaneamente come aspetti facoltativi in Dataplex Catalog. Per ulteriori informazioni, consulta Categorie di aspetti. |
Gruppo di voci | Gruppo di voci | I gruppi di voci per le voci di sistema vengono stabiliti per progetto e per regione in Dataplex Catalog. I gruppi di voci creati in Data Catalog vengono resi disponibili contemporaneamente in Dataplex Catalog. |
Voce personalizzata | Voce personalizzata | Tutte le voci personalizzate in Data Catalog vengono rese disponibili contemporaneamente come voci di GenericEntryType in Dataplex Catalog.
Per ulteriori informazioni, consulta
Categorie di tipi di voci.
|
Voce di sistema (Google Cloud) | Aspetto obbligatorio per l'inserimento nel sistema | I metadati che descrivono le voci di sistema, ad esempio Schema per le tabelle BigQuery, vengono acquisiti negli aspetti obbligatori dei tipi di aspetto definiti dal sistema.
|
Aggiorna i modelli di tag privati di Data Catalog in modo che siano pubblici
Dataplex Catalog non supporta il concetto di aspetti privati (corrispondenti ai tag privati). Pertanto, i tag e i modelli di tag privati non vengono resi disponibili contemporaneamente in Dataplex Catalog. Per propagare i modelli di tag e i tag privati in Dataplex Catalog, devi aggiornarli in modo da renderli pubblici.
Prima di procedere, controlla la struttura dei modelli di tag privati per assicurarti che la loro struttura e i metadati siano coerenti con la visibilità dei tag pubblici.
Per aggiornare i tag e i modelli di tag privati in modo che diventino pubblici:
Console
Nella console Google Cloud , vai alla pagina Catalogo di Dataplex.
Fai clic su Gestisci la transizione a Dataplex.
Fai clic sulla scheda Modelli di tag privati.
Fai clic su Gestisci modelli di tag.
Nella pagina Modelli di tag, fai clic sul modello di tag privato da aggiornare.
Nella pagina Dettagli del modello, fai clic su Modifica.
Nella sezione Visibilità, seleziona Pubblico.
Fai clic su Aggiorna.
REST
Per aggiornare i modelli di tag privati in modo che siano pubblici, utilizza il metodo
tagTemplates.patch
.
Attivare i modelli di tag e i tag pubblici per la disponibilità simultanea dei metadati in Dataplex Catalog
Una volta fornita l'attivazione, i contenuti dei modelli di tag e dei tag pubblici di Data Catalog vengono propagati automaticamente e in modo continuo a Dataplex Catalog nella tua organizzazione o nel tuo progetto Google Cloud (senza un'organizzazione). I modelli di tag e i tag pubblici di Data Catalog vengono propagati a Dataplex Catalog come tipi di aspetti e aspetti pubblici, rispettivamente. Le definizioni dei tipi di aspetto globali vengono replicate in tutte le regioni di Google Cloud .
Per attivare i modelli di tag e i tag pubblici:
Console
Nella console Google Cloud , vai alla pagina Catalogo di Dataplex.
Fai clic su Gestisci la transizione a Dataplex.
Fai clic sulla scheda Attiva.
Fai clic su Fornisci attivazione.
Nella finestra di dialogo di conferma, inserisci il testo visualizzato e fai clic su Conferma.
REST
Per attivare i modelli di tag e i tag, utilizza il metodo
setConfig
.
Sia per le organizzazioni Google Cloud sia per i progetti senza un'organizzazione, puoi revocare l'attivazione inizialmente fornita facendo clic su Rimuovi attivazione. Quando revochi l'attivazione, il processo di propagazione dei modelli di tag e dei tag di Data Catalog in Dataplex Catalog viene interrotto. I tipi di aspetti e gli aspetti di Dataplex Catalog creati dalla procedura di attivazione, ma non trasferiti a Dataplex Catalog, vengono eliminati. Il processo di eliminazione potrebbe richiedere fino a 12 ore.
Configura le autorizzazioni IAM di Dataplex Catalog per i metadati personalizzati
I tipi di aspetto e i gruppi di voci personalizzati di Dataplex Catalog che rappresentano i modelli di tag e i gruppi di voci di Data Catalog non ereditano le autorizzazioni IAM originali di Data Catalog. Devi configurare manualmente le autorizzazioni IAM di Dataplex per questi tipi di aspetti e gruppi di voci personalizzati.
Ad esempio, se vuoi creare aspetti utilizzando un tipo di aspetto propagato (che rappresenta un modello di tag Data Catalog), devi configurare le autorizzazioni IAM necessarie per quel tipo di aspetto. Analogamente, quando importi metadati personalizzati, per creare voci personalizzate all'interno di un gruppo di voci personalizzate propagato, devi configurare le autorizzazioni IAM necessarie per quel gruppo di voci.
Per ulteriori informazioni su come le autorizzazioni IAM in Data Catalog corrispondono a quelle in Dataplex Catalog, consulta la sezione Mappatura delle autorizzazioni IAM tra Data Catalog e Dataplex Catalog.
Per configurare le autorizzazioni IAM di Dataplex necessarie per i tipi di aspetto e i gruppi di voci personalizzati, segui questi passaggi:
Console
Nella console Google Cloud , vai alla pagina Catalogo di Dataplex.
Fai clic su Gestisci la transizione a Dataplex.
Fai clic sulla scheda Autorizzazioni Dataplex.
Per configurare le autorizzazioni IAM di Dataplex per i tipi di aspetto, fai clic su Tipi di aspetto e modelli di tag.
Per il modello di tag propagato da Data Catalog, fai clic su > Autorizzazioni.
Fai clic su Aggiungi entità.
Aggiungi una nuova entità e assegna i ruoli richiesti.
Fai clic su Salva.
Per configurare le autorizzazioni IAM di Dataplex per i gruppi di voci, fai clic su Gruppi di voci.
Per il gruppo di voci propagato da Data Catalog, fai clic su > Autorizzazioni.
Fai clic su Aggiungi entità.
Aggiungi una nuova entità e assegna i ruoli richiesti.
Fai clic su Salva.
REST
Per configurare le autorizzazioni IAM di Dataplex per i tipi di aspetto, utilizza il metodo aspectTypes.setIamPolicy
.
Per configurare le autorizzazioni IAM di Dataplex per i gruppi di voci, utilizza il metodo entryGroups.setIamPolicy
.
Fase di trasferimento
Questa fase prevede attività per spostare lo stato attivo (read-write
) dei metadati personalizzati di Data Catalog in Dataplex Catalog.
Di seguito sono riportati i punti chiave da ricordare durante la fase di trasferimento:
- La pagina Ricerca di Dataplex rimanda per impostazione predefinita alla ricerca in Dataplex Catalog.
- Puoi trovare e leggere i metadati di Data Catalog e Dataplex Catalog in Dataplex Catalog.
- Per aggiornare i metadati nella console Google Cloud , verrà visualizzato un reindirizzamento alla fonte. Ad esempio, se stai aggiornando i modelli di tag di Data Catalog, verrà visualizzata la pagina dei modelli di tag in Data Catalog.
Imposta l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog
Se imposti l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog, significa quanto segue:
Quando vai alla pagina Cerca di Dataplex nella consoleGoogle Cloud , la ricerca nel Catalogo Dataplex viene visualizzata per impostazione predefinita. La ricerca in Dataplex Catalog opera su Dataplex Catalog e trova tutti i contenuti dei metadati, inclusi i contenuti creati in Dataplex Catalog e quelli importati da Data Catalog.
La ricerca in Data Catalog trova solo i contenuti di Data Catalog, non quelli di Dataplex Catalog. Pertanto, ti consigliamo di utilizzare la ricerca di Dataplex Catalog.
L'interfaccia web ti incoraggia a creare nuove risorse in Dataplex Catalog. Ad esempio, per impostazione predefinita viene visualizzato Crea tipi di aspetto anziché Crea modelli di tag e Crea gruppo di voci (Dataplex Catalog) anziché Crea gruppo di voci (Data Catalog).
L'impostazione dell'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog è solitamente un'operazione unidirezionale. Tuttavia, Dataplex ti consente di annullare le modifiche in casi eccezionali, ad esempio quando vuoi tornare all'esperienza predefinita dell'interfaccia utente del catalogo in Data Catalog. Se ripristini le modifiche, non potrai accedere ai contenuti creati in Dataplex Catalog nell'interfaccia web di Data Catalog.
Per impostare l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog, segui questi passaggi:
Console
Nella console Google Cloud , vai alla pagina Catalogo di Dataplex.
Fai clic su Gestisci la transizione a Dataplex.
Fai clic sulla scheda Ricerca Dataplex.
Fai clic su Imposta l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog.
REST
Per impostare l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog,
utilizza il
metodo
setConfig
.
Trasferisci i metadati personalizzati di Data Catalog a Dataplex Catalog
Puoi trasferire i modelli di tag pubblici di Data Catalog (per i quali hai attivato la funzionalità) e i gruppi di voci personalizzate in Dataplex Catalog. Assicurati di trasferire ogni modello di tag e ogni gruppo di voci personalizzate separatamente.
Di seguito è riportato un riepilogo della procedura di trasferimento:
Effetto
- Trasferisce lo stato attivo delle risorse da Data Catalog a Dataplex Catalog. Dopo il trasferimento, per modificare la risorsa o accedere al suo stato corrente, devi utilizzare Dataplex Catalog.
Modifiche al flusso e ai contenuti dei dati
- Contrassegna la risorsa come
read-only
in Data Catalog. - Contrassegna la risorsa come
read-write
in Dataplex Catalog. - Interrompe la disponibilità simultanea di questa risorsa.
- Contrassegna la risorsa come
Dipendenze
- Il trasferimento di un modello di tag comporta anche il trasferimento di tutti i tag che lo utilizzano.
- Il trasferimento dei gruppi di voci comporta anche il trasferimento di tutte le voci al loro interno.
- Il trasferimento delle voci non influisce sullo stato di trasferimento dei relativi tag e dei rispettivi modelli di tag.
Prima del trasferimento, per modificare il contesto aziendale di una voce (ad esempio,
overview
, contacts
), puoi utilizzare sia le API Data Catalog
che le API Dataplex. Dopo il trasferimento, devi utilizzare solo l'API Dataplex.
Di seguito sono descritte le operazioni consentite per una voce personalizzata di Data Catalog con tag, a seconda dello stato di trasferimento del gruppo di voci personalizzate e del modello di tag correlati:
- Quando un modello di tag è attivo in Data Catalog, puoi utilizzarlo per creare tag. Dopo aver trasferito il modello di tag in Dataplex Catalog, non puoi utilizzarlo per creare tag in Data Catalog.
- Puoi creare aspetti utilizzando tipi di aspetti propagati dai modelli di tag di Data Catalog solo dopo aver trasferito i modelli di tag.
Per trasferire i modelli di tag e i gruppi di voci personalizzati di Data Catalog in Dataplex Catalog, segui questi passaggi:
Console
Nella console Google Cloud , vai alla pagina Catalogo di Dataplex.
Fai clic su Gestisci la transizione a Dataplex.
Fai clic sulla scheda Trasferisci a Dataplex.
Per trasferire i modelli di tag di Data Catalog a Dataplex Catalog, fai clic su Visualizza tipi di aspetto e modelli di tag.
Seleziona i modelli di tag che vuoi trasferire.
Fai clic su Trasferisci.
Nella finestra di dialogo di conferma, fai clic su Conferma.
Per trasferire i gruppi di voci personalizzati di Data Catalog a Dataplex Catalog, fai clic su Visualizza gruppi di voci.
Seleziona i gruppi di voci che vuoi trasferire.
Fai clic su Trasferisci.
Nella finestra di dialogo di conferma, fai clic su Conferma.
REST
Per trasferire i modelli di tag e i gruppi di voci personalizzati di Data Catalog
a Dataplex Catalog, utilizza il metodo
tagTemplates.patch
.
Al termine della fase di trasferimento, Dataplex Catalog diventa la fonte autorevole per tutti i metadati e non è necessario utilizzare Data Catalog.
Aggiorna i workload programmatici
Dataplex Catalog include una nuova API, librerie client, moduli Terraform e comandi Google Cloud CLI. Pertanto, devi aggiornare eventuali carichi di lavoro esistenti con utilizzo programmatico di Data Catalog in Dataplex Catalog. Consulta gli esempi di codice per Dataplex.
Assicurati di allineare l'aggiornamento dei carichi di lavoro programmatici con il trasferimento delle risorse dipendenti, come i modelli di tag e i gruppi di voci personalizzate. Questo è necessario perché il trasferimento sposta lo stato attivo (read-write
) di una risorsa da Data Catalog a Dataplex Catalog.
Di seguito è riportata una sequenza di esempio di aggiornamento dei carichi di lavoro programmatici per interagire con Dataplex Catalog, coordinata con il trasferimento delle risorse dipendenti:
Se i tuoi carichi di lavoro possono tollerare la coerenza finale, sposta le operazioni
read
in Dataplex Catalog.Sposta i carichi di lavoro che eseguono operazioni di tagging
write
in Dataplex Catalog in modo coordinato con il trasferimento dei relativi modelli di tag.Sposta i carichi di lavoro che eseguono operazioni di importazione personalizzata
write
in Dataplex Catalog in modo coordinato con il trasferimento dei rispettivi gruppi di voci personalizzate.
Se devi disaccoppiare l'aggiornamento dei carichi di lavoro e il trasferimento delle risorse corrispondenti, valuta la possibilità di implementare una logica all'interno dei carichi di lavoro per instradareread-write
a Data Catalog o Dataplex Catalog in base allo stato del trasferimento delle risorse. Pertanto, i carichi di lavoro funzioneranno indipendentemente
dallo stato di trasferimento della risorsa correlata.
Passaggi successivi
- Scopri di più su Dataplex Catalog.
- Scopri come cercare risorse in Dataplex Catalog.
- Scopri come gestire gli aspetti e arricchire i metadati in Dataplex Catalog.
- Scopri come gestire le voci e importare le origini personalizzate in Dataplex Catalog.
- Consulta il riferimento all'API Dataplex Catalog.