Questa pagina spiega come aggiungere, eseguire l'upgrade e rimuovere i bucket Cloud Storage e i set di dati BigQuery come asset nelle zone Dataplex esistenti.
Panoramica
Un asset viene mappato ai dati archiviati in Cloud Storage o BigQuery. Puoi mappare i dati archiviati in progetti Google Cloud separati come asset in una singola zona all'interno di un lake. Puoi collegare bucket Cloud Storage o set di dati BigQuery esistenti da gestire all'interno del lake.
Prima di iniziare
Se non l'hai ancora fatto, crea un lake e una zona al suo interno.
La maggior parte dei comandi
gcloud lakesrichiede una località. Puoi specificare la località utilizzando il flag--location.
Ruoli obbligatori
Per rimuovere gli asset, concedi i ruoli IAM contenenti le autorizzazioni IAM
dataplex.lakes.delete,dataplex.zones.deleteodataplex.assets.delete. Per concedere queste autorizzazioni, puoi utilizzare i ruoliroles/dataplex.admineroles/dataplex.editorspecifici di Dataplex.Per aggiungere asset, concedi i ruoli IAM contenenti le autorizzazioni
create-dataplex.lakes.create,dataplex.zones.createodataplex.assets.create. I ruoliroles/dataplex.admineroles/dataplex.editorcontengono queste autorizzazioni.Puoi anche concedere l'autorizzazione a utenti o gruppi utilizzando i ruoli precedenti
roles/ownereroles/editor.Devi autorizzare il servizio Dataplex sulle risorse collegate al lake Dataplex. L'autorizzazione viene concessa automaticamente e implicitamente per le risorse del progetto in cui viene creato il lake. Per gli altri progetti, autorizza esplicitamente il servizio Dataplex sulle risorse.
Per ulteriori informazioni, consulta IAM e controllo dell'accesso di Dataplex.
Concedi i ruoli per i bucket Cloud Storage
Per collegare un bucket Cloud Storage di un altro progetto al tuo lake, devi assegnare all'account di servizio Dataplex (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com, recuperato dalla pagina dei dettagli del lake nella console) il ruolo dell'account di servizio Dataplex (roles/dataplex.serviceAgent) nel progetto che contiene il bucket. Questo ruolo fornisce al servizio Dataplex il ruolo a livello di amministratore prerequisito sul bucket in modo che sia possibile impostare le autorizzazioni sul bucket stesso.
Concedi i ruoli per i set di dati BigQuery
Per collegare un set di dati BigQuery di un altro progetto al tuo lake, devi concedere all'account di servizio Dataplex il ruolo Amministratore BigQuery nel set di dati.
Considerazioni sui Controlli di servizio VPC
Dataplex non viola i perimetri dei Controlli di servizio VPC. Prima di aggiungere una risorsa al lake, assicurati che il bucket o il set di dati di base sia nella stessa rete Controlli di servizio VPC del lake.
Per saperne di più, consulta Controlli di servizio VPC con Dataplex.
Aggiungi un asset
Se non esiste alcuna sovrapposizione tra la regione del lake Dataplex e una delle regioni dei bucket Cloud Storage, non puoi aggiungere il bucket a una zona del lake.
Per scoprire di più sulla posizione della regione di un asset Cloud Storage e su come Dataplex gestisce la posizione di un bucket durante la creazione del set di dati di pubblicazione, consulta Risorse a livello di regione.
Per aggiungere un asset:
Console
Nella console Google Cloud, vai alla pagina Dataplex.
Nella pagina Gestisci, fai clic sul lake a cui vuoi aggiungere un bucket Cloud Storage o un set di dati BigQuery. Si apre la pagina del lago.
Nella scheda Zone, fai clic sul nome della zona di dati a cui vuoi aggiungere l'asset. Viene visualizzata la pagina relativa alla zona di dati.
Nella scheda Asset, fai clic su + Aggiungi asset. Viene visualizzata la pagina Aggiungi asset.
Fai clic su Aggiungi un asset.
Nel campo Tipo, seleziona Set di dati BigQuery o Bucket Cloud Storage.
Nel campo Nome visualizzato, inserisci un nome per la nuova risorsa.
Nel campo ID, inserisci un ID univoco per l'asset.
(Facoltativo) Inserisci una Descrizione.
Nel campo Set di dati o Bucket (in base al tipo di risorsa), fai clic su Sfoglia per trovare e selezionare il bucket Cloud Storage o il set di dati BigQuery.
(Facoltativo) Se il tipo di asset è Bucket Cloud Storage e vuoi che Dataplex lo gestisca, seleziona la casella di controllo Esegui l'upgrade a gestito. Se scegli questa opzione, non devi eseguire l'upgrade dell'asset separatamente. Questa opzione non è disponibile per i set di dati BigQuery.
Fai clic su Continua.
Scegli il resto dei valori parametro. Per ulteriori informazioni sulle impostazioni di sicurezza, consulta Sicurezza del lake.
Fai clic su Invia.
Verifica di aver fatto ritorno alla pagina della zona di dati e che il nuovo asset sia visualizzato nell'elenco.
REST
Per aggiungere una risorsa, utilizza il metodo lakes.zones.assets.create.
Se l'aggiunta va a buon fine, la zona di dati passa automaticamente allo stato attivo. In caso di errore, viene eseguito il rollback della zona di dati allo stato precedente corretto.
Eseguire l'upgrade di un asset bucket Cloud Storage
Quando aggiungi una risorsa di tipo bucket Cloud Storage, Dataplex pubblica automaticamente le tabelle esterne di BigQuery per le tabelle ospitate nella risorsa.
Quando esegui l'upgrade di una risorsa bucket Cloud Storage, Dataplex rimuove le tabelle esterne collegate e crea tabelle BigLake. Le tabelle BigLake supportano una sicurezza più granulare, tra cui il mascheramento dei dati a livello di riga, di colonna e dinamico.
Per eseguire l'upgrade di un asset bucket Cloud Storage:
Console
Nella console Google Cloud, vai alla pagina Dataplex.
Nella pagina Gestisci, fai clic sul nome del lake. Si apre la pagina del lago.
Nella scheda Zone, fai clic sul nome della zona di dati. Viene aperta la pagina della zona di dati.
Nella scheda Asset, fai clic sul nome della risorsa di cui vuoi eseguire l'upgrade.
Fai clic su Esegui l'upgrade a gestito.
REST
Per eseguire l'upgrade di una risorsa del bucket, utilizza il metodo lakes.zones.assets.patch.
Eseguire il downgrade di un asset bucket Cloud Storage
Quando esegui il downgrade di un asset bucket Cloud Storage, Dataplex rimuove le tabelle BigLake collegate e crea tabelle esterne.
Console
Nella console Google Cloud, vai alla pagina Dataplex.
Nella pagina Gestisci, fai clic sul nome del lake. Si apre la pagina del lago.
Nella scheda Zone, fai clic sul nome della zona di dati. Viene aperta la pagina della zona di dati.
Nella scheda Asset, fai clic sul nome della risorsa di cui vuoi eseguire l'upgrade.
Fai clic su Esegui il downgrade dalla modalità gestita.
REST
Per eseguire il downgrade di un asset del bucket, utilizza il metodo
lakes.zones.assets.patch. Assicurati di impostare il campo readAccessMode su DIRECT in
ResourceSpec.
Rimuovere un asset
Rimuovi l'asset dalla zona o dal lago di dati prima di collegarlo a un altro.
Per rimuovere un asset:
Console
Nella console Google Cloud, vai alla pagina Dataplex.
Nella pagina Gestisci, fai clic sul lake da cui vuoi rimuovere un bucket Cloud Storage o un set di dati BigQuery. Si apre la pagina del lago in questione.
Nella scheda Zone, fai clic sul nome della zona di dati da cui vuoi rimuovere il bucket Cloud Storage o il set di dati BigQuery. Viene visualizzata la pagina Zona dati relativa alla zona dati in questione.
Nella scheda Asset, seleziona l'asset selezionando la casella a sinistra del nome dell'asset.
Fai clic su Elimina risorsa.
Nella finestra di dialogo di conferma, fai clic su Elimina.
REST
Per rimuovere un bucket, utilizza il metodo lakes.zones,assets.delete.
Passaggi successivi
- Scopri di più sul rivelamento dei dati.
- Scopri come creare un lago.
- Scopri di più sugli audit log di Cloud.