Questa pagina spiega come aggiungere, eseguire l'upgrade e rimuovere bucket Cloud Storage e set di dati BigQuery come asset nelle zone Dataplex esistenti.
Panoramica
Un asset viene mappato ai dati archiviati in Cloud Storage o BigQuery. Puoi mappare i dati archiviati in progetti Google Cloud separati come asset in un'unica zona all'interno di un lake. Puoi collegare bucket Cloud Storage o set di dati BigQuery esistenti da gestire all'interno del lake.
Prima di iniziare
Se non l'hai ancora fatto, crea un lake e una zona in quel lake.
La maggior parte dei comandi
gcloud lakesrichiede una posizione. Puoi specificare la località utilizzando il flag--location.
Controllo dell'accesso
Per rimuovere gli asset, concedi i ruoli IAM contenenti le autorizzazioni IAM
dataplex.lakes.delete,dataplex.zones.deleteodataplex.assets.delete. Puoi utilizzare i ruoliroles/dataplex.admineroles/dataplex.editorspecifici di Dataplex per concedere queste autorizzazioni.Per aggiungere asset, concedi i ruoli IAM contenenti le autorizzazioni
create-dataplex.lakes.create,dataplex.zones.createodataplex.assets.create. I ruoliroles/dataplex.admineroles/dataplex.editorcontengono queste autorizzazioni.Puoi anche concedere l'autorizzazione a utenti o gruppi utilizzando i ruoli precedenti
roles/ownereroles/editor.Devi autorizzare il servizio Dataplex per le risorse collegate al lake Dataplex. L'autorizzazione viene concessa automaticamente e implicitamente per le risorse nel progetto in cui viene creato il lake. Per altri progetti, autorizza esplicitamente il servizio Dataplex per le risorse.
Per saperne di più, consulta Controllo dell'accesso e IAM di Dataplex.
Concedi ruoli per i bucket Cloud Storage
Per collegare al tuo lake un bucket Cloud Storage di un altro progetto, devi concedere all'account di servizio Dataplex (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com, recuperato dalla pagina dei dettagli del lake nella console) il ruolo dell'account di servizio Dataplex (roles/dataplex.serviceAgent) nel progetto che contiene il bucket. Questo ruolo fornisce al servizio Dataplex il ruolo a livello di amministratore prerequisito per il bucket in modo che sia possibile impostare le autorizzazioni sul bucket stesso.
Concedi ruoli per i set di dati BigQuery
Per collegare al tuo lake un set di dati BigQuery di un altro progetto, devi concedere all'account di servizio Dataplex il ruolo Amministratore BigQuery per il set di dati.
Considerazioni sui Controlli di servizio VPC
Dataplex non viola i perimetri di Controlli di servizio VPC. Prima di aggiungere un asset al lake, assicurati che il bucket o il set di dati sottostante si trovi nella stessa rete Controlli di servizio VPC del lake.
Per ulteriori informazioni, consulta Controlli di servizio VPC con Dataplex.
Aggiungi un asset
Puoi aggiungere un bucket Cloud Storage o un asset di set di dati BigQuery inviando un metodo API Dataplex lakes.zones.assets.create o aggiungendo un bucket o un set di dati alla pagina Zona dati aperta in un browser locale.
In assenza di sovrapposizione tra la regione dei lake Dataplex e una della regione dei bucket Cloud Storage, non puoi aggiungere il bucket a una zona nel tuo lake.
Per saperne di più sulla località della regione di un asset Cloud Storage e sul modo in cui Dataplex gestisce la località di un bucket durante la creazione del set di dati di pubblicazione, consulta Risorse a livello di regione.
Console
Nella console Google Cloud, apri la pagina Dataplex:
Nella pagina Gestisci, fai clic sul lake a cui vuoi aggiungere un bucket Cloud Storage o un set di dati BigQuery. Si apre la pagina del lake.
Nella scheda Zone, fai clic sul nome della zona dati a cui vuoi aggiungere l'asset. Viene visualizzata la pagina Zona dati per quella zona dati.
Nella scheda Asset, fai clic su + Aggiungi asset. Viene visualizzata la pagina Aggiungi asset.
Fai clic su Aggiungi un asset.
Nel campo Tipo, seleziona Set di dati BigQuery o Bucket Cloud Storage.
Nel campo Nome visualizzato, inserisci un nome per il nuovo asset.
Nel campo ID, inserisci un ID univoco per la risorsa.
(Facoltativo) Inserisci una descrizione.
Nel campo Set di dati o Bucket (in base al tipo di asset), fai clic su Sfoglia per trovare e selezionare il bucket Cloud Storage o il set di dati BigQuery.
(Facoltativo) Se il tipo di asset è Bucket Cloud Storage e se vuoi che Dataplex lo gestisca, seleziona la casella di controllo Esegui l'upgrade a gestito. Se scegli questa opzione, non devi eseguire l'upgrade dell'asset separatamente. Questa opzione non è disponibile per i set di dati BigQuery.
Fai clic su Continua.
Scegli gli altri valori parametro. Per ulteriori informazioni sulle impostazioni di sicurezza, consulta Sicurezza di Lake.
Fai clic su Invia per aggiungere la risorsa.
Verifica di essere tornato alla pagina delle zone dati e che il nuovo asset venga visualizzato nell'elenco degli asset.
REST
Segui le istruzioni dell'API per aggiungere un bucket utilizzando Explorer API.
Se l'aggiunta va a buon fine, la zona dati entra automaticamente in stato attivo. Se l'operazione non riesce, viene eseguito il rollback della zona dati al suo stato di integrità precedente.
Esegui l'upgrade di un asset del bucket Cloud Storage
Quando aggiungi un asset di tipo bucket Cloud Storage, Dataplex pubblica automaticamente le tabelle esterne BigQuery per le tabelle ospitate nell'asset.
Quando esegui l'upgrade di un asset del bucket Cloud Storage, Dataplex rimuove le tabelle esterne collegate e crea le tabelle BigLake. Le tabelle BigLake supportano una sicurezza più granulare, tra cui il mascheramento dei dati a livello di riga, di colonna e dinamico.
Puoi eseguire l'upgrade di un asset bucket Cloud Storage nella console Google Cloud oppure inviando il metodo dell'API Dataplex Patch.
Console
Nella console Google Cloud, apri la pagina Dataplex:
Nella pagina Gestisci, fai clic sul nome del lake. Si apre la pagina del lake.
Nella scheda Zone, fai clic sul nome della zona dati. Viene visualizzata la pagina delle zone dati.
Nella scheda Asset, fai clic sul nome dell'asset di cui vuoi eseguire l'upgrade.
Fai clic su Esegui l'upgrade alla versione gestita.
REST
Segui le istruzioni dell'API per eseguire l'upgrade di un asset bucket utilizzando Cloud Explorer.
Eseguire il downgrade di un asset del bucket Cloud Storage
Quando esegui il downgrade di un asset bucket Cloud Storage, Dataplex rimuove le tabelle BigLake collegate e crea tabelle esterne.
Puoi eseguire il downgrade di un asset del bucket Cloud Storage nella console Google Cloud oppure inviando il metodo dell'API Dataplex Patch, con il campo readAccessMode impostato su DIRECT in ResourceSpec.
Console
Nella console Google Cloud, apri la pagina Dataplex:
Nella pagina Gestisci, fai clic sul nome del lake. Si apre la pagina del lake.
Nella scheda Zone, fai clic sul nome della zona dati. Viene visualizzata la pagina delle zone dati.
Nella scheda Asset, fai clic sul nome dell'asset di cui vuoi eseguire l'upgrade.
Fai clic su Esegui il downgrade da gestiti.
REST
Segui le istruzioni dell'API per eseguire il downgrade di un asset bucket
utilizzando Cloud Explorer. Assicurati di impostare il campo readAccessMode su DIRECT in ResourceSpec.
Rimuovere un asset
Puoi rimuovere un bucket Cloud Storage o un asset di un set di dati BigQuery nella console Google Cloud oppure utilizzando il metodo dell'API Dataplex lakes.zones.assets.delete.
Rimuovi l'asset dalla zona dati o dal lake prima di collegarlo a un altro.
Le seguenti istruzioni mostrano come rimuovere un asset Dataplex utilizzando la console Google Cloud o l'API Dataplex.
Console
Nella console Google Cloud, apri la pagina Dataplex:
Nella pagina Gestisci, fai clic sul lake da cui vuoi rimuovere un bucket Cloud Storage o un set di dati BigQuery. Si apre la pagina del lake.
Nella scheda Zone, fai clic sul nome della zona dati da rimuovere il bucket Cloud Storage o il set di dati BigQuery. Viene visualizzata la pagina Zona dati per tale zona dati.
Nella scheda Asset, seleziona l'asset spuntando la casella a sinistra del nome dell'asset.
Fai clic su Elimina asset per rimuovere l'asset.
Nella finestra di dialogo, fai clic su Elimina per confermare lo scollegamento.
REST
Segui le istruzioni dell'API per rimuovere un bucket utilizzando Cloud Explorer.
Che cosa succede dopo?
- Scopri di più sulla scoperta di dati.
- Scopri di più sulla creazione di un lake.
- Scopri di più su Cloud Audit Logs.