Questa pagina spiega come aggiungere, eseguire l'upgrade e rimuovere i bucket Cloud Storage Set di dati BigQuery come asset nelle zone Dataplex esistenti.
Panoramica
Un asset viene mappato ai dati archiviati in Cloud Storage o BigQuery. Tu mappare i dati archiviati in progetti Google Cloud separati come asset in un all'interno di un lake. Puoi collegare i bucket Cloud Storage esistenti I set di dati BigQuery devono essere gestiti dall'interno del lake.
Prima di iniziare
Se non l'hai ancora fatto, crea un lake e un zona in quel lake.
La maggior parte dei comandi
gcloud lakesrichiede una località. Puoi specificare la località utilizzando il flag--location.
Controllo degli accessi
Per rimuovere gli asset, concedi i ruoli IAM contenenti le autorizzazioni
dataplex.lakes.delete,dataplex.zones.deleteodataplex.assets.deleteautorizzazioni IAM. Per concedere queste autorizzazioni, puoi utilizzare i ruoliroles/dataplex.admineroles/dataplex.editorspecifici di Dataplex.Per aggiungere asset, concedi i ruoli IAM contenenti le autorizzazioni
create-dataplex.lakes.create,dataplex.zones.createodataplex.assets.create. I ruoliroles/dataplex.admineroles/dataplex.editorcontengono queste autorizzazioni.Puoi anche concedere l'autorizzazione a utenti o gruppi utilizzando l'
roles/ownereroles/editorruoli precedenti.Devi autorizzare il servizio Dataplex sulle risorse che vengono collegato al lake Dataplex. L'autorizzazione viene eseguita automaticamente implicitamente per le risorse nel progetto in cui è stato creato il lake. Per gli altri progetti, autorizza il servizio Dataplex sulle risorse in modo esplicito.
Per ulteriori informazioni, consulta IAM e controllo dell'accesso di Dataplex.
Concedi i ruoli per i bucket Cloud Storage
Per collegare un bucket Cloud Storage di un altro progetto al tuo lake, devi assegnare all'account di servizio Dataplex (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com, recuperato dalla pagina dei dettagli del lake nella console) il ruolo dell'account di servizio Dataplex (roles/dataplex.serviceAgent) nel progetto che contiene il bucket. Questo ruolo fornisce al servizio Dataplex il ruolo a livello di amministratore prerequisito sul bucket in modo che sia possibile impostare le autorizzazioni sul bucket stesso.
Concedi i ruoli per i set di dati BigQuery
Per collegare un set di dati BigQuery di un altro progetto al tuo lake, devi concedere all'account di servizio Dataplex il ruolo Amministratore BigQuery nel set di dati.
Considerazioni sui Controlli di servizio VPC
Dataplex non viola i perimetri dei Controlli di servizio VPC. Prima di aggiungere una risorsa al lake, assicurati che il bucket o il set di dati sottostante si trovi nella stessa rete VPC Service Controls del lake.
Per ulteriori informazioni, consulta Controlli di servizio VPC con Dataplex.
Aggiungi un asset
Puoi aggiungere un bucket Cloud Storage o un set di dati BigQuery
mediante l'emissione di un metodo dell'API Dataplex
lakes.zones.assets.create
o aggiungendo un bucket o un set di dati nella pagina Data Zone aperta in un browser locale.
Se non esiste sovrapposizione tra la regione del lake Dataplex e una delle regioni dei bucket Cloud Storage, non puoi aggiungere del bucket in una zona del tuo lake.
Per saperne di più sulla località di una regione l'asset Cloud Storage e il modo in cui Dataplex gestisce di un bucket quando crei il set di dati di pubblicazione, consulta Risorse regionali.
Console
Nella console Google Cloud, apri la pagina Dataplex:
Nella pagina Gestisci, fai clic sul lake a cui vuoi aggiungere un bucket Cloud Storage o BigQuery del set di dati. Si apre la pagina del lago.
Nella scheda Zone, fai clic sul nome della zona dati a cui vuoi aggiungere l'asset. Pagina Zona dati per quella zona dati si apre.
Nella scheda Asset, fai clic su + Aggiungi asset. Viene visualizzata la pagina Aggiungi asset.
Fai clic su Aggiungi un asset.
Nel campo Tipo, seleziona Set di dati BigQuery o Bucket Cloud Storage.
Nel campo Nome visualizzato, inserisci un nome per la nuova risorsa.
Nel campo ID, inserisci un ID univoco per l'asset.
(Facoltativo) Inserisci una descrizione.
Nel campo Set di dati o Bucket (in base al tipo di risorsa), fai clic su Sfoglia per trovare e selezionare il bucket Cloud Storage o il set di dati BigQuery.
(Facoltativo) Se il tipo di asset è Bucket Cloud Storage e se vuoi che Dataplex gestisca l'asset, quindi seleziona Casella di controllo Esegui l'upgrade a gestito. Se scegli questa opzione, non devi eseguire l'upgrade dell'asset separatamente. Questa opzione non è disponibile per i set di dati BigQuery.
Fai clic su Continua.
Scegli gli altri valori parametro. Per ulteriori informazioni sulle impostazioni di sicurezza, consulta Sicurezza del lake.
Fai clic su Invia per aggiungere l'asset.
Verifica di essere tornato alla pagina della zona dati e che la nuova viene visualizzato nell'elenco degli asset.
REST
Segui le istruzioni dell'API per aggiungere un bucket utilizzando Explorer API.
Una volta completata l'aggiunta, la zona dati entra automaticamente in stato stato. In caso di errore, viene eseguito il rollback della zona di dati allo stato precedente corretto.
Esegui l'upgrade di un asset del bucket Cloud Storage
Quando aggiungi un asset di tipo bucket Cloud Storage, Dataplex pubblica automaticamente BigQuery tabelle esterne per le tabelle ospitate nel asset.
Quando esegui l'upgrade di un asset del bucket Cloud Storage, Dataplex rimuove le tabelle esterne collegate e crea Tabelle BigLake. Le tabelle BigLake supportano una migliore sicurezza granulare, tra cui il mascheramento dei dati dinamico a livello di riga, di colonna e di mascheramento.
Puoi eseguire l'upgrade di un asset del bucket Cloud Storage nella console Google Cloud oppure rilasciando il metodo dell'API Dataplex Patch.
Console
Nella console Google Cloud, apri la pagina Dataplex:
Nella pagina Gestisci, fai clic sul nome del lake. Si apre la pagina del lago.
Nella scheda Zone, fai clic sul nome della zona dati. Viene aperta la pagina della zona di dati.
Nella scheda Asset, fai clic sul nome dell'asset da modificare upgrade.
Fai clic su Esegui l'upgrade a gestito.
REST
Segui le istruzioni dell'API per eseguire l'upgrade di un asset bucket utilizzando Cloud Explorer.
Eseguire il downgrade di un asset bucket Cloud Storage
Quando esegui il downgrade di un asset del bucket Cloud Storage, Dataplex rimuove il collegamento Tabelle BigLake e crea tabelle esterne.
Puoi eseguire il downgrade di una risorsa del bucket Cloud Storage nella console Google Cloud o eseguendo il metodo Patch dell'API Dataplex con il campo readAccessMode impostato su DIRECT in ResourceSpec.
Console
Nella console Google Cloud, apri la pagina Dataplex:
Nella pagina Gestisci, fai clic sul nome del lake. Si apre la pagina del lake.
Nella scheda Zone, fai clic sul nome della zona dati. Viene aperta la pagina della zona di dati.
Nella scheda Asset, fai clic sul nome della risorsa di cui vuoi eseguire l'upgrade.
Fai clic su Esegui il downgrade dalla versione gestita.
REST
Segui le istruzioni dell'API per eseguire il downgrade di un asset del bucket
utilizzando Cloud Explorer. Assicurati di impostare il campo readAccessMode su DIRECT in ResourceSpec.
Rimuovere un asset
Puoi rimuovere un asset bucket Cloud Storage o set di dati BigQuery nella console Google Cloud o eseguendo il metodo lakes.zones.assets.delete dell'API Dataplex.
Rimuovi l'asset dalla zona dati o dal lake prima di collegarlo a un
un'altra.
Le istruzioni seguenti mostrano come rimuovere un Dataplex un asset utilizzando la console Google Cloud o l'API Dataplex.
Console
Nella console Google Cloud, apri la pagina Dataplex:
Nella pagina Gestisci, fai clic sul lake da cui vuoi rimuovere un bucket Cloud Storage o un set di dati BigQuery. Si apre la pagina del lago in questione.
Nella scheda Zone, fai clic sul nome della zona di dati da cui vuoi rimuovere il bucket Cloud Storage o il set di dati BigQuery. Viene visualizzata la pagina Zona dati per quella zona dati.
Nella scheda Asset, seleziona l'asset selezionando la casella a sinistra del nome dell'asset.
Fai clic su Elimina asset per rimuovere l'asset.
Nella finestra di dialogo, fai clic su Elimina per confermare lo scollegamento.
REST
Segui le istruzioni dell'API per rimuovere un bucket utilizzando Cloud Explorer.
Passaggi successivi
- Scopri di più sul rilevamento dei dati.
- Scopri di più sulla creazione di un lake.
- Scopri di più su Cloud Audit Logs.