Esta página explica como adicionar, atualizar e remover contentores do Cloud Storage e conjuntos de dados do BigQuery como recursos em zonas do catálogo universal do Dataplex existentes.
Vista geral
Um recurso é mapeado para dados armazenados no Cloud Storage ou no BigQuery. Pode mapear dados armazenados em Google Cloud projetos separados como recursos numa única zona num lake. Pode anexar contentores do Cloud Storage ou conjuntos de dados do BigQuery existentes para serem geridos a partir do interior do lago.
Antes de começar
Se ainda não o fez, crie um lago e uma zona nesse lago.
A maioria dos comandos do
gcloud lakesrequer uma localização. Pode especificar a localização através da flag--location.
Funções necessárias
Para remover recursos, conceda as funções de IAM que contêm as autorizações
dataplex.lakes.delete,dataplex.zones.deleteoudataplex.assets.deletede IAM. As funçõesroles/dataplex.admineroles/dataplex.editorespecíficas do Dataplex Universal Catalog podem ser usadas para conceder estas autorizações.Para adicionar recursos, conceda as funções de IAM que contêm as autorizações
create-dataplex.lakes.create,dataplex.zones.createoudataplex.assets.create. As funçõesroles/dataplex.admineroles/dataplex.editorcontêm estas autorizações.Também pode conceder autorização a utilizadores ou grupos através das funções antigas
roles/ownereroles/editor.Tem de autorizar o serviço Dataplex Universal Catalog nos recursos que estão a ser anexados ao lake do Dataplex Universal Catalog. A autorização é concedida automaticamente e implicitamente para recursos no projeto no qual o lake é criado. Para outros projetos, autorize o serviço Dataplex Universal Catalog em recursos explicitamente.
Para mais informações, consulte o artigo IAM e controlo de acesso do catálogo universal do Dataplex.
Conceda funções para contentores do Cloud Storage
Para anexar um contentor do Cloud Storage de outro projeto ao seu lago, tem de conceder à conta de serviço do Dataplex Universal Catalog (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com, obtida na página de detalhes do lago na consola) a função de conta de serviço do Dataplex Universal Catalog (roles/dataplex.serviceAgent) no projeto que contém o contentor. Esta função fornece ao serviço Dataplex Universal Catalog a função de nível de administrador pré-requisito no contentor para que seja possível definir autorizações no próprio contentor.
Conceda funções para conjuntos de dados do BigQuery
Para anexar um conjunto de dados do BigQuery de outro projeto ao seu lake, tem de conceder à conta de serviço do catálogo universal do Dataplex a função de administrador do BigQuery no conjunto de dados.
Considerações sobre os VPC Service Controls
O Dataplex Universal Catalog não viola os perímetros dos VPC Service Controls. Antes de adicionar um recurso ao lake, certifique-se de que o contentor ou o conjunto de dados subjacente está na mesma rede dos VPC Service Controls que o lake.
Para mais informações, consulte o artigo VPC Service Controls com o catálogo universal do Dataplex.
Adicione um recurso
Se não existir sobreposição entre a região do lago do catálogo universal do Dataplex e a região de um dos contentores do Cloud Storage, não pode adicionar o contentor a uma zona no seu lago.
Para saber mais acerca da localização da região de um recurso do Cloud Storage e como o catálogo universal do Dataplex processa a localização de um contentor quando cria o conjunto de dados de publicação, consulte Recursos regionais.
Para adicionar um recurso, siga estes passos:
Consola
Na Google Cloud consola, aceda à página Lakes do Dataplex Universal Catalog.
Clique no lago ao qual quer adicionar um contentor do Cloud Storage ou um conjunto de dados do BigQuery. É apresentada a página do lago.
No separador Zonas, clique no nome da zona de dados à qual quer adicionar o recurso. A página da zona de dados dessa zona de dados é aberta.
No separador Recursos, clique em + Adicionar recursos. A página Adicionar recursos é aberta.
Clique em Adicionar um recurso.
No campo Tipo, selecione Conjunto de dados do BigQuery ou Bucket do Cloud Storage.
No campo Nome a apresentar, introduza um nome para o novo recurso.
No campo ID, introduza um ID exclusivo para o recurso.
Opcional: introduza uma Descrição.
No campo Conjunto de dados ou Contentor (com base no tipo do seu recurso), clique em Procurar para encontrar e selecionar o seu contentor do Cloud Storage ou conjunto de dados do BigQuery.
Opcional: se o tipo de recurso for contentor do Cloud Storage e quiser que o catálogo universal do Dataplex faça a gestão do recurso, selecione a caixa de verificação Atualizar para gerido. Se escolher esta opção, não tem de atualizar o recurso em separado. Esta opção não está disponível para conjuntos de dados do BigQuery.
Clique em Continuar.
Escolha os restantes valores dos parâmetros. Para mais informações sobre as definições de segurança, consulte o artigo Segurança do Lake.
Clique em Enviar.
Confirme se regressou à página da zona de dados e se o novo recurso aparece na lista de recursos.
REST
Para adicionar um recurso, use o método lakes.zones.assets.create.
Quando a adição é bem-sucedida, a zona de dados entra automaticamente no estado ativo. Se falhar, a zona de dados é revertida para o estado anterior em bom estado.
Atualize um recurso de contentor do Cloud Storage
Quando adiciona um recurso do tipo contentor do Cloud Storage, o Dataplex Universal Catalog publica automaticamente tabelas externas do BigQuery para as tabelas alojadas no recurso.
Quando atualiza um recurso de contentor do Cloud Storage, o catálogo universal do Dataplex remove as tabelas externas anexadas e cria tabelas do BigLake. As tabelas BigLake suportam uma segurança mais detalhada, incluindo a nível da linha, da coluna e a ocultação dinâmica de dados.
Para atualizar um recurso de contentor do Cloud Storage, siga estes passos:
Consola
Na Google Cloud consola, aceda à página Lakes do Dataplex Universal Catalog.
Clique no nome do lago. É apresentada a página do lago.
No separador Zonas, clique no nome da zona de dados. É aberta a página da zona de dados.
No separador Recursos, clique no nome do recurso que quer atualizar.
Clique em Atualizar para gerido.
REST
Para atualizar um recurso de contentor, use o método lakes.zones.assets.patch.
Reduza a categoria de um recurso de contentor do Cloud Storage
Quando rebaixa um recurso de contentor do Cloud Storage, o catálogo universal do Dataplex remove as tabelas do BigLake anexadas e cria tabelas externas.
Consola
Na Google Cloud consola, aceda à página Lakes do Dataplex Universal Catalog.
Clique no nome do lago. É apresentada a página do lago.
No separador Zonas, clique no nome da zona de dados. É aberta a página da zona de dados.
No separador Recursos, clique no nome do recurso que quer atualizar.
Clique em Mudar de gerido.
REST
Para reverter um recurso de contentor, use o método
lakes.zones.assets.patch. Certifique-se de que define o campo readAccessMode como DIRECT em
ResourceSpec.
Remova um recurso
Remova o recurso da zona de dados ou do lago de dados antes de o anexar a uma zona diferente.
Para remover um recurso, siga estes passos:
Consola
Na Google Cloud consola, aceda à página Lakes do Dataplex Universal Catalog.
Clique no lago do qual quer remover um contentor do Cloud Storage ou um conjunto de dados do BigQuery. É aberta a página do lago em questão.
No separador Zonas, clique no nome da zona de dados da qual quer remover o contentor do Cloud Storage ou o conjunto de dados do BigQuery. A página Zona de dados dessa zona de dados é aberta.
No separador Recursos, selecione o recurso selecionando a caixa à esquerda do nome do recurso.
Clique em Eliminar recurso.
Na caixa de diálogo de confirmação, clique em Eliminar.
REST
Para remover um contentor, use o método lakes.zones,assets.delete.
O que se segue?
- Saiba mais sobre como descobrir dados.
- Saiba como criar um lago.
- Saiba mais sobre os registos de auditoria do Cloud.