Esta página explica como adicionar, fazer upgrade e remover buckets do Cloud Storage e conjuntos de dados do BigQuery como recursos em zonas do Dataplex.
Visão geral
Um recurso é mapeado para dados armazenados no Cloud Storage ou no BigQuery. É possível mapear dados armazenados em projetos separados do Google Cloud como recursos em uma única zona em um lake. É possível anexar buckets do Cloud Storage ou conjuntos de dados do BigQuery para serem gerenciados no lake.
Antes de começar
Crie um lake e um zona desse lake.
A maioria dos comandos
gcloud lakesrequer um local. É possível especificar o local usando a flag--location.
Controle de acesso
Para remover recursos, conceda os papéis do IAM que contêm as permissões
dataplex.lakes.delete,dataplex.zones.deleteoudataplex.assets.deletepermissões do IAM. Os papéis específicos do Dataplexroles/dataplex.admineroles/dataplex.editorpodem ser usados para conceder essas permissões.Para adicionar recursos, conceda os papéis do IAM que contêm as permissões
create,dataplex.lakes.create,dataplex.zones.createoudataplex.assets.create. Os papéisroles/dataplex.admineroles/dataplex.editorcontêm estas permissões.Também é possível conceder permissão a usuários ou grupos usando os papéis legados
roles/ownereroles/editor.É necessário autorizar o serviço do Dataplex nos recursos que estão sendo anexados ao lake do Dataplex. A autorização é concedida de forma automática e implícita para recursos no projeto em que o lago é criado. Para outros projetos, autorize o serviço do Dataplex nos recursos de forma explícita.
Para mais informações, consulte IAM e controle de acesso do Dataplex.
Atribuir papéis a buckets do Cloud Storage
Para anexar um bucket do Cloud Storage de outro projeto ao lake,
precisa conceder à conta de serviço do Dataplex
(service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com,
recuperados da página de detalhes do lake no console), o Dataplex
papel da conta de serviço (roles/dataplex.serviceAgent) no projeto que
que contém o bucket. Esse papel fornece
serviço do Dataplex com o papel de pré-requisito no nível do administrador no bucket para que
permissões podem ser definidas no próprio bucket.
Conceder papéis para conjuntos de dados do BigQuery
Para anexar um conjunto de dados do BigQuery de outro projeto ao lake: você precisa conceder à conta de serviço do Dataplex, Administrador do BigQuery no conjunto de dados.
Considerações sobre o VPC Service Controls
O Dataplex não viola os perímetros do VPC Service Controls. Antes ao adicionar um recurso ao lake, verifique se o bucket ou conjunto de dados subjacente está usando a mesma rede VPC Service Controls que o lake.
Para mais informações, consulte VPC Service Controls com Dataplex.
Adicionar um recurso
É possível adicionar um bucket do Cloud Storage ou um conjunto de dados do BigQuery
emitindo um método da API Dataplex
lakes.zones.assets.create
ou adicionar um bucket ou conjunto de dados na página "Zona de dados" aberta em um navegador local.
Se não houver sobreposição entre a região do lake do Dataplex e uma das regiões de buckets do Cloud Storage, não é possível adicionar do bucket para uma zona no lake.
Para saber mais sobre a localização da região de um do Cloud Storage e como o Dataplex lida com local de um bucket ao criar o conjunto de dados de publicação, consulte Recursos regionais.
Console
No console do Google Cloud, abra a página do Dataplex:
Na página Gerenciar, clique no lake em que você quer adicionar um bucket do Cloud Storage ou BigQuery no conjunto de dados. A página do lago é aberta.
Na guia Zonas, clique no nome da zona de dados em que você quer adicionar o recurso. A página da zona de dados para essa zona de dados é aberta.
Na guia Recursos, clique em + Adicionar recursos. A página Adicionar recursos é aberta.
Clique em Adicionar um recurso.
No campo Tipo e selecione Conjunto de dados do BigQuery ou bucket do Cloud Storage.
No campo Nome de exibição, digite um nome para o novo recurso.
No campo ID, insira um ID exclusivo para o recurso.
Opcional: digite uma Descrição.
No campo Dataset ou Bucket (com base no tipo do seu recurso), clique em Procurar para encontrar e selecionar o bucket do Cloud Storage ou o conjunto de dados do BigQuery.
Opcional: se o tipo de recurso for Bucket do Cloud Storage e você querer que o Dataplex gerencie o recurso, selecione a caixa de seleção Upgrade to Managed. Se você escolher essa opção, precisará fazer o upgrade do recurso separadamente. Esta opção não está disponível para conjuntos de dados do BigQuery.
Clique em Continuar.
Escolha o restante dos valores de parâmetro. Para mais informações sobre as configurações de segurança, consulte Segurança do Lake.
Clique em Enviar para adicionar o recurso.
Verifique se você retornou para a página da zona de dados e se o novo recurso aparece na lista de recursos.
REST
Siga as instruções da API para adicionar um bucket usando o APIs Explorer.
Quando a adição é bem-sucedida, a zona de dados fica automaticamente ativa estado. Se falhar, a zona de dados será revertida para a um estado íntegro.
Fazer upgrade de um recurso de bucket do Cloud Storage
Quando você adiciona um recurso do tipo bucket do Cloud Storage, O Dataplex publica automaticamente o BigQuery tabelas externas para as tabelas hospedadas no ativo.
Ao fazer upgrade de um recurso de bucket do Cloud Storage, O Dataplex remove as tabelas externas anexadas e cria Tabelas do BigLake. As tabelas do BigLake oferecem suporte a uma segurança mais refinada, incluindo mascaramento de dados dinâmico nos níveis de linha e coluna.
É possível fazer upgrade de um recurso de bucket do Cloud Storage no console do Google Cloud ou emitindo o método da API Dataplex Patch:
Console
No console do Google Cloud, abra a página do Dataplex:
Na página Gerenciar, clique no nome do lake. A página "Lake" será aberta.
Na guia Zonas, clique no nome da zona de dados. O a página da zona de dados será aberta.
Na guia Recursos, clique no nome do recurso que você quer atualizar.
Clique em Fazer upgrade para "Gerenciado".
REST
Siga as instruções da API para atualizar um recurso de bucket usando o Cloud Explorer.
Fazer downgrade de um recurso de bucket do Cloud Storage
Quando você faz downgrade de um recurso de bucket do Cloud Storage, O Dataplex remove os arquivos tabelas do BigLake e cria em tabelas externas.
É possível fazer downgrade de um recurso de bucket do Cloud Storage no console do Google Cloud
ou emitindo o método da API Dataplex
Patch,
com o campo readAccessMode definido como DIRECT em
ResourceSpec
Console
No console do Google Cloud, abra a página do Dataplex:
Na página Gerenciar, clique no nome do lake. A página do lago é aberta.
Na guia Zonas, clique no nome da zona de dados. O a página da zona de dados será aberta.
Na guia Recursos, clique no nome do recurso que você quer atualizar.
Clique em Fazer downgrade do modo gerenciado.
REST
Siga as instruções da API para fazer downgrade de um recurso do bucket.
usando o Cloud Explorer. Defina o campo readAccessMode
como DIRECT em
ResourceSpec.
Remover um recurso
É possível remover um bucket do Cloud Storage ou um recurso de conjunto de dados do BigQuery no console do Google Cloud ou emitindo o método lakes.zones.assets.delete da API Dataplex.
Remova o recurso da zona ou do data lake antes de anexá-lo a outro.
As instruções a seguir demonstram como remover um recurso do Dataplex usando o console do Google Cloud ou a API Dataplex.
Console
No console do Google Cloud, abra a página do Dataplex:
Na página Gerenciar, clique no lake de onde você quer remover um bucket do Cloud Storage ou um conjunto de dados do BigQuery. A página do lago é aberta.
Na guia Zonas, clique no nome da zona de dados como remover o bucket do Cloud Storage ou o BigQuery conjunto de dados. A página da zona de dados é aberta.
Na guia Recursos, marque a caixa à esquerda para selecionar o recurso. do nome do recurso.
Clique em Excluir recurso para removê-lo.
Na caixa de diálogo, clique em Excluir para confirmar a remoção.
REST
Siga as instruções da API para remover um bucket. usando o Cloud Explorer.
A seguir
- Saiba mais sobre como descobrir dados.
- Saiba mais sobre como criar um lake.
- Saiba mais sobre os registros de auditoria do Cloud.