Guia de início rápido: criar um lake

Guia de início rápido: criar um lake

Nesta página, mostramos como começar a usar o Dataplex no Console do Google Cloud, orientando você na criação de um lake, como adicionar uma zona e anexando um recurso.

Antes de começar

Observação :para casos de uso do Dataplex, não crie ou use um lake com o ID goog-dataproc-default-lake. O ID goog-dataproc-default-lake serve como o lake padrão destinado exclusivamente a espaços de trabalho do Dataproc. Não é possível usar o nome reservado do lake no Dataplex Explore.

1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

2. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

4. Ative as APIs Dataplex, Dataproc, Metastore do Dataproc, Data Catalog, BigQuery e Cloud Storage .

   Ative as APIs

5. Verifique se você tem os seguintes papéis no projeto: roles/dataplex.admin, roles/dataplex.editor

   Verificar os papéis

   1. No console do Google Cloud, abra a página IAM.

      Acessar IAM
   2. Selecionar um projeto.

   3. Na coluna Principal, encontre a linha que contém seu endereço de e-mail.

      Caso seu endereço de e-mail não esteja nessa coluna, isso significa que você não tem papéis.

   4. Na coluna Papel da linha com seu endereço de e-mail, verifique se a lista de papéis inclui os papéis necessários.

   Conceder os papéis

   1. No console do Google Cloud, abra a página IAM.

      Acesse o IAM
   2. Selecionar um projeto.
   3. Clique em CONCEDER ACESSO.
   4. No campo Novos participantes, digite seu endereço de e-mail.
   5. Na lista Selecionar um papel, escolha um.
   6. Para conceder outros papéis, clique em Adicionar outro papel e adicione cada papel adicional.
   7. Clique em Save.

6. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

7. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

8. Ative as APIs Dataplex, Dataproc, Metastore do Dataproc, Data Catalog, BigQuery e Cloud Storage .

   Ative as APIs

9. Verifique se você tem os seguintes papéis no projeto: roles/dataplex.admin, roles/dataplex.editor

   Verificar os papéis

   1. No console do Google Cloud, abra a página IAM.

      Acessar IAM
   2. Selecionar um projeto.

   3. Na coluna Principal, encontre a linha que contém seu endereço de e-mail.

      Caso seu endereço de e-mail não esteja nessa coluna, isso significa que você não tem papéis.

   4. Na coluna Papel da linha com seu endereço de e-mail, verifique se a lista de papéis inclui os papéis necessários.

   Conceder os papéis

   1. No console do Google Cloud, abra a página IAM.

      Acesse o IAM
   2. Selecionar um projeto.
   3. Clique em CONCEDER ACESSO.
   4. No campo Novos participantes, digite seu endereço de e-mail.
   5. Na lista Selecionar um papel, escolha um.
   6. Para conceder outros papéis, clique em Adicionar outro papel e adicione cada papel adicional.
   7. Clique em Save.
Crie um bucket do Cloud Storage:
1. No console do Cloud, acesse a página Buckets do Cloud Storage.

   Acessar a página "Buckets"

2. Clique em Criar bucket.
3. Na página Criar um bucket, insira as informações do seu bucket. Para ir à próxima etapa, clique em Continuar.
   • Em Nomear o bucket, insira um nome exclusivo. Não inclua informações confidenciais no nome do bucket já que o namespace dele é global e visível para o público.
   • Em Escolha um local para armazenar seus dados, faça o seguinte:
     • Selecione uma opção de Tipo de local.
     • Escolha uma opção de Local.
   • Em Escolha uma classe de armazenamento padrão para seus dados, selecione o seguinte: Standard.
   • Em Escolha como controlar o acesso a objetos, selecione uma opção de Controle de acesso.
   • Em Configurações avançadas (opcional), especifique um método de criptografia, uma política de retenção ou rótulos de bucket.
4. Clique em Criar.

Criar um lake

As etapas a seguir mostram como criar um lake usando o console do Google Cloud.

1. Acesse o Dataplex no console do Google Cloud.

   Acessar o Dataplex

2. Navegue até a visualização Gerenciar.

3. Clique em Criar.

4. Digite um Nome de exibição.

5. O ID do lake é gerado automaticamente.

6. Especifique a Região em que o lake será criado.

   Para lakes criados em uma determinada região (por exemplo, us-central1), os dados de uma única região (us-central1) e os dados de várias regiões (us multi-region) podem ser anexados, dependendo das configurações da zona.

7. Clique em Criar.

Adicionar uma zona ao lake

Depois de criar um lake, é possível adicionar zonas a ele. As zonas são agrupamentos lógicos de dados estruturados e não estruturados.

1. Na visualização Gerenciar, clique no nome do lake você quer adicionar uma zona.

2. Clique em Adicionar zona.

3. Digite um Nome de exibição para a zona.

   Observação: o ID da zona é gerado automaticamente. Se precisar, forneça seu próprio documento de identificação.

4. Clique na lista suspensa Tipo. Escolha Raw Zone ou Curated Zone. Saiba mais sobre os tipos de zona.

5. Em Locais dos dados, selecione Region ou Multirregional. O que você escolher não poderá ser alterado posteriormente. Os dados de região única e multirregião não podem ser combinados na mesma zona.

   Observação :a descoberta está ativada por padrão. Clique para expandir as Configurações de descoberta e conferir se a opção Ativar descoberta de metadados está selecionada. Saiba mais sobre descoberta.

6. Clique em Criar.

A criação da zona pode levar alguns minutos.

Anexar um recurso

Os dados podem ser armazenados em buckets do Cloud Storage ou conjuntos de dados do BigQuery e anexados como recursos a zonas de dados em um lake do Dataplex.

Siga estas etapas para anexar o bucket do Cloud Storage criado anteriormente como um recurso.

1. Na visualização Gerenciar, clique no nome do lake a que você quer anexar um bucket do Cloud Storage.

2. Na guia Zonas, clique na zona para adicionar o recurso.

3. Na guia Assets, clique em Add Assets.

4. Clique em Adicionar um recurso.

5. Em Tipo, selecione Bucket de armazenamento.

6. Em Nome de exibição, insira um nome para o recurso.

   Observação :o ID do recurso é gerado automaticamente. Se precisar, forneça seu próprio documento de identificação.

7. No campo Bucket, clique em Procurar. Se você tiver um bucket do Cloud Storage, encontre-o e clique em Selecionar. Se você não tiver um bucket do Cloud Storage, crie um clicando no botão .

   1. Insira um nome exclusivo para o bucket. Clique em Continuar.

   2. Escolha um Tipo de local. Clique em Continuar.

   3. Escolha uma classe de armazenamento padrão para seus dados. Clique em Continuar.

   4. Escolha um nível de controle de acesso. Clique em Continuar.

   5. Escolha uma opção de proteção de dados ou Nenhuma. Clique em Continuar.

   6. Clique em Criar.

   7. Clique em Selecionar.

8. Clique em Concluído.

9. Clique em Continuar.

10. Em Configurações de descoberta, selecione Herdar para herdar as configurações de descoberta do nível da zona.

11. Clique em Continuar.

12. Em Adicionar recursos, clique em Enviar.

Aguarde a conclusão da criação do recurso.

Observação :para usar seu lake, consulte a seção Próximas etapas.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto existente para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos no projeto.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um código do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja passar por várias arquiteturas, tutoriais ou guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

1. No Console do Google Cloud, acesse a página Gerenciar recursos.

   Acessar "Gerenciar recursos"

2. Se o projeto que você planeja excluir estiver anexado a uma organização, expanda a lista Organização na coluna Nome.
3. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
4. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

Se preferir, exclua os recursos usados neste tutorial. Os lakes não podem ser excluídos, a menos que todos os recursos de zona de dados abaixo deles tenham sido excluídos. Da mesma forma, as zonas de dados não podem ser excluídas a menos que todos os recursos de recursos delas tenham sido excluídos:

Remover o bucket de armazenamento

As etapas a seguir mostram como desanexar o recurso do Dataplex que você criou.

1. Acesse o Dataplex no console do Google Cloud.

   Acessar o Dataplex

2. Na visualização Gerenciar, clique no nome do lake que você criou.

3. Na guia Zonas, clique no nome da zona que você criou.

4. Na guia Recursos, selecione o recurso que será desanexado marcando a caixa à esquerda do nome do bucket.

5. Clique em Excluir recurso.

6. Clique em Excluir para confirmar a separação.

Excluir a zona

As etapas a seguir mostram como excluir a zona do Dataplex que você criou.

1. Acesse o Dataplex no console do Google Cloud.

   Acessar o Dataplex

2. Na visualização Gerenciar, clique no lake que você criou.

3. Na guia Zonas, selecione a zona a ser excluída marcando a caixa à esquerda do nome da zona de dados.

4. Clique em Delete Zone (Excluir zona).

5. Clique novamente em Excluir para confirmar a ação.

Excluir o lake

Veja nas etapas a seguir como excluir o lake do Dataplex que você criou.

1. Acesse o Dataplex no console do Google Cloud.

   Acessar o Dataplex

2. Na visualização Gerenciar, clique no lake que você criou.

3. Na parte superior da página, clique em Excluir.

4. Para confirmar a exclusão, digite "delete" na caixa de texto.

5. Clique em Excluir lake para confirmar a exclusão.

A seguir

Depois de criar lake, zonas e recursos, é possível:

• Organize seus dados em lakes e zonas.
• Proteja seu lake (link em inglês).
• Veja os metadados descobertos usando o console do Google Cloud.
• Veja os metadados descobertos usando a API.