Guia de início rápido: criar um lake

Guia de início rápido: criar um lake

Esta página mostra como começar a usar o Dataplex no console do Google Cloud, mostrando como criar um lake, adicionar uma zona e anexar um recurso.

Antes de começar

Observação: para casos de uso do Dataplex, não crie ou use um lake com a ID goog-dataproc-default-lake. O ID goog-dataproc-default-lake serve como o lake padrão, destinado exclusivamente a espaços de trabalho do Dataproc.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, and Cloud Storage APIs.

   Enable the APIs

5. Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor

   Check for the roles

   1. In the Google Cloud console, go to the IAM page.

      Go to IAM
   2. Select the project.

   3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

   4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

   Grant the roles

   1. In the Google Cloud console, go to the IAM page.

      Acessar o IAM
   2. Selecionar um projeto.
   3. Clique em CONCEDER ACESSO.

   4. No campo Novos principais, insira seu identificador de usuário. Normalmente, é o endereço de e-mail de uma Conta do Google.

   5. Na lista Selecionar um papel, escolha um.
   6. Para conceder outros papéis, clique em Adicionar outro papel e adicione cada papel adicional.
   7. Clique em Salvar.

   8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

      Go to project selector

   9. Make sure that billing is enabled for your Google Cloud project.

   10. Enable the Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, and Cloud Storage APIs.

       Enable the APIs

   11. Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor

       Check for the roles

       1. In the Google Cloud console, go to the IAM page.

          Go to IAM
       2. Select the project.

       3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

       4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

       Grant the roles

       1. In the Google Cloud console, go to the IAM page.

          Acessar o IAM
       2. Selecionar um projeto.
       3. Clique em CONCEDER ACESSO.

       4. No campo Novos principais, insira seu identificador de usuário. Normalmente, é o endereço de e-mail de uma Conta do Google.

       5. Na lista Selecionar um papel, escolha um.
       6. Para conceder outros papéis, clique em Adicionar outro papel e adicione cada papel adicional.
       7. Clique em Salvar.
       Crie um bucket do Cloud Storage:
       1. In the Google Cloud console, go to the Cloud Storage Buckets page.

          Go to Buckets page

       2. Click Create bucket.
       3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
          • For Name your bucket, enter a unique bucket name. Don't include sensitive information in the bucket name, because the bucket namespace is global and publicly visible.
          • For Choose where to store your data, do the following:
            • Select a Location type option.
            • Select a Location option.
          • For Choose a default storage class for your data, select the following: Standard.
          • For Choose how to control access to objects, select an Access control option.
          • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
       4. Click Create.

Criar um lake

As etapas a seguir mostram como criar um lago usando o console do Google Cloud.

1. Acesse o Dataplex no console do Google Cloud.

   Acesse o Dataplex.

2. Acesse a visualização Gerenciar.

3. Clique em Criar.

4. Digite um Nome de exibição.

5. O ID do lago é gerado automaticamente.

6. Especifique a Região em que o lake será criado.

   Para lakes criados em uma determinada região (por exemplo, us-central1), ambos dados de uma única região (us-central1) e dados multirregionais (us multi-region) podem ser anexados dependendo das configurações da zona.

7. Clique em Criar.

Adicionar uma zona a um lake

Depois de criar o lake, é possível adicionar zonas a ele. As zonas são lógicas agrupamentos de dados estruturados e não estruturados.

1. Na visualização Gerenciar, clique no nome do lake em que você quer adicionar uma zona.

2. Clique em Adicionar zona.

3. Digite um Nome de exibição para a zona.

   Observação: o ID da zona é gerado automaticamente. Se necessário, você pode fornecer seu próprio documento de identificação.

4. Clique no menu suspenso Tipo. Escolha Zona bruta ou Zona selecionada. Saiba mais sobre os tipos de zonas.

5. Em Locais dos dados, selecione Regional ou Multirregional. A escolha não poderá ser alterada depois. Os dados de região única e multirregião não podem ser combinados na mesma zona.

   Observação :a descoberta está ativada por padrão. Clique para abrir Configurações de descoberta e verifique se a opção Ativar descoberta de metadados está selecionada. Saiba mais sobre Descoberta.

6. Clique em Criar.

A criação da zona pode levar alguns minutos.

Anexar um recurso

Os dados podem ser armazenados em buckets do Cloud Storage ou em conjuntos de dados do BigQuery e podem ser anexados como recursos a zonas de dados em um lake do Dataplex.

Siga estas etapas para anexar o bucket do Cloud Storage que você criou antes como um recurso.

1. Na visualização Gerenciar, clique no nome do lake a que você quer anexar um bucket do Cloud Storage.

2. Na guia Zonas, clique na zona para adicionar o recurso.

3. Na guia Recursos, clique em . Adicionar recursos.

4. Clique em Adicionar um recurso.

5. Em Tipo, selecione Bucket do Storage.

6. Em Nome de exibição, insira um nome para o recurso.

   Observação :o ID do recurso é gerado automaticamente para você. Se precisar, você pode fornecer seu próprio ID.

7. No campo Bucket, clique em Procurar. Se você tiver um bucket do Cloud Storage bucket, encontre-o e clique em Selecionar. Se você não tiver um bucket do Cloud Storage bucket, crie um clicando no botão .

   1. Insira um nome exclusivo para o bucket. Clique em Continuar.

   2. Escolha um Tipo de local. Clique em Continuar.

   3. Escolha uma classe de armazenamento padrão para seus dados. Clique em Continuar.

   4. Escolha um nível de controle de acesso. Clique em Continuar.

   5. Escolha uma opção de proteção de dados ou Nenhuma. Clique em Continuar.

   6. Clique em Criar.

   7. Clique em Selecionar.

8. Clique em Concluído.

9. Clique em Continuar.

10. Em Configurações de descoberta, selecione Herdar para herdar a Descoberta da conta no na zona.

11. Clique em Continuar.

12. Em Adicionar recursos, clique em Enviar.

Aguarde a conclusão da criação do recurso.

Observação: para usar o lago, consulte a seção Próximas etapas.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto existente para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos no projeto.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um código do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja passar por várias arquiteturas, tutoriais ou guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
3. In the project list, select the project that you want to delete, and then click Delete.
4. In the dialog, type the project ID, and then click Shut down to delete the project.

Como alternativa, é possível excluir os recursos usados neste tutorial. Os lagos não podem ser excluídos, a menos que todos os recursos da zona de dados abaixo dele tenham sido excluídos. Da mesma forma, as zonas de dados não podem ser excluídas, a menos que todos os recursos de recurso abaixo dela tenham sido excluídos:

Desvincular o bucket de armazenamento

As etapas a seguir mostram como desconectar o recurso do Dataplex que você criou.

1. Acesse o Dataplex no console do Google Cloud.

   Acesse o Dataplex.

2. Na visualização Gerenciar, clique no nome do lake que você criou.

3. Na guia Zonas, clique no nome da zona que você criou.

4. Na guia Recursos, selecione o recurso a ser removido marcando a caixa à esquerda do nome do bucket.

5. Clique em Excluir recurso.

6. Clique em Excluir para confirmar a remoção.

Excluir a zona

As etapas a seguir mostram como excluir a zona do Dataplex criados.

1. Acesse o Dataplex no console do Google Cloud.

   Acesse o Dataplex.

2. Na visualização Gerenciar, clique no lake que você criou.

3. Na guia Zonas, selecione a zona a ser excluída marcando a caixa ao lado do à esquerda do nome da zona de dados.

4. Clique em Excluir zona.

5. Clique novamente em Excluir para confirmar a ação.

Excluir o lake

As etapas a seguir mostram como excluir o lake do Dataplex criados.

1. Acesse o Dataplex no console do Google Cloud.

   Acesse o Dataplex.

2. Na visualização Gerenciar, clique no lake que você criou.

3. Na parte de cima da página, clique em Excluir.

4. Confirme a exclusão digitando "delete" na caixa de texto.

5. Clique em Excluir lake para confirmar a exclusão.

A seguir

Depois de criar o lake, as zonas e os recursos, você pode:

• Organize seus dados em lakes e zonas.
• Proteja seu lake.
• Acesse os metadados descobertos usando o console do Google Cloud.
• Acessar os metadados descobertos usando a API.