Guia de início rápido: criar um lake

Guia de início rápido: criar um lake

Neste documento, mostramos como começar a usar o Dataplex no console do Google Cloud , ensinando você a criar um lake, adicionar uma zona e anexar um recurso.

Antes de começar

Observação: para casos de uso do Dataplex, não crie nem use um lake com o ID goog-dataproc-default-lake, porque ele serve como o lake padrão exclusivamente destinado aos espaços de trabalho do Dataproc.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, and Cloud Storage APIs.

   Enable the APIs

5. Make sure that you have the following role or roles on the project: `roles/dataplex.admin`, `roles/dataplex.editor`

   Check for the roles

   1. In the Google Cloud console, go to the IAM page.

      Go to IAM
   2. Select the project.

   3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

   4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

   Grant the roles

   1. In the Google Cloud console, go to the IAM page.

      Acessar o IAM
   2. Selecionar um projeto.
   3. Clique em CONCEDER ACESSO.

   4. No campo Novos principais, insira seu identificador de usuário. Normalmente, é o endereço de e-mail de uma Conta do Google.

   5. Na lista Selecionar um papel, escolha um.
   6. Para conceder outros papéis, clique em Adicionar outro papel e adicione cada papel adicional.
   7. Clique em Salvar.

   8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

      Go to project selector

   9. Make sure that billing is enabled for your Google Cloud project.

   10. Enable the Dataplex, Dataproc, Dataproc Metastore, Data Catalog, BigQuery, and Cloud Storage APIs.

       Enable the APIs

   11. Make sure that you have the following role or roles on the project: `roles/dataplex.admin`, `roles/dataplex.editor`

       Check for the roles

       1. In the Google Cloud console, go to the IAM page.

          Go to IAM
       2. Select the project.

       3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

       4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

       Grant the roles

       1. In the Google Cloud console, go to the IAM page.

          Acessar o IAM
       2. Selecionar um projeto.
       3. Clique em CONCEDER ACESSO.

       4. No campo Novos principais, insira seu identificador de usuário. Normalmente, é o endereço de e-mail de uma Conta do Google.

       5. Na lista Selecionar um papel, escolha um.
       6. Para conceder outros papéis, clique em Adicionar outro papel e adicione cada papel adicional.
       7. Clique em Salvar.
       Crie um bucket do Cloud Storage:
       1. In the Google Cloud console, go to the Cloud Storage Buckets page.

          Go to Buckets page

       2. Click Create bucket.
       3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
          • For Name your bucket, enter a unique bucket name. Don't include sensitive information in the bucket name, because the bucket namespace is global and publicly visible.
          • For Choose where to store your data, do the following:
            • Select a Location type option.
            • Select a Location option.
          • For Choose a default storage class for your data, select the following: Standard.
          • For Choose how to control access to objects, select an Access control option.
          • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
       4. Click Create.

Criar um lake

Um lake é um conceito lógico que representa um domínio de dados ou uma unidade de negócios. Por exemplo, se você precisar organizar dados com base no uso do grupo, crie um lake para cada departamento (por exemplo, varejo, vendas e finanças).

As etapas a seguir mostram como criar um lago usando o console do Google Cloud .

1. Acesse o Dataplex no console do Google Cloud .

   Acesse o Dataplex.

2. Acesse a visualização Gerenciar.

3. Clique em Criar.

4. Insira um Nome de exibição.

5. O ID do lago é gerado automaticamente.

6. Especifique a Região em que o lake será criado.

   Para lakes criados em uma determinada região (por exemplo, us-central1), os dados de uma região (us-central1) e de várias regiões (us multi-region) podem ser anexados, dependendo das configurações de zona.

7. Clique em Criar.

Adicionar uma zona a um lake

Depois da criação de um lake, é possível adicionar zonas a ele. As zonas são agrupamentos lógicos dentro de um lake, que são úteis para categorizar dados estruturados e não estruturados.

1. Na visualização Gerenciar, clique no nome do lake a que você quer adicionar uma zona.

2. Clique em Adicionar zona.

3. Insira um nome de exibição para a zona.

   Observação: o ID da zona é gerado automaticamente. Se necessário, você pode fornecer seu próprio documento de identificação.

4. Clique no menu suspenso Tipo. Escolha Zona bruta ou Zona selecionada. Saiba mais sobre os tipos de zonas.

5. Em Locais dos dados, selecione Regional ou Multirregião. A escolha não pode ser alterada depois. Os dados de região única e multirregião não podem ser combinados na mesma zona.

   Observação: a descoberta está ativada por padrão. Clique para abrir Configurações de descoberta e verificar se a opção Ativar descoberta de metadados está selecionada. Saiba mais sobre o Discovery.

6. Clique em Criar.

A criação da zona pode levar alguns minutos.

Anexar um recurso

Os dados podem ser armazenados em buckets do Cloud Storage ou em conjuntos de dados do BigQuery e podem ser anexados como recursos a zonas de dados em um lake do Dataplex.

Para anexar o bucket do Cloud Storage como um recurso, siga estas etapas:

1. Na visualização Gerenciar, clique no nome do lake a que você quer anexar um bucket do Cloud Storage.

2. Na guia Zonas, clique na zona para adicionar o recurso.

3. Na guia Recursos, clique em Adicionar recursos.

4. Clique em Adicionar um recurso.

5. Em Tipo, selecione Bucket do Storage.

6. Em Nome de exibição, insira um nome para o recurso.

   Observação: o ID do recurso é gerado automaticamente. Se necessário, você pode fornecer seu próprio documento de identificação.

7. No campo Bucket, clique em Procurar. Se você tiver um bucket do Cloud Storage, encontre-o e clique em Selecionar. Se você não tiver um bucket do Cloud Storage, clique no botão para criar um.

   1. Insira um nome exclusivo para o bucket. Clique em Continuar.

   2. Escolha um Tipo de local. Clique em Continuar.

   3. Escolha uma classe de armazenamento padrão para seus dados. Clique em Continuar.

   4. Escolha um nível de controle de acesso. Clique em Continuar.

   5. Escolha uma opção de proteção de dados ou Nenhuma. Clique em Continuar.

   6. Clique em Criar.

   7. Clique em Selecionar.

8. Clique em Concluído.

9. Clique em Continuar.

10. Em Configurações de descoberta, selecione Herdar para herdar as Configurações de descoberta no nível da zona.

11. Clique em Continuar.

12. Em Adicionar recursos, clique em Enviar.

Aguarde a conclusão da criação do recurso.

Para usar o lago, consulte a seção Próximas etapas. Caso contrário, exclua os recursos criados seguindo as etapas na seção Limpeza.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto existente para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos no projeto.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um código do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja passar por várias arquiteturas, tutoriais ou guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
3. In the project list, select the project that you want to delete, and then click Delete.
4. In the dialog, type the project ID, and then click Shut down to delete the project.

Como alternativa, é possível excluir os recursos usados neste tutorial. Um lake não é excluído até que você exclua todos os recursos da zona de dados. Da mesma forma, uma zona de dados não é excluída, a menos que você exclua todos os recursos de recurso dela.

Desvincular o bucket de armazenamento

Para desconectar o recurso do Dataplex que você criou, siga estas etapas:

1. Acesse o Dataplex no console do Google Cloud .

   Acesse o Dataplex.

2. Na visualização Gerenciar, clique no nome do lake que você criou.

3. Na guia Zonas, clique no nome da zona que você criou.

4. Na guia Recursos, selecione o recurso a ser removido marcando a caixa à esquerda do nome do bucket.

5. Clique em Excluir recurso.

6. Clique em Excluir para confirmar a remoção.

Excluir a zona

Para excluir a zona do Dataplex criada, siga estas etapas:

1. Acesse o Dataplex no console do Google Cloud .

   Acesse o Dataplex.

2. Na visualização Gerenciar, clique no lake que você criou.

3. Na guia Zonas, selecione a zona a ser excluída marcando a caixa à esquerda do nome da zona de dados.

4. Clique em Excluir zona.

5. Clique novamente em Excluir para confirmar a ação.

Excluir o lake

As etapas a seguir mostram como excluir o lago de Dataplex que você criou.

1. Acesse o Dataplex no console do Google Cloud .

   Acesse o Dataplex.

2. Na visualização Gerenciar, clique no lake que você criou.

3. Na parte de cima da página, clique em Excluir.

4. Para confirmar a exclusão, digite "delete" no campo.

5. Clique em Excluir lago para confirmar a ação.

A seguir

• Organize seus dados em lakes e zonas.
• Proteja seu lake.
• Acesse os metadados descobertos usando o console do .
• Acessar os metadados descobertos usando a API.