Solução Jump Start: Analytics Lakehouse

Last reviewed 2023-11-20 UTC

Este guia ajuda você a entender, implantar e usar as Soluções de início rápido do Analytics Lakehouse. Esta solução demonstra como você pode unificar data lakes e data warehouses criando um data lake de análise para armazenar, processar, analisar e ativar dados usando uma pilha de dados unificada.

Os casos de uso comuns para criar um lakehouse do Analytics incluem:

Análise em grande escala de dados de telemetria combinados com dados de relatórios.
Unificação de análise de dados estruturados e não estruturados.
Fornecimento de recursos de análise em tempo real para um data warehouse.

Este documento é destinado a desenvolvedores que têm algum conhecimento sobre análise de dados e usaram um banco de dados ou data lake para fazer uma análise. Ele pressupõe que você está familiarizado com os conceitos básicos da nuvem, mas não necessariamente o Google Cloud. Ter experiência com o Terraform é útil.

Objetivos

Saiba como configurar um lakehouse do Analytics.
Proteja um lakehouse da análise usando uma camada de governança comum.
Crie painéis com base nos dados para fazer análises.
Criar um modelo de machine learning para prever valores de dados ao longo do tempo.

Produtos usados

A solução usa os seguintes produtos do Google Cloud:

BigQuery: um data warehouse totalmente gerenciado e altamente escalonável com recursos integrados de machine learning.
Dataproc: um serviço totalmente gerenciado para modernização de data lake, ETL e ciência de dados segura, em escala.
Looker Studio: plataforma de Business Intelligence de autoatendimento que ajuda você a criar e compartilhar insights de dados.
Dataplex: descubra, gerencie, monitore e controle centralmente os dados em escala.
Cloud Storage: um serviço pronto para empresas que oferece armazenamento de objetos de baixo custo e sem limite para diversos tipos de dados. Os dados podem ser acessados de dentro e de fora do Google Cloud e são replicados geograficamente de modo redundante.
BigLake: o BigLake é um mecanismo de armazenamento que unifica data warehouses e lakes, permitindo que o BigQuery e frameworks de código aberto, como o Spark, acessem dados com controle de acesso refinado.

Os seguintes produtos do Google Cloud são usados para preparar dados na solução para o primeiro uso:

Fluxos de trabalho: uma plataforma de orquestração totalmente gerenciada que executa serviços em uma ordem especificada como fluxo de trabalho. Os fluxos de trabalho podem combinar serviços, incluindo serviços personalizados hospedados no Cloud Run ou Cloud Functions, serviços do Google Cloud, como o BigQuery, e qualquer API baseada em HTTP.

Arquitetura

O exemplo de arquitetura de lakehouse que essa solução implanta analisa um conjunto de dados de comércio eletrônico para entender o desempenho de um varejista ao longo do tempo. O diagrama a seguir mostra a arquitetura dos recursos do Google Cloud que a solução implanta.

Arquitetura da infraestrutura para a solução de data warehouse.

Fluxo de soluções

A arquitetura representa um fluxo de dados comum para preencher e transformar dados em uma arquitetura de análise.

Os dados chegam aos buckets do Cloud Storage.
Um data lake é criado no Dataplex. Os dados nos buckets são organizados em entidades, ou tabelas, no data lake.
As tabelas no data lake ficam disponíveis imediatamente no BigQuery como tabelas do BigLake.
As transformações de dados com o uso do Dataproc ou do BigQuery e de formatos de arquivo abertos, incluindo o Apache Iceberg.
É possível proteger os dados com o uso de tags de política e políticas de acesso de linha.
É possível aplicar machine learning nas tabelas.
Os painéis são criados com base nos dados para realizar mais análises usando o Looker Studio.

Custo

Para uma estimativa dos custos dos recursos do Google Cloud usados pela solução de análise do lakehouse, consulte a estimativa pré-calculada na Calculadora de preços do Google Cloud.

Use a estimativa como um ponto de partida para calcular o custo da implantação. É possível modificar a estimativa para refletir as alterações de configuração planejadas para os recursos usados na solução.

A estimativa pré-calculada tem como base suposições específicas, incluindo o seguinte:

Os locais do Google Cloud em que os recursos são implantados.
A quantidade de tempo em que os recursos são usados.

Antes de começar

Para implantar essa solução, primeiro você precisa de um projeto do Google Cloud e de algumas permissões do IAM.

Criar ou escolher um projeto do Google Cloud

Ao implantar a solução, escolha o projeto do Google Cloud em que os recursos serão implantados. Ao decidir entre usar um projeto existente ou criar um, considere os seguintes fatores:

Se você criar um projeto para a solução, quando não precisar mais da implantação, será possível excluir o projeto e evitar o faturamento contínuo. Se você usar um projeto existente, será preciso excluir a implantação quando não precisar mais dela.
Usar um novo projeto pode ajudar a evitar conflitos com recursos provisionados anteriormente, como recursos usados em cargas de trabalho de produção.

Se você quiser implantar a solução em um novo projeto, crie o projeto antes de iniciar a implantação.

Para criar um projeto, siga estas etapas:

In the Google Cloud console, go to the project selector page.

Go to project selector
Click Create project.
Name your project. Make a note of your generated project ID.
Edit the other fields as needed.
Click Create.

Receber as permissões de IAM necessárias

Para iniciar o processo de implantação, você precisa das permissões do Identity and Access Management (IAM) listadas na tabela a seguir. Se você tem o papel básico roles/owner no projeto em que planeja implantar a solução, você já tem todas as permissões necessárias. Se você não tiver o papel roles/owner, peça ao administrador para conceder essas permissões (ou os papéis que as incluam) a você.

Permissão do IAM necessária	Papel predefinido que inclui as permissões necessárias
`serviceusage.services.enable`	Administrador do Service Usage (`roles/serviceusage.serviceUsageAdmin`)
`iam.serviceAccounts.create`	Administrador da conta de serviço (`roles/iam.serviceAccountAdmin`)
`resourcemanager.projects.setIamPolicy`	Administrador de projetos do IAM (`roles/resourcemanager.projectIamAdmin`)
`config.deployments.create` `config.deployments.list`	Administrador do Cloud Infrastructure Manager (`roles/config.admin`)

Conta de serviço criada para a solução

Se você iniciar o processo de implantação pelo console, o Google criará uma conta de serviço para implantar a solução em seu nome (e excluir a implantação mais tarde, se você quiser). Essa conta de serviço recebe determinadas permissões do IAM temporariamente, ou seja, as permissões são revogadas automaticamente após a conclusão das operações de implantação e exclusão da solução. O Google recomenda que, após a exclusão da implantação, você exclua a conta de serviço, conforme descrito mais adiante neste guia.

Ver os papéis atribuídos à conta de serviço

Esses papéis são listados aqui caso um administrador do projeto ou da organização do Google Cloud precise dessas informações.

roles/biglake.admin
roles/bigquery.admin
roles/compute.admin
roles/datalineage.viewer
roles/dataplex.admin
roles/dataproc.admin
roles/iam.serviceAccountAdmin
roles/iam.serviceAccountUser
roles/resourcemanager.projectIamAdmin
roles/servicenetworking.serviceAgent
roles/serviceusage.serviceUsageViewer
roles/vpcaccess.admin
roles/storage.admin
roles/workflows.admin

Implantar a solução

Esta seção orienta você no processo de implantação da solução.

Para ajudá-lo a implantar essa solução com esforço mínimo, é fornecida uma configuração do Terraform no GitHub. A configuração do Terraform define todos os recursos do Google Cloud necessários para a solução.

É possível implantar a solução usando um dos seguintes métodos:

Pelo console: use esse método se quiser testar a solução com a configuração padrão e ver como ela funciona. O Cloud Build implanta todos os recursos necessários para a solução. Quando você não precisar mais da solução implantada, será possível excluí-la no console. Todos os recursos criados depois da implantação da solução talvez precisem ser excluídos separadamente.

Para usar esse método de implantação, siga as instruções em Implantar no console.
Com a CLI do Terraform: use esse método se quiser personalizar a solução ou automatizar o provisionamento e o gerenciamento dos recursos usando a abordagem de infraestrutura como código (IaC). Faça o download da configuração do Terraform no GitHub, personalize o código conforme necessário e implante a solução usando a CLI do Terraform. Depois de implantar a solução, é possível continuar a usar o Terraform para gerenciá-la.

Para usar esse método de implantação, siga as instruções em Implantar usando a CLI do Terraform.

Implantar pelo console

Conclua as etapas a seguir para implantar a solução pré-configurada.

No catálogo da solução Jump Start do Google Cloud, acesse a solução Analytics Lakehouse.

Acessar a solução Analytics Lakehouse
Revise as informações fornecidas na página, como o custo estimado da solução e o tempo estimado de implantação.
Quando estiver tudo pronto para começar a implantar a solução, clique em Implantar.

Veja um guia interativo passo a passo.
Conclua estas etapas no guia interativo.

Anote o nome inserido para a implantação. Ele será necessário depois de excluir a implantação.

Quando você clica em Implantar, a página Implantações da solução é exibida. O campo Status nesta página mostra Implantação.
Aguarde a solução ser implantada.

Se a implantação falhar, o campo Status vai mostrar Falha. Use o registro do Cloud Build para diagnosticar os erros. Para mais informações, consulte Erros ao implantar no console.

Depois que a implantação for concluída, o campo Status mudará para Implantado.
Para ver e usar a solução, retorne à página Implantações da solução no console.
1. Clique no menu Ações.
2. Selecione Visualizar painel do Looker Studio para abrir um painel baseado nos dados de amostra que foram transformados usando a solução.
3. Selecione Abrir editor do BigQuery para executar consultas e criar modelos de machine learning (ML) usando os dados de amostra na solução.
4. Selecione Ver Colab para executar consultas em um ambiente de notebook.

Quando você não precisar mais da solução, exclua a implantação para evitar o faturamento contínuo dos recursos do Google Cloud. Para mais informações, consulte Excluir a implantação.

Implantar usando a CLI do Terraform

Nesta seção, descrevemos como personalizar a solução ou automatizar o provisionamento e o gerenciamento dela usando a CLI do Terraform. As soluções que você implanta usando a CLI do Terraform não são exibidas na página Implantações da solução no console do Google Cloud.

Configurar o cliente do Terraform

É possível executar o Terraform no Cloud Shell ou no seu host local. Neste guia, descrevemos como executar o Terraform no Cloud Shell, que tem o Terraform pré-instalado e configurado para autenticação com o Google Cloud.

O código do Terraform para esta solução está disponível em um repositório do GitHub.

Clone o repositório do GitHub no Cloud Shell.

Você verá um prompt para confirmar o download do repositório do GitHub para o Cloud Shell.
Clique em Confirmar.

O Cloud Shell é iniciado em uma guia separada do navegador, e o código do Terraform é transferido por download para o diretório $HOME/cloudshell_open do seu ambiente do Cloud Shell.
No Cloud Shell, verifique se o diretório de trabalho atual é $HOME/cloudshell_open/terraform-google-analytics-lakehouse/. Esse é o diretório que contém os arquivos de configuração do Terraform para a solução. Se você precisar mudar para esse diretório, execute o seguinte comando:
```
cd $HOME/cloudshell_open/terraform-google-analytics-lakehouse/
```
Inicialize o Terraform executando o seguinte comando:
```
terraform init
```
Aguarde até ver a seguinte mensagem:
```
Terraform has been successfully initialized!
```

Configurar as variáveis do Terraform

O código do Terraform que você salvou inclui variáveis que podem ser usadas para personalizar a implantação com base nos seus requisitos. Por exemplo, é possível especificar o projeto do Google Cloud e a região em que você quer que a solução seja implantada.

Verifique se o diretório de trabalho atual é $HOME/cloudshell_open/terraform-google-analytics-lakehouse/. Se não estiver, acesse esse diretório.
No mesmo diretório, crie um arquivo de texto chamado terraform.tfvars.
No arquivo terraform.tfvars, copie o snippet de código a seguir e defina valores para as variáveis necessárias.
- Siga as instruções fornecidas como comentários no snippet de código.
- Esse snippet de código inclui apenas as variáveis para as quais você precisa definir valores. A configuração do Terraform inclui outras variáveis que têm valores padrão. Para revisar todas as variáveis e os valores padrão, consulte o arquivo variables.tf disponível no diretório $HOME/cloudshell_open/terraform-google-analytics-lakehouse/.
- Verifique se cada valor definido no arquivo terraform.tfvars corresponde ao tipo da variável, conforme declarado no arquivo variables.tf. Por exemplo, se o tipo definido para uma variável no arquivo variables.tf for bool, especifique true ou false como o valor dessa variável no arquivo terraform.tfvars.
```
# This is an example of the terraform.tfvars file.
# The values in this file must match the variable types declared in variables.tf.
# The values in this file override any defaults in variables.tf.

# ID of the project in which you want to deploy the solution
project_id = "PROJECT_ID"

# Google Cloud region where you want to deploy the solution
# Example: us-central1
region = "REGION"

# Whether or not to enable underlying apis in this solution.
# Example: true
enable_apis = true

# Whether or not to protect Cloud Storage and BigQuery resources from deletion when solution is modified or changed.
# Example: false
force_destroy = false
```

Validar e revisar a configuração do Terraform

Verifique se o diretório de trabalho atual é $HOME/cloudshell_open/terraform-google-analytics-lakehouse/. Se não estiver, acesse esse diretório.
Verifique se a configuração do Terraform não tem erros:
```
terraform validate
```
Se o comando retornar algum erro, faça as correções necessárias na configuração e execute o comando terraform validate novamente. Repita essa etapa até o comando retornar a seguinte mensagem:
```
Success! The configuration is valid.
```
Analise os recursos definidos na configuração:
```
terraform plan
```
Se você não tiver criado o arquivo terraform.tfvars conforme descrito anteriormente, o Terraform solicitará que você insira valores das variáveis que não têm valores padrão. Insira os valores obrigatórios.

A saída do comando terraform plan é uma lista dos recursos provisionados pelo Terraform quando você aplica a configuração.

Se você quiser fazer alterações, edite a configuração e execute os comandos terraform validate e terraform plan novamente.

Provisionar os recursos

Quando nenhuma outra alteração for necessária na configuração, implante os recursos:

Verifique se o diretório de trabalho atual é $HOME/cloudshell_open/terraform-google-analytics-lakehouse/. Se não estiver, acesse esse diretório.
Aplique a configuração do Terraform:
```
terraform apply
```
Se você não tiver criado o arquivo terraform.tfvars conforme descrito anteriormente, o Terraform solicitará que você insira valores das variáveis que não têm valores padrão. Insira os valores obrigatórios.

O Terraform exibe uma lista dos recursos que serão criados.
Quando for solicitado que você execute as ações, digite yes.

O Terraform exibe mensagens mostrando o progresso da implantação.

Se não for possível concluir a implantação, o Terraform exibirá os erros que causaram a falha. Analise as mensagens de erro e atualize a configuração para corrigi-los. Em seguida, execute o comando terraform apply novamente. Para receber ajuda com a solução de problemas do Terraform, consulte Erros ao implantar a solução usando a CLI do Terraform.

Depois que todos os recursos forem criados, o Terraform exibirá a seguinte mensagem:
```
Apply complete!
```
A saída do Terraform também lista as seguintes informações adicionais necessárias:
- O URL do Looker Studio do painel que foi implantado.
- O link para abrir o editor do BigQuery para alguns exemplos de consultas.
- O link para abrir o tutorial do Colab.
O exemplo a seguir mostra a saída:
```
lookerstudio_report_url = "https://lookerstudio.google.com/reporting/create?c.reportId=79675b4f-9ed8-4ee4-bb35-709b8fd5306a&ds.ds0.datasourceName=vw_ecommerce&ds.ds0.projectId=${var.project_id}&ds.ds0.type=TABLE&ds.ds0.datasetId=gcp_lakehouse_ds&ds.ds0.tableId=view_ecommerce"
bigquery_editor_url = "https://console.cloud.google.com/bigquery?project=my-cloud-project&ws=!1m5!1m4!6m3!1smy-cloud-project!2sds_edw!3ssp_sample_queries"
lakehouse_colab_url = "https://colab.research.google.com/github/GoogleCloudPlatform/terraform-google-analytics-lakehouse/blob/main/assets/ipynb/exploratory-analysis.ipynb"
```
Para visualizar e usar o painel e executar consultas no BigQuery, copie os URLs de saída da etapa anterior e abra os URLs em novas guias do navegador.

O painel, o notebook e os editores do BigQuery aparecem nas novas guias.

Quando você não precisar mais da solução, exclua a implantação para evitar o faturamento contínuo dos recursos do Google Cloud. Para mais informações, consulte Excluir a implantação.

Personalizar a solução

Nesta seção, fornecemos informações que os desenvolvedores do Terraform podem usar para modificar a solução do lakehouse Analytics a fim de atender aos próprios requisitos técnicos e comerciais. As orientações nesta seção só serão relevantes se você implantar a solução usando a CLI do Terraform.

Depois de ver como a solução funciona com os dados de amostra, talvez você queira trabalhar com seus próprios dados. Para usar seus próprios dados, coloque-os no bucket do Cloud Storage chamado edw-raw-hash. O hash é um conjunto aleatório de oito caracteres gerado durante a implantação. É possível alterar o código do Terraform das seguintes maneiras:

ID do conjunto de dados Altere o código do Terraform para que, ao criar o conjunto de dados do BigQuery, ele use o ID do conjunto de dados que você quer usar para seus dados.
Esquema Altere o código do Terraform para que ele crie o ID da tabela do BigQuery que você quer usar para armazenar seus dados. Isso inclui o esquema da tabela externa para que o BigQuery possa ler os dados do Cloud Storage.
Zona. Crie as zonas de lake que correspondam às necessidades da sua empresa (normalmente um zoneamento de dois ou três níveis com base no uso e na qualidade de dados).
Painéis do Looker Alterar o código do Terraform que cria um painel do Looker para que ele reflita os dados que você está usando.
Jobs do PySpark. Alterar o código do Terraform para executar jobs do PySpark usando o Dataproc.

Veja a seguir objetos comuns do lakehouse do Analytics, que mostram o código de exemplo do Terraform em main.tf.

Conjunto de dados do BigQuery: o esquema em que os objetos do banco de dados são agrupados e armazenados.

resource "google_bigquery_dataset" "ds_edw" {
      project = module.project-services.project_id
      dataset_id = "DATASET_PHYSICAL_ID"
      friendly_name = "DATASET_LOGICAL_NAME"
      description = "DATASET_DESCRIPTION"
      location = "REGION"
      labels = var.labels
      delete_contents_on_destroy = var.force_destroy
  }

Tabela do BigQuery: um objeto de banco de dados que representa dados armazenados no BigQuery ou um esquema de dados armazenado no Cloud Storage.

resource "google_bigquery_table" "tbl_edw_taxi" {
      dataset_id = google_bigquery_dataset.ds_edw.dataset_id
      table_id = "TABLE_NAME"
      project = module.project-services.project_id
      deletion_protection = var.deletion_protection
      ...
  }

Procedimento armazenado do BigQuery: um objeto de banco de dados que representa uma ou mais instruções SQL a serem executadas quando chamadas. Isso pode ser transformar os dados de uma tabela em outra ou carregar dados de uma tabela externa em uma padrão.

resource "google_bigquery_routine" "sp_sample_translation_queries" {
      project = module.project-services.project_id
      dataset_id = google_bigquery_dataset.ds_edw.dataset_id
      routine_id = "sp_sample_translation_queries"
      routine_type = "PROCEDURE"
      language = "SQL"
      definition_body = templatefile("${path.module}/assets/sql/sp_sample_translation_queries.sql", { project_id = module.project-services.project_id })
    }

Fluxo de trabalho do Cloud Workflows: um fluxo de trabalho representa uma combinação de etapas a serem executadas em uma ordem específica. Isso pode ser usado para configurar dados ou realizar transformações de dados com outras etapas de execução.

resource "google_workflows_workflow" "copy_data" {
    name            = "copy_data"
    project         = module.project-services.project_id
    region          = var.region
    description     = "Copies data and performs project setup"
    service_account = google_service_account.workflows_sa.email
    source_contents = templatefile("${path.module}/src/yaml/copy-data.yaml", {
        public_data_bucket    = var.public_data_bucket,
        textocr_images_bucket = google_storage_bucket.textocr_images_bucket.name,
        ga4_images_bucket     = google_storage_bucket.ga4_images_bucket.name,
        tables_bucket         = google_storage_bucket.tables_bucket.name,
        dataplex_bucket       = google_storage_bucket.dataplex_bucket.name,
        images_zone_name      = google_dataplex_zone.gcp_primary_raw.name,
        tables_zone_name      = google_dataplex_zone.gcp_primary_staging.name,
        lake_name             = google_dataplex_lake.gcp_primary.name
    })
    }

Para personalizar a solução, conclua as seguintes etapas no Cloud Shell:

Verifique se o diretório de trabalho atual é $HOME/cloudshell_open/terraform-google-analytics-lakehouse. Se não estiver, acesse esse diretório:
```
cd $HOME/cloudshell_open/terraform-google-analytics-lakehouse
```
Abra o arquivo main.tf e faça as mudanças que você quer fazer.

Para mais informações sobre os efeitos dessa personalização na confiabilidade, segurança, desempenho, custo e operações, consulte Recomendações de design.
Valide e revise a configuração do Terraform.
Provisione os recursos.

Recomendações de projeto

Nesta seção, fornecemos recomendações sobre o uso da solução de lakehouse de análise para desenvolver uma arquitetura que atenda aos requisitos de segurança, confiabilidade, custo e desempenho.

À medida que você começa a escalonar a solução de lakehouse, há várias maneiras de melhorar o desempenho da consulta e reduzir o gasto total. Esses métodos incluem a alteração de como os dados são armazenados fisicamente, a modificação das consultas SQL e a execução de consultas usando diferentes tecnologias. Para saber mais sobre métodos de otimização de cargas de trabalho do Spark, consulte Práticas recomendadas do Dataproc para produção.

Observações:

Antes de fazer qualquer mudança no design, avalie o impacto no custo e considere possíveis vantagens e desvantagens com outros recursos. É possível avaliar o impacto de mudanças no design usando a calculadora de preços do Google Cloud.
Para implementar mudanças de design na solução, você precisa de experiência em programação com Terraform e conhecimento avançado dos serviços do Google Cloud usados na solução.
Se você modificar a configuração do Terraform fornecida pelo Google e se encontrar erros, crie problemas no GitHub. Os problemas do GitHub são analisados com base no melhor esforço e não se destinam a perguntas gerais de uso.
Para mais informações sobre como criar e configurar ambientes de nível de produção no Google Cloud, consulte Design da zona de destino no Google Cloud e Lista de verificação de configuração do Google Cloud.

Excluir a implantação da solução

Quando você não precisar mais da implantação da solução, exclua a implantação para evitar o faturamento contínuo dos recursos criados.

Excluir a implantação pelo console

Use este procedimento se você tiver implantado a solução pelo console.

No console do Google Cloud, acesse a página Implantações da solução.

Acessar implantações de solução
Selecione o projeto que contém a implantação que você quer excluir.
Localize a implantação que você quer excluir.
Clique em Ações e selecione Excluir.
Digite o nome da implantação e clique em Confirmar.

O campo Status mostra Excluindo.

Se a exclusão falhar, consulte as orientações de solução de problemas em Erro ao excluir uma implantação.

Quando você não precisar mais do projeto do Google Cloud usado na solução, exclua-o. Para mais informações, consulte Opcional: excluir o projeto.

Excluir a implantação usando a CLI do Terraform

Use este procedimento se você implantou a solução usando a CLI do Terraform.

No Cloud Shell, verifique se o diretório de trabalho atual é $HOME/cloudshell_open/terraform-google-analytics-lakehouse/. Se não estiver, acesse esse diretório.
Remova os recursos provisionados pelo Terraform:
```
terraform destroy
```
O Terraform exibe uma lista dos recursos que serão destruídos.
Quando for solicitado que você execute as ações, digite yes.

O Terraform exibe as mensagens que mostram o progresso. Depois que todos os recursos forem excluídos, o Terraform exibirá a seguinte mensagem:
```
Destroy complete!
```
Se a exclusão falhar, consulte as orientações de solução de problemas em Erro ao excluir uma implantação.

Quando você não precisar mais do projeto do Google Cloud usado na solução, exclua-o. Para mais informações, consulte Opcional: excluir o projeto.

Excluir o projeto

Se você tiver implantado a solução em um novo projeto do Google Cloud e não for mais usar o projeto, exclua-o seguindo estas etapas:

No Console do Google Cloud, acesse a página Gerenciar recursos.
Acessar "Gerenciar recursos"
Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir.
No prompt, digite o ID do projeto e clique em Encerrar.

Se você decidir manter o projeto, exclua a conta de serviço criada para essa solução, conforme descrito na próxima seção.

Opcional: excluir a conta de serviço

Se você excluiu o projeto usado para a solução, pule esta seção.

Como mencionado anteriormente neste guia, quando você implantou a solução, uma conta de serviço foi criada em seu nome. A conta de serviço recebeu determinadas permissões do IAM temporariamente, ou seja, as permissões foram revogadas automaticamente após a conclusão das operações de implantação e exclusão da solução, mas a conta de serviço não foi excluída. O Google recomenda que você exclua essa conta de serviço.

Se você implantou a solução pelo console do Google Cloud, acesse a página Implantações da solução. Se você já estiver nessa página, atualize o navegador. Um processo é acionado em segundo plano para excluir a conta de serviço. Nenhuma outra ação é necessária.
Se você implantou a solução usando a CLI do Terraform, conclua as etapas a seguir:
1. No Console do Google Cloud, acesse a página Contas de serviço.
  
  Acessar Contas de serviço
2. Selecione o projeto usado para a solução.
3. Selecione a conta de serviço que você quer excluir.
  
  O ID de e-mail da conta de serviço que foi criada para a solução está no seguinte formato:
```
goog-sc-DEPLOYMENT_NAME-NNN@PROJECT_ID.iam.gserviceaccount.com
```
  O ID de e-mail contém os seguintes valores:
  - DEPLOYMENT_NAME: o nome da implantação.
  - NNN: um número aleatório de três dígitos.
  - PROJECT_ID é o ID do projeto em que você implantou a solução.
4. Clique em Excluir.

Solucionar erros

As ações que podem ser realizadas para diagnosticar e resolver erros dependem do método de implantação e da complexidade dele.

Erros de implantação da solução no console

Se a implantação falhar quando você usar o console, faça o seguinte:

Acesse a página Implantações da solução.

Se a implantação falhou, o campo Status mostra Falha.
Para ver os detalhes dos erros que causaram a falha, faça o seguinte:
1. Clique em Ações.
2. Selecione Ver registros do Cloud Build.
Analise o registro do Cloud Build e tome as medidas apropriadas para resolver o problema que causou a falha.

Erros ao implantar a solução usando a CLI do Terraform

Se a implantação falhar quando você usar o Terraform, a saída do comando terraform apply incluirá mensagens de erro que podem ser analisadas para diagnosticar o problema.

Os exemplos nas seções a seguir mostram erros de implantação que podem ser encontrados ao usar o Terraform.

Erro de API não ativada

Se você criar um projeto e tentar implantar imediatamente a solução no novo projeto, a implantação poderá falhar e apresentar um erro como este:

Error: Error creating Network: googleapi: Error 403: Compute Engine API has not
been used in project PROJECT_ID before or it is disabled. Enable it by visiting
https://console.developers.google.com/apis/api/compute.googleapis.com/overview?project=PROJECT_ID
then retry. If you enabled this API recently, wait a few minutes for the action
to propagate to our systems and retry.

Se esse erro ocorrer, aguarde alguns minutos e execute o comando terraform apply novamente.

Não é possível atribuir o erro do endereço solicitado

Quando você executa o comando terraform apply, pode ocorrer um erro cannot assign requested address, com uma mensagem como esta:

Error: Error creating service account:
 Post "https://iam.googleapis.com/v1/projects/PROJECT_ID/serviceAccounts:
 dial tcp [2001:db8:ffff:ffff::5f]:443:
 connect: cannot assign requested address

Se esse erro ocorrer, execute o comando terraform apply novamente.

Erros ao acessar dados no BigQuery ou no Looker Studio

Há uma etapa de provisionamento executada após as etapas de provisionamento do Terraform que carregam dados no ambiente. Se você receber um erro quando os dados estiverem sendo carregados no painel do Looker Studio, ou se não houver objetos quando você começar a explorar o BigQuery, aguarde alguns minutos e tente novamente.

Erro ao excluir uma implantação

Em alguns casos, as tentativas de excluir uma implantação podem falhar:

Depois de implantar uma solução no console, se você alterar qualquer recurso provisionado por ela e tentar excluir a implantação, a exclusão poderá falhar. O campo Status na página Implantações da solução mostra Com falha e o registro do Cloud Build mostra a causa do erro.
Depois de implantar uma solução usando a CLI do Terraform, se você alterar qualquer recurso usando uma interface diferente do Terraform (por exemplo, o console) e, em seguida, tentar excluir a implantação, a exclusão poderá falhar. As mensagens na saída do comando terraform destroy mostram a causa do erro.

Revise os registros de erro e as mensagens, identifique e exclua os recursos que causaram o erro e tente excluir a implantação novamente.

Se uma implantação baseada em console não for excluída e não for possível diagnosticar o erro usando o registro do Cloud Build, será possível excluir a implantação usando a CLI do Terraform, conforme descrito na próxima seção.

Excluir uma implantação com base no console usando a CLI do Terraform

Nesta seção, descrevemos como excluir uma implantação baseada em console em caso de erros ao tentar excluí-la no console. Nesta abordagem, faça o download da configuração do Terraform para a implantação que você quer excluir e use a CLI do Terraform para excluir a implantação.

Identifique a região em que o código, os registros e outros dados do Terraform da implantação são armazenados. Essa região pode ser diferente da região selecionada durante a implantação da solução.
1. No console do Google Cloud, acesse a página Implantações de soluções.
  
  Acessar implantações de solução
2. Selecione o projeto que contém a implantação que você quer excluir.
3. Na lista de implantações, identifique a linha da implantação que você quer excluir.
4. Clique em Consultar todo o conteúdo da linha.
5. Na coluna Local, observe o segundo local, conforme destacado no exemplo a seguir:
In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Crie variáveis de ambiente para o ID do projeto, a região e o nome da implantação que você quer excluir:
```
export REGION="REGION"
export PROJECT_ID="PROJECT_ID"
export DEPLOYMENT_NAME="DEPLOYMENT_NAME"
```
Nesses comandos, substitua o seguinte:
- REGION: o local que você anotou anteriormente neste procedimento.
- PROJECT_ID: o ID do projeto em que você implantou a solução.
- DEPLOYMENT_NAME: o nome da implantação que você quer excluir.

Encontre o ID da revisão mais recente da implantação que você quer excluir:

export REVISION_ID=$(curl \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \
    | jq .latestRevision -r)
    echo $REVISION_ID

O resultado será assim:

projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME/revisions/r-0

Encontre o local do Cloud Storage na configuração do Terraform para a implantação:

export CONTENT_PATH=$(curl \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/${REVISION_ID}" \
    | jq .applyResults.content -r)
    echo $CONTENT_PATH

Veja a seguir um exemplo da saída desse comando:

gs://PROJECT_ID-REGION-blueprint-config/DEPLOYMENT_NAME/r-0/apply_results/content

Faça o download da configuração do Terraform do Cloud Storage para o Cloud Shell:
```
gsutil cp -r $CONTENT_PATH $HOME
cd $HOME/content/
```
Aguarde até que a mensagem Operation completed seja exibida, conforme mostrado no exemplo a seguir:
```
Operation completed over 45 objects/268.5 KiB
```

Inicialize o Terraform:

terraform init

Aguarde até ver a seguinte mensagem:

Terraform has been successfully initialized!

Remova os recursos implantados:
```
terraform destroy
```
O Terraform exibe uma lista dos recursos que serão destruídos.

Se forem exibidos avisos sobre variáveis não declaradas, ignore-os.
Quando for solicitado que você execute as ações, digite yes.

O Terraform exibe as mensagens que mostram o progresso. Depois que todos os recursos forem excluídos, o Terraform exibirá a seguinte mensagem:
```
Destroy complete!
```

Exclua o artefato de implantação:

curl -X DELETE \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}?force=true&delete_policy=abandon"

Aguarde alguns segundos e verifique se o artefato de implantação foi excluído:

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \
    | jq .error.message

Se a saída mostrar null, aguarde alguns segundos e execute o comando novamente.

Depois que o artefato de implantação for excluído, uma mensagem, como mostrado no exemplo a seguir, será exibida:

Resource 'projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME' was not found

Enviar feedback

As Soluções de início rápido são apenas para fins informativos e não são produtos oficialmente compatíveis. O Google pode alterar ou remover soluções sem aviso prévio.

Para resolver erros, analise os registros do Cloud Build e a saída do Terraform.

Para enviar feedback, faça o seguinte:

Para ver a documentação, os tutoriais no console ou a solução, use o botão Enviar feedback na página.

Para código não modificado do Terraform, crie problemas no repositório do GitHub. Os problemas do GitHub são analisados com base no melhor esforço e não se destinam a perguntas gerais de uso.

Para problemas com produtos usados na solução, entre em contato com o Cloud Customer Care.