Guia de solução da Jump Start: data warehouse com o BigQuery

Last reviewed 2024-01-29 UTC

Este guia ajuda você a entender, implantar e usar a solução de Jump Start do Data Warehouse com o BigQuery. Nesta solução, mostramos como criar um data warehouse no Google Cloud usando o BigQuery como data warehouse e usando o Looker Studio como um painel e uma ferramenta de visualização. A solução também usa os recursos de IA generativa da Vertex AI para gerar texto que resume a análise.

Os casos de uso comuns para criar um data warehouse incluem:

Agregação e criação de data warehouses de análise de marketing para melhorar a receita ou outras métricas de clientes.
Criar relatórios e análises financeiras.
Criar painéis operacionais para melhorar o desempenho corporativo.

Este documento é destinado a desenvolvedores que têm alguma experiência com análise de dados e usaram um banco de dados para realizar uma análise. Presumimos que você esteja familiarizado com os conceitos básicos da nuvem, mas não necessariamente o Google Cloud. A experiência com o Terraform é útil, mas não obrigatória, para implantar essa solução no console.

Objetivos

Saiba como os dados fluem para um data warehouse em nuvem e como os dados podem ser transformados usando SQL.
Crie painéis com base nos dados para fazer análises.
Programe instruções SQL para atualizar dados em uma recorrência comum.
Criar um modelo de machine learning para prever valores de dados ao longo do tempo.
Use a IA generativa para resumir os resultados do seu modelo de machine learning.

Produtos usados

A solução usa os seguintes produtos do Google Cloud:

BigQuery: um data warehouse totalmente gerenciado e altamente escalonável com recursos integrados de machine learning.
Cloud Storage: um serviço pronto para empresas que oferece armazenamento de objetos de baixo custo e sem limite para diversos tipos de dados. Os dados podem ser acessados de dentro e de fora do Google Cloud e são replicados geograficamente de modo redundante.
Looker Studio: plataforma de Business Intelligence de autoatendimento que ajuda você a criar e compartilhar insights de dados.
A Vertex AI é uma plataforma de machine learning (ML) que permite treinar e implantar modelos de ML e aplicativos de IA.

Os seguintes produtos do Google Cloud são usados para preparar dados na solução para o primeiro uso:

Fluxos de trabalho: uma plataforma de orquestração totalmente gerenciada que executa serviços em uma ordem especificada como fluxo de trabalho. Os fluxos de trabalho podem combinar serviços, incluindo serviços personalizados hospedados no Cloud Run ou Cloud Functions, serviços do Google Cloud, como o BigQuery, e qualquer API baseada em HTTP.
O Cloud Functions é um ambiente de execução sem servidor para criar e conectar serviços em nuvem,

Arquitetura

O armazenamento de exemplo que esta solução implanta analisa dados fictícios de e-commerce do TheLook para entender o desempenho da empresa ao longo do tempo. O diagrama a seguir mostra a arquitetura dos recursos do Google Cloud que a solução implanta.

Arquitetura da infraestrutura para a solução de data warehouse.

Fluxo de soluções

A arquitetura representa um fluxo de dados comum para preencher e transformar dados para um data warehouse:

Os dados são enviados para um bucket do Cloud Storage.
Os fluxos de trabalho facilitam a movimentação de dados.
Os dados são carregados no BigQuery como uma tabela do BigLake usando um procedimento SQL armazenado.
Os dados são transformados no BigQuery usando um procedimento armazenado no SQL.
Os painéis são criados com base nos dados para análises adicionais com o Looker Studio.
Os dados são analisados com um modelo k-means criado com o BigQuery ML. A análise identifica padrões comuns, que são resumidos usando os recursos de IA generativa da Vertex AI pelo BigQuery.
O Cloud Functions cria notebooks Python com conteúdo extra de aprendizado.

Custo

Para uma estimativa dos custos dos recursos do Google Cloud usados pelo armazenamento de dados com a solução do BigQuery, consulte a estimativa pré-calculada na Calculadora de preços do Google Cloud.

Use a estimativa como um ponto de partida para calcular o custo da implantação. É possível modificar a estimativa para refletir as alterações de configuração planejadas para os recursos usados na solução.

A estimativa pré-calculada tem como base suposições específicas, incluindo o seguinte:

Os locais do Google Cloud em que os recursos são implantados.
A quantidade de tempo em que os recursos são usados.
Região onde os dados são testados.

implantar a solução

Esta seção orienta você no processo de implantação da solução.

Criar ou escolher um projeto do Google Cloud

Ao implantar a solução, escolha o projeto do Google Cloud em que os recursos serão implantados. Ao decidir entre usar um projeto existente ou criar um, considere os seguintes fatores:

Se você criar um projeto para a solução, quando não precisar mais da implantação, será possível excluir o projeto e evitar o faturamento contínuo. Se você usar um projeto existente, será preciso excluir a implantação quando não precisar mais dela.
Usar um novo projeto pode ajudar a evitar conflitos com recursos provisionados anteriormente, como recursos usados em cargas de trabalho de produção.

Se você quiser implantar a solução em um novo projeto, crie o projeto antes de iniciar a implantação.

Para criar um projeto, siga estas etapas:

No console do Google Cloud, acesse a página do seletor de projetos.

Acessar o seletor de projetos
Para começar a criar um projeto do Google Cloud, clique em Criar projeto.
Escolha o nome do projeto. Anote o código do projeto gerado.
Edite os outros campos conforme necessário.
Para criar o projeto, clique em Criar.

Receber as permissões de IAM necessárias

Para iniciar o processo de implantação, você precisa das permissões do Identity and Access Management (IAM) listadas na tabela a seguir. Se você tem o papel básico roles/owner no projeto em que planeja implantar a solução, você já tem todas as permissões necessárias. Se você não tiver o papel roles/owner, peça ao administrador para conceder essas permissões (ou as que incluem essas permissões) a você.

Permissão do IAM necessária	Papel predefinido que inclui as permissões necessárias
`serviceusage.services.enable`	Administrador do Service Usage (`roles/serviceusage.serviceUsageAdmin`)
`iam.serviceAccounts.create`	Administrador da conta de serviço (`roles/iam.serviceAccountAdmin`)
`resourcemanager.projects.setIamPolicy`	Administrador de projetos do IAM (`roles/resourcemanager.projectIamAdmin`)
`config.deployments.create` `config.deployments.list`	Administrador do Cloud Infrastructure Manager (`roles/config.admin`)

Conta de serviço criada para a solução

Se você iniciar o processo de implantação pelo console, o Google criará uma conta de serviço para implantar a solução em seu nome (e excluir a implantação mais tarde, se você quiser). Essa conta de serviço recebe determinadas permissões do IAM temporariamente, ou seja, as permissões são revogadas automaticamente após a conclusão das operações de implantação e exclusão da solução. O Google recomenda que, após a exclusão da implantação, você exclua a conta de serviço, conforme descrito mais adiante neste guia.

Ver os papéis atribuídos à conta de serviço

Esses papéis são listados aqui caso um administrador do projeto ou da organização do Google Cloud precise dessas informações.

roles/aiplatform.admin
roles/bigquery.admin
roles/cloudfunctions.admin
roles/config.agent
roles/datalineage.viewer
roles/dataform.admin
roles/iam.serviceAccountAdmin
roles/iam.serviceAccountUser
roles/iam.serviceAccountTokenCreator
roles/logging.configWriter
roles/resourcemanager.projectIamAdmin
roles/run.invoker
roles/serviceusage.serviceUsageAdmin
roles/storage.admin
roles/workflows.admin

Escolher um método de implantação

Para ajudá-lo a implantar essa solução com esforço mínimo, é fornecida uma configuração do Terraform no GitHub. A configuração do Terraform define todos os recursos do Google Cloud necessários para a solução.

É possível implantar a solução usando um dos seguintes métodos:

Pelo console: use esse método se quiser testar a solução com a configuração padrão e ver como ela funciona. O Cloud Build implanta todos os recursos necessários para a solução. Quando você não precisar mais da solução implantada, será possível excluí-la no console. Todos os recursos criados depois da implantação da solução talvez precisem ser excluídos separadamente.

Para usar esse método de implantação, siga as instruções em Implantar no console.
Com a CLI do Terraform: use esse método se quiser personalizar a solução ou automatizar o provisionamento e o gerenciamento dos recursos usando a abordagem de infraestrutura como código (IaC). Faça o download da configuração do Terraform no GitHub, personalize o código conforme necessário e implante a solução usando a CLI do Terraform. Depois de implantar a solução, é possível continuar a usar o Terraform para gerenciá-la.

Para usar esse método de implantação, siga as instruções em Implantar usando a CLI do Terraform.

Implantar pelo console

Conclua as etapas a seguir para implantar a solução pré-configurada.

No catálogo de Soluções de início rápido do Google Cloud, acesse a solução Armazenamento de dados com o BigQuery.

Acessar o armazenamento de dados com a solução BigQuery
Revise as informações fornecidas na página, como o custo estimado da solução e o tempo estimado de implantação.
Quando estiver tudo pronto para começar a implantar a solução, clique em Implantar.

Veja um guia interativo passo a passo.
Conclua estas etapas no guia interativo.

Anote o nome inserido para a implantação. Ele será necessário depois de excluir a implantação.

Quando você clica em Implantar, a página Implantações da solução é exibida. O campo Status nesta página mostra Implantação.
Aguarde a solução ser implantada.

Se a implantação falhar, o campo Status vai mostrar Falha. Use o registro do Cloud Build para diagnosticar os erros. Para mais informações, consulte Erros ao implantar no console.

Depois que a implantação for concluída, o campo Status mudará para Implantado.
Para verificar os recursos implantados, clique no menu Ações e selecione Ver recursos.

A página Inventário de recursos do Console do Google Cloud é aberta em uma nova guia do navegador. A página lista os objetos do BigQuery, a função do Cloud, o fluxo de trabalho do Workflows, o tópico do Pub/Sub e os recursos de gatilho do Eventarc que são implantados pela solução.

Para visualizar os detalhes de cada recurso, clique no nome do recurso na coluna Nome de exibição.
Para ver e usar a solução, retorne à página Implantações da solução no console.
1. Clique no menu Ações.
2. Selecione Visualizar painel do Looker Studio para abrir um painel baseado nos dados de amostra que foram transformados usando a solução.
3. Selecione Abrir editor do BigQuery para executar consultas e criar modelos de machine learning (ML) usando os dados de amostra na solução.

Quando você não precisar mais da solução, exclua a implantação para evitar o faturamento contínuo dos recursos do Google Cloud. Para mais informações, consulte Excluir a implantação.

Implantar usando a CLI do Terraform

Nesta seção, descrevemos como personalizar a solução ou automatizar o provisionamento e o gerenciamento dela usando a CLI do Terraform. As soluções que você implanta usando a CLI do Terraform não são exibidas na página Implantações da solução no console do Google Cloud.

Configurar o cliente do Terraform

É possível executar o Terraform no Cloud Shell ou no seu host local. Neste guia, descrevemos como executar o Terraform no Cloud Shell, que tem o Terraform pré-instalado e configurado para autenticação com o Google Cloud.

O código do Terraform para esta solução está disponível em um repositório do GitHub.

Clone o repositório do GitHub no Cloud Shell.

Você verá um prompt para confirmar o download do repositório do GitHub para o Cloud Shell.
Clique em Confirmar.

O Cloud Shell é iniciado em uma guia separada do navegador, e o código do Terraform é transferido por download para o diretório $HOME/cloudshell_open do seu ambiente do Cloud Shell.
No Cloud Shell, verifique se o diretório de trabalho atual é $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. Esse é o diretório que contém os arquivos de configuração do Terraform para a solução. Se você precisar mudar para esse diretório, execute o seguinte comando:
```
cd $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse
```
Inicialize o Terraform executando o seguinte comando:
```
terraform init
```
Aguarde até ver a seguinte mensagem:
```
Terraform has been successfully initialized!
```

Configurar as variáveis do Terraform

O código do Terraform que você salvou inclui variáveis que podem ser usadas para personalizar a implantação com base nos seus requisitos. Por exemplo, é possível especificar o projeto do Google Cloud e a região em que você quer que a solução seja implantada.

Verifique se o diretório de trabalho atual é $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. Se não estiver, acesse esse diretório.
No mesmo diretório, crie um arquivo de texto chamado terraform.tfvars.
No arquivo terraform.tfvars, copie o snippet de código a seguir e defina valores para as variáveis necessárias.
- Siga as instruções fornecidas como comentários no snippet de código.
- Esse snippet de código inclui apenas as variáveis para as quais você precisa definir valores. A configuração do Terraform inclui outras variáveis que têm valores padrão. Para revisar todas as variáveis e os valores padrão, consulte o arquivo variables.tf disponível no diretório $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse.
- Verifique se cada valor definido no arquivo terraform.tfvars corresponde ao tipo da variável, conforme declarado no arquivo variables.tf. Por exemplo, se o tipo definido para uma variável no arquivo variables.tf for bool, especifique true ou false como o valor dessa variável no arquivo terraform.tfvars.
```
# This is an example of the terraform.tfvars file.
# The values in this file must match the variable types declared in variables.tf.
# The values in this file override any defaults in variables.tf.

# ID of the project in which you want to deploy the solution
project_id = "PROJECT_ID"

# Google Cloud region where you want to deploy the solution
# Example: us-central1
region = "REGION"

# Whether or not to enable underlying apis in this solution.
# Example: true
enable_apis = true

# Whether or not to protect BigQuery resources from deletion when solution is modified or changed.
# Example: false
force_destroy = false

# Whether or not to protect Cloud Storage resources from deletion when solution is modified or changed.
# Example: true
deletion_protection = true

# Name of the BigQuery ML GenAI remote model used for text generation
# Example: "text_generate_model"
text_generation_model_name = "text_generate_model"
```
Para informações sobre os valores que podem ser atribuídos às variáveis obrigatórias, consulte:
- project_id: Como identificar projetos
- region: Regiões e zonas disponíveis

Validar e revisar a configuração do Terraform

Verifique se o diretório de trabalho atual é $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. Se não estiver, acesse esse diretório.
Verifique se a configuração do Terraform não tem erros:
```
terraform validate
```
Se o comando retornar algum erro, faça as correções necessárias na configuração e execute o comando terraform validate novamente. Repita essa etapa até o comando retornar a seguinte mensagem:
```
Success! The configuration is valid.
```
Analise os recursos definidos na configuração:
```
terraform plan
```
Se você não tiver criado o arquivo terraform.tfvars conforme descrito anteriormente, o Terraform solicitará que você insira valores das variáveis que não têm valores padrão. Insira os valores obrigatórios.

A saída do comando terraform plan é uma lista dos recursos provisionados pelo Terraform quando você aplica a configuração.

Se você quiser fazer alterações, edite a configuração e execute os comandos terraform validate e terraform plan novamente.

Provisionar os recursos

Quando nenhuma outra alteração for necessária na configuração, implante os recursos:

Verifique se o diretório de trabalho atual é $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. Se não estiver, acesse esse diretório.
Aplique a configuração do Terraform:
```
terraform apply
```
Se você não tiver criado o arquivo terraform.tfvars conforme descrito anteriormente, o Terraform solicitará que você insira valores das variáveis que não têm valores padrão. Insira os valores obrigatórios.

O Terraform exibe uma lista dos recursos que serão criados.
Quando for solicitado que você execute as ações, digite yes.

O Terraform exibe mensagens mostrando o progresso da implantação.

Se não for possível concluir a implantação, o Terraform exibirá os erros que causaram a falha. Analise as mensagens de erro e atualize a configuração para corrigi-los. Em seguida, execute o comando terraform apply novamente. Para receber ajuda com a solução de problemas do Terraform, consulte Erros ao implantar a solução usando a CLI do Terraform.

Depois que todos os recursos forem criados, o Terraform exibirá a seguinte mensagem:
```
Apply complete!
```
A saída do Terraform também lista as seguintes informações adicionais necessárias:
- O URL do Looker Studio do painel que foi implantado.
- O link para abrir o editor do BigQuery para alguns exemplos de consultas.
O exemplo a seguir mostra a saída:
```
lookerstudio_report_url = "https://lookerstudio.google.com/reporting/create?c.reportId=8a6517b8-8fcd-47a2-a953-9d4fb9ae4794&ds.ds_profit.datasourceName=lookerstudio_report_profit&ds.ds_profit.projectId=my-cloud-project&ds.ds_profit.type=TABLE&ds.ds_profit.datasetId=ds_edw&ds.ds_profit.tableId=lookerstudio_report_profit&ds.ds_dc.datasourceName=lookerstudio_report_distribution_centers&ds.ds_dc.projectId=my-cloud-project&ds.ds_dc.type=TABLE&ds.ds_dc.datasetId=ds_edw&ds.ds_dc.tableId=lookerstudio_report_distribution_centers"
bigquery_editor_url = "https://console.cloud.google.com/bigquery?project=my-cloud-project&ws=!1m5!1m4!6m3!1smy-cloud-project!2sds_edw!3ssp_sample_queries"
```
Para visualizar e usar o painel e executar consultas no BigQuery, copie os URLs de saída da etapa anterior e abra os URLs em novas guias do navegador.

O painel e o editor do BigQuery aparecem nas novas guias.
Para ver todos os recursos do Google Cloud implantados, faça um tour interativo.

Iniciar o tour

Quando você não precisar mais da solução, exclua a implantação para evitar o faturamento contínuo dos recursos do Google Cloud. Para mais informações, consulte Excluir a implantação.

Personalizar a solução

Nesta seção, fornecemos informações que os desenvolvedores do Terraform podem usar para modificar o armazenamento de dados com a solução do BigQuery para atender aos próprios requisitos técnicos e comerciais. As orientações nesta seção só serão relevantes se você implantar a solução usando a CLI do Terraform.

Depois de ver como a solução funciona com os dados de amostra, talvez você queira trabalhar com seus próprios dados. Para usar seus próprios dados, coloque-os no bucket do Cloud Storage chamado edw-raw-hash. O hash é um conjunto aleatório de oito caracteres gerado durante a implantação. É possível alterar o código do Terraform das seguintes maneiras:

ID do conjunto de dados Altere o código do Terraform para que, ao criar o conjunto de dados do BigQuery, ele use o ID do conjunto de dados que você quer usar para seus dados.
Esquema Altere o código do Terraform para que ele crie o ID da tabela do BigQuery que você quer usar para armazenar seus dados. Isso inclui o esquema da tabela externa para que o BigQuery possa ler os dados do Cloud Storage.
Consultas programadas Adicione procedimentos armazenados que executem a análise do seu interesse.
Painéis do Looker Alterar o código do Terraform que cria um painel do Looker para que ele reflita os dados que você está usando.

Veja a seguir objetos comuns de data warehouse, mostrando o código de exemplo do Terraform em main.tf.

Conjunto de dados do BigQuery: o esquema em que os objetos do banco de dados são agrupados e armazenados.

resource "google_bigquery_dataset" "ds_edw" {
      project = module.project-services.project_id
      dataset_id = "DATASET_PHYSICAL_ID"
      friendly_name = "DATASET_LOGICAL_NAME"
      description = "DATASET_DESCRIPTION"
      location = "REGION"
      labels = var.labels
      delete_contents_on_destroy = var.force_destroy
  }

Tabela do BigQuery: um objeto de banco de dados que representa dados armazenados no BigQuery ou um esquema de dados armazenado no Cloud Storage.

resource "google_bigquery_table" "tbl_edw_inventory_items" {
      dataset_id = google_bigquery_dataset.ds_edw.dataset_id
      table_id = "TABLE_NAME"
      project = module.project-services.project_id
      deletion_protection = var.deletion_protection
      ...
  }

Procedimento armazenado do BigQuery: um objeto de banco de dados que representa uma ou mais instruções SQL a serem executadas quando chamadas. Isso pode ser transformar os dados de uma tabela em outra ou carregar dados de uma tabela externa em uma padrão.

resource "google_bigquery_routine" "sp_sample_translation_queries" {
      project = module.project-services.project_id
      dataset_id = google_bigquery_dataset.ds_edw.dataset_id
      routine_id = "sp_sample_translation_queries"
      routine_type = "PROCEDURE"
      language = "SQL"
      definition_body = templatefile("${path.module}/assets/sql/sp_sample_translation_queries.sql", { project_id = module.project-services.project_id })
    }

Consulta programada do BigQuery: um utilitário para programar uma consulta ou procedimento armazenado para ser executado em uma frequência especificada.

resource "google_bigquery_data_transfer_config" "dts_config" {
    display_name = "TRANSFER_NAME"
    project = module.project-services.project_id
    location = "REGION"
    data_source_id = "scheduled_query"
    schedule = "every day 00:00"
    params = {
        query = "CALL ${module.project-services.project_id}.ds_edw.sp_lookerstudio_report()"
        }
  }

Para personalizar a solução, conclua as seguintes etapas no Cloud Shell:

Verifique se o diretório de trabalho atual é $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. Se não estiver, acesse esse diretório:
```
cd $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse
```
Abra o arquivo main.tf e faça as mudanças que você quer fazer.

Para mais informações sobre os efeitos dessa personalização na confiabilidade, segurança, desempenho, custo e operações, consulte Recomendações de design.
Valide e revise a configuração do Terraform.
Provisione os recursos.

Recomendações de projeto

Nesta seção, fornecemos recomendações para usar o armazenamento de dados com a solução BigQuery para desenvolver uma arquitetura que atenda aos seus requisitos de segurança, confiabilidade, custo e desempenho.

À medida que você começa a escalonar com o BigQuery, há várias maneiras de melhorar o desempenho da consulta e reduzir o gasto total. Esses métodos incluem a alteração de como os dados são armazenados fisicamente, a modificação das consultas SQL e o uso de reservas de slots para garantir o desempenho dos custos. Para mais informações sobre como escalonar e executar o data warehouse, consulte Introdução à otimização do desempenho da consulta.

Observações:

Antes de fazer qualquer mudança no design, avalie o impacto no custo e considere possíveis vantagens e desvantagens com outros recursos. É possível avaliar o impacto de mudanças no design usando a calculadora de preços do Google Cloud.
Para implementar mudanças de design na solução, você precisa de experiência em programação com Terraform e conhecimento avançado dos serviços do Google Cloud usados na solução.
Se você modificar a configuração do Terraform fornecida pelo Google e se encontrar erros, crie problemas no GitHub. Os problemas do GitHub são analisados com base no melhor esforço e não se destinam a perguntas gerais de uso.
Para mais informações sobre como criar e configurar ambientes de nível de produção no Google Cloud, consulte Design da zona de destino no Google Cloud e Lista de verificação de configuração do Google Cloud.

Exclua a implantação

Quando você não precisar mais da implantação da solução, exclua a implantação para evitar o faturamento contínuo dos recursos criados.

Excluir usando o console

Use este procedimento se você tiver implantado a solução pelo console.

No console do Google Cloud, acesse a página Implantações da solução.

Acessar implantações de solução
Selecione o projeto que contém a implantação que você quer excluir.
Localize a implantação que você quer excluir.
Clique em Ações e selecione Excluir.
Digite o nome da implantação e clique em Confirmar.

O campo Status mostra Excluindo.

Se a exclusão falhar, consulte as orientações de solução de problemas em Erro ao excluir uma implantação.

Quando você não precisar mais do projeto do Google Cloud usado na solução, exclua-o. Para mais informações, consulte Opcional: excluir o projeto.

Excluir usando a CLI do Terraform

Use este procedimento se você implantou a solução usando a CLI do Terraform.

No Cloud Shell, verifique se o diretório de trabalho atual é $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. Se não estiver, acesse esse diretório.
Remova os recursos provisionados pelo Terraform:
```
terraform destroy
```
O Terraform exibe uma lista dos recursos que serão destruídos.
Quando for solicitado que você execute as ações, digite yes.

O Terraform exibe as mensagens que mostram o progresso. Depois que todos os recursos forem excluídos, o Terraform exibirá a seguinte mensagem:
```
Destroy complete!
```
Se a exclusão falhar, consulte as orientações de solução de problemas em Erro ao excluir uma implantação.

Quando você não precisar mais do projeto do Google Cloud usado na solução, exclua-o. Para mais informações, consulte Opcional: excluir o projeto.

Excluir o projeto

Se você tiver implantado a solução em um novo projeto do Google Cloud e não for mais usar o projeto, exclua-o seguindo estas etapas:

No Console do Google Cloud, acesse a página Gerenciar recursos.
Acessar "Gerenciar recursos"
Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir.
No prompt, digite o ID do projeto e clique em Encerrar.

Se você decidir manter o projeto, exclua a conta de serviço criada para essa solução, conforme descrito na próxima seção.

Opcional: excluir a conta de serviço

Se você excluiu o projeto usado para a solução, pule esta seção.

Como mencionado anteriormente neste guia, quando você implantou a solução, uma conta de serviço foi criada em seu nome. A conta de serviço recebeu determinadas permissões do IAM temporariamente, ou seja, as permissões foram revogadas automaticamente após a conclusão das operações de implantação e exclusão da solução, mas a conta de serviço não foi excluída. O Google recomenda que você exclua essa conta de serviço.

Se você implantou a solução no console do Google Cloud, acesse a página Implantações da solução. Se você já estiver nessa página, atualize o navegador. Um processo é acionado em segundo plano para excluir a conta de serviço. Nenhuma outra ação é necessária.
Se você implantou a solução usando a CLI do Terraform, conclua as etapas a seguir:
1. No Console do Google Cloud, acesse a página Contas de serviço.
  
  Acessar Contas de serviço
2. Selecione o projeto usado para a solução.
3. Selecione a conta de serviço que você quer excluir.
  
  O ID de e-mail da conta de serviço que foi criada para a solução está no seguinte formato:
```
goog-sc-DEPLOYMENT_NAME-NNN@PROJECT_ID.iam.gserviceaccount.com
```
  O ID de e-mail contém os seguintes valores:
  - DEPLOYMENT_NAME: o nome da implantação.
  - NNN: um número aleatório de três dígitos.
  - PROJECT_ID é o ID do projeto em que você implantou a solução.
4. Clique em Excluir.

Solucionar erros

As ações que podem ser realizadas para diagnosticar e resolver erros dependem do método de implantação e da complexidade dele.

Erros ao implantar usando o console

Se a implantação falhar quando você usar o console, faça o seguinte:

Acesse a página Implantações da solução.

Se a implantação falhou, o campo Status mostra Falha.
Para ver os detalhes dos erros que causaram a falha, faça o seguinte:
1. Clique em Ações.
2. Selecione Ver registros do Cloud Build.
Analise o registro do Cloud Build e tome as medidas apropriadas para resolver o problema que causou a falha.

Erros ao implantar usando a CLI do Terraform

Se a implantação falhar quando você usar o Terraform, a saída do comando terraform apply incluirá mensagens de erro que podem ser analisadas para diagnosticar o problema.

Os exemplos nas seções a seguir mostram erros de implantação que podem ser encontrados ao usar o Terraform.

Erro de API não ativada

Se você criar um projeto e tentar implantar imediatamente a solução no novo projeto, a implantação poderá falhar e apresentar um erro como este:

Error: Error creating Network: googleapi: Error 403: Compute Engine API has not
been used in project PROJECT_ID before or it is disabled. Enable it by visiting
https://console.developers.google.com/apis/api/compute.googleapis.com/overview?project=PROJECT_ID
then retry. If you enabled this API recently, wait a few minutes for the action
to propagate to our systems and retry.

Se esse erro ocorrer, aguarde alguns minutos e execute o comando terraform apply novamente.

Não é possível atribuir o erro do endereço solicitado

Quando você executa o comando terraform apply, pode ocorrer um erro cannot assign requested address, com uma mensagem como esta:

Error: Error creating service account:
 Post "https://iam.googleapis.com/v1/projects/PROJECT_ID/serviceAccounts:
 dial tcp [2001:db8:ffff:ffff::5f]:443:
 connect: cannot assign requested address

Se esse erro ocorrer, execute o comando terraform apply novamente.

Erros ao acessar dados no BigQuery ou no Looker Studio

Há uma etapa de provisionamento executada após as etapas de provisionamento do Terraform que carregam dados no ambiente. Se você receber um erro quando os dados estiverem sendo carregados no painel do Looker Studio, ou se não houver objetos quando você começar a explorar o BigQuery, aguarde alguns minutos e tente novamente.

Erro ao excluir uma implantação

Em alguns casos, as tentativas de excluir uma implantação podem falhar:

Depois de implantar uma solução no console, se você alterar qualquer recurso provisionado por ela e tentar excluir a implantação, a exclusão poderá falhar. O campo Status na página Implantações da solução mostra Com falha e o registro do Cloud Build mostra a causa do erro.
Depois de implantar uma solução usando a CLI do Terraform, se você alterar qualquer recurso usando uma interface diferente do Terraform (por exemplo, o console) e, em seguida, tentar excluir a implantação, a exclusão poderá falhar. As mensagens na saída do comando terraform destroy mostram a causa do erro.

Revise os registros de erro e as mensagens, identifique e exclua os recursos que causaram o erro e tente excluir a implantação novamente.

Se uma implantação baseada em console não for excluída e não for possível diagnosticar o erro usando o registro do Cloud Build, será possível excluir a implantação usando a CLI do Terraform, conforme descrito na próxima seção.

Excluir uma implantação com base no console usando a CLI do Terraform

Nesta seção, descrevemos como excluir uma implantação baseada em console em caso de erros ao tentar excluí-la no console. Nesta abordagem, faça o download da configuração do Terraform para a implantação que você quer excluir e use a CLI do Terraform para excluir a implantação.

Identifique a região em que o código, os registros e outros dados do Terraform da implantação são armazenados. Essa região pode ser diferente da região selecionada durante a implantação da solução.
1. No console do Google Cloud, acesse a página Implantações de soluções.
  
  Acessar implantações de solução
2. Selecione o projeto que contém a implantação que você quer excluir.
3. Na lista de implantações, identifique a linha da implantação que você quer excluir.
4. Clique em Consultar todo o conteúdo da linha.
5. Na coluna Local, observe o segundo local, conforme destacado no exemplo a seguir:
No Console do Google Cloud, ative o Cloud Shell.

Ativar o Cloud Shell

Na parte inferior do Console do Google Cloud, uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.
Crie variáveis de ambiente para o ID do projeto, a região e o nome da implantação que você quer excluir:
```
export REGION="REGION"
export PROJECT_ID="PROJECT_ID"
export DEPLOYMENT_NAME="DEPLOYMENT_NAME"
```
Nesses comandos, substitua o seguinte:
- REGION: o local que você anotou anteriormente neste procedimento.
- PROJECT_ID: o ID do projeto em que você implantou a solução.
- DEPLOYMENT_NAME: o nome da implantação que você quer excluir.

Encontre o ID da revisão mais recente da implantação que você quer excluir:

export REVISION_ID=$(curl \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \
    | jq .latestRevision -r)
    echo $REVISION_ID

O resultado será assim:

projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME/revisions/r-0

Encontre o local do Cloud Storage na configuração do Terraform para a implantação:

export CONTENT_PATH=$(curl \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/${REVISION_ID}" \
    | jq .applyResults.content -r)
    echo $CONTENT_PATH

Veja a seguir um exemplo da saída desse comando:

gs://PROJECT_ID-REGION-blueprint-config/DEPLOYMENT_NAME/r-0/apply_results/content

Faça o download da configuração do Terraform do Cloud Storage para o Cloud Shell:
```
gsutil cp -r $CONTENT_PATH $HOME
cd $HOME/content/modules/data_warehouse
```
Aguarde até que a mensagem Operation completed seja exibida, conforme mostrado no exemplo a seguir:
```
Operation completed over 45 objects/268.5 KiB
```

Inicialize o Terraform:

terraform init

Aguarde até ver a seguinte mensagem:

Terraform has been successfully initialized!

Remova os recursos implantados:
```
terraform destroy
```
O Terraform exibe uma lista dos recursos que serão destruídos.

Se forem exibidos avisos sobre variáveis não declaradas, ignore-os.
Quando for solicitado que você execute as ações, digite yes.

O Terraform exibe as mensagens que mostram o progresso. Depois que todos os recursos forem excluídos, o Terraform exibirá a seguinte mensagem:
```
Destroy complete!
```

Exclua o artefato de implantação:

curl -X DELETE \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}?force=true&delete_policy=abandon"

Aguarde alguns segundos e verifique se o artefato de implantação foi excluído:

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \
    | jq .error.message

Se a saída mostrar null, aguarde alguns segundos e execute o comando novamente.

Depois que o artefato de implantação for excluído, uma mensagem, como mostrado no exemplo a seguir, será exibida:

Resource 'projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME' was not found

Enviar feedback

As Soluções de início rápido são apenas para fins informativos e não são produtos oficialmente compatíveis. O Google pode alterar ou remover soluções sem aviso prévio.

Para resolver erros, analise os registros do Cloud Build e a saída do Terraform.

Para enviar feedback, faça o seguinte:

Para ver a documentação, os tutoriais no console ou a solução, use o botão Enviar feedback na página.

Para código não modificado do Terraform, crie problemas no repositório do GitHub. Os problemas do GitHub são analisados com base no melhor esforço e não se destinam a perguntas gerais de uso.

Para problemas com produtos usados na solução, entre em contato com o Cloud Customer Care.