Neste tutorial, explicamos como gerenciar a infraestrutura como código com o Terraform e o Cloud Build usando a conhecida metodologia GitOps. O termo GitOps foi cunhado pela primeira vez pela Weaveworks (em inglês), e o conceito principal dele é usar um repositório Git para armazenar o estado do ambiente que você quer. O Terraform é uma ferramenta da HashiCorp (em inglês) que permite criar, alterar e melhorar de maneira previsível sua infraestrutura em nuvem usando código. Neste tutorial, você usa o Cloud Build, um serviço de integração contínua do Google Cloud, para aplicar automaticamente os manifestos do Terraform ao seu ambiente.
Este tutorial é destinado para desenvolvedores e operadores que procuram uma estratégia elegante para fazer alterações previsíveis na infraestrutura. O artigo considera que você já conhece o Google Cloud, o Linux e o GitHub.
Os relatórios State of DevOps identificaram recursos que impulsionam o desempenho da entrega de software. Este tutorial ajudará você com os seguintes recursos:
Arquitetura
Para demonstrar como este tutorial aplica as práticas do GitOps para gerenciar execuções do Terraform, considere o diagrama de arquitetura a seguir. Ele usa ramificações GitHub (dev
e prod
) para representar ambientes reais. Esses ambientes são definidos por redes VPC virtuais: dev
e prod
, respectivamente, em um projeto do Google Cloud.
O processo começa quando você envia o código do Terraform para a ramificação dev
ou prod
. Nesse cenário, o Cloud Build aciona e aplica manifestos do Terraform para atingir o estado desejado no respectivo ambiente.
Por outro lado, quando você aplica o código do Terraform a qualquer outra ramificação, por exemplo, a uma ramificação de recurso, o Cloud Build é executado para terraform plan
, mas nada é aplicado a ambiente algum.
O ideal é que desenvolvedores ou operadores façam propostas de infraestrutura para ramificações não protegidas e envia-as por solicitações de envio.
O app GitHub do Cloud Build, discutido posteriormente neste tutorial, aciona automaticamente os jobs de criação e vincula os relatórios terraform plan
a essas solicitações de envio. Dessa forma, é possível discutir e analisar as possíveis alterações com os colaboradores e adicionar confirmações de acompanhamento antes que as alterações sejam mescladas no branch básico.
Se não houver preocupações, mescle as alterações no branch dev
. Essa mescla aciona uma implantação de infraestrutura para o ambiente dev
, o que permite testá-lo. Depois de testar e ter certeza do que foi implantado, mescle o branch dev
no branch prod
para acionar a instalação da infraestrutura no ambiente de produção.
Objetivos
- Configurar seu repositório GitHub.
- Configurar o Terraform para armazenar o estado em um bucket do Cloud Storage.
- Conceder permissões à conta de serviço do Cloud Build.
- Conectar o Cloud Build ao seu repositório GitHub.
- Alterar a configuração do ambiente em uma ramificação de recurso.
- Promover mudanças no ambiente de desenvolvimento.
- Promover mudanças no ambiente de produção.
Custos
Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:
Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços.
Ao concluir as tarefas descritas neste documento, é possível evitar o faturamento contínuo excluindo os recursos criados. Saiba mais em Limpeza.
Pré-requisitos
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
- No Cloud Shell, consiga o código do projeto que você acabou de selecionar:
Se este comando não retornar o ID do projeto, configure o Cloud Shell para usar seu projeto. Substituagcloud config get-value project
PROJECT_ID
pelo ID do projeto.gcloud config set project PROJECT_ID
- Ative as APIs necessárias:
Esta etapa pode levar alguns minutos.gcloud services enable cloudbuild.googleapis.com compute.googleapis.com
- Se você nunca usou o Git no Cloud Shell, configure-o com seu nome e endereço de e-mail:
O Git usa essas informações para identificar você como o autor das confirmações que você cria no Cloud Shell.git config --global user.email "YOUR_EMAIL_ADDRESS" git config --global user.name "YOUR_NAME"
Como configurar seu repositório GitHub
Neste tutorial, você usa um único repositório Git para definir a infraestrutura em nuvem. Você orquestra essa infraestrutura ao ter branches diferentes correspondentes a ambientes diferentes:
- A ramificação
dev
contém as alterações mais recentes aplicadas ao ambiente de desenvolvimento. - A ramificação
prod
contém as últimas alterações que são aplicadas ao ambiente de produção.
Com essa infraestrutura, sempre é possível fazer referência ao repositório para saber qual configuração é esperada em cada ambiente e propor novas alterações, primeiro fundindo-as ao ambiente dev
. Em seguida, você promove as alterações mesclando a ramificação dev
na ramificação prod
subsequente.
Para começar, bifurque o repositório solutions-terraform-cloudbuild-gitops (em inglês).
- No GitHub, acesse https://github.com/GoogleCloudPlatform/solutions-terraform-cloudbuild-gitops.git (em inglês).
No canto superior direito da página, clique em Bifurcar.
Agora você tem uma cópia do repositório
solutions-terraform-cloudbuild-gitops
com arquivos de origem.
No Cloud Shell, clone este repositório bifurcado, substituindo
YOUR_GITHUB_USERNAME
pelo seu nome de usuário do GitHub:cd ~ git clone https://github.com/YOUR_GITHUB_USERNAME/solutions-terraform-cloudbuild-gitops.git cd ~/solutions-terraform-cloudbuild-gitops
O código nesse repositório está estruturado da seguinte maneira:
A pasta
environments/
contém subpastas que representam ambientes, comodev
eprod
, que fornecem separação lógica entre cargas de trabalho em diferentes estágios de maturidade, desenvolvimento e produção, respectivamente. É uma boa prática que esses ambientes sejam os mais semelhantes possíveis, mas cada subpasta tem a própria configuração do Terraform para garantir que possam ter configurações únicas, conforme necessário.A pasta
modules/
contém módulos in-line do Terraform. Esses módulos representam agrupamentos lógicos de recursos relacionados e são usados para compartilhar código em diferentes ambientes.O
cloudbuild.yaml
é um arquivo de configuração de versão que contém instruções para o Cloud Build, como executar tarefas com base em um conjunto de etapas. Esse arquivo especifica uma execução condicional, dependendo do branch em que o Cloud Build está buscando o código. Por exemplo:Para ramificações
dev
eprod
, as seguintes etapas são executadas:terraform init
terraform plan
terraform apply
Para qualquer outra ramificação, as etapas a seguir são executadas:
terraform init
para todas as subpastasenvironments
terraform plan
para todas as subpastasenvironments
Para garantir que as alterações propostas sejam adequadas para todos os ambientes,
terraform init
e terraform plan
são executados em todas as subpastas
environments
. Antes de mesclar a solicitação de envio, é possível analisar os planos
para garantir que o acesso não seja concedido a uma entidade não autorizada,
por exemplo.
Como configurar o Terraform para armazenar o estado em um bucket do Cloud Storage
Por padrão, o Terraform armazena o estado localmente em um arquivo chamado terraform.tfstate
. Essa configuração padrão pode dificultar o uso do Terraform para as equipes, especialmente quando muitos usuários o executam ao mesmo tempo e cada máquina tem o próprio entendimento da infraestrutura atual.
Para ajudar a evitar esses problemas, esta seção configura um estado remoto que aponta para um bucket do Cloud Storage. O estado remoto é um recurso de back-ends e, neste tutorial, é configurado nos arquivos backend.tf
, por exemplo:
Nas etapas a seguir, você cria um bucket do Cloud Storage e altera alguns arquivos para apontar para seu novo bucket e seu projeto do Google Cloud.
No Cloud Shell, crie o bucket do Cloud Storage:
1. Ative o Controle de versões do objeto para manter o histórico da implantação:PROJECT_ID=$(gcloud config get-value project) gsutil mb gs://${PROJECT_ID}-tfstate
```sh gcloud storage buckets update gs://${PROJECT_ID}-tfstate --versioning ``` Enabling Object Versioning increases [storage costs](/storage/pricing){: track-type="tutorial" track-name="internalLink" track-metadata-position="body" }, which you can mitigate by configuring [Object Lifecycle Management](/storage/docs/lifecycle){: track-type="tutorial" track-name="internalLink" track-metadata-position="body" } to delete old state versions.
Substitua o marcador
PROJECT_ID
pelo código do projeto nos arquivosterraform.tfvars
ebackend.tf
:cd ~/solutions-terraform-cloudbuild-gitops sed -i s/PROJECT_ID/$PROJECT_ID/g environments/*/terraform.tfvars sed -i s/PROJECT_ID/$PROJECT_ID/g environments/*/backend.tf
No OS X/MacOS, talvez seja necessário adicionar duas aspas (
""
) apóssed -i
, da seguinte maneira:cd ~/solutions-terraform-cloudbuild-gitops sed -i "" s/PROJECT_ID/$PROJECT_ID/g environments/*/terraform.tfvars sed -i "" s/PROJECT_ID/$PROJECT_ID/g environments/*/backend.tf
Verifique se todos os arquivos foram atualizados:
git status
O resultado será semelhante ao seguinte:
On branch dev Your branch is up-to-date with 'origin/dev'. Changes not staged for commit: (use "git add <file>..." to update what will be committed) (use "git checkout -- <file>..." to discard changes in working directory) modified: environments/dev/backend.tf modified: environments/dev/terraform.tfvars modified: environments/prod/backend.tf modified: environments/prod/terraform.tfvars no changes added to commit (use "git add" and/or "git commit -a")
Confirme e envie suas alterações por push:
git add --all git commit -m "Update project IDs and buckets" git push origin dev
Dependendo da sua configuração do GitHub, será preciso se autenticar para enviar as alterações anteriores.
Como conceder permissões à sua conta de serviço do Cloud Build
Para permitir que a conta de serviço do Cloud Build execute scripts do Terraform com o objetivo de gerenciar recursos do Google Cloud, você precisa conceder acesso adequado ao projeto. Para simplificar, o acesso ao editor do projeto é concedido neste tutorial. Porém, quando o papel de editor do projeto tem uma permissão ampla, em ambientes de produção, siga as práticas recomendadas de segurança de TI da sua empresa, geralmente fornecendo acesso com menos privilégios.
No Cloud Shell, recupere o e-mail da conta do serviço do Cloud Build do seu projeto:
CLOUDBUILD_SA="$(gcloud projects describe $PROJECT_ID \ --format 'value(projectNumber)')@cloudbuild.gserviceaccount.com"
Conceda o acesso necessário à sua conta de serviço do Cloud Build:
gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$CLOUDBUILD_SA --role roles/editor
Como conectar diretamente o Cloud Build ao seu repositório GitHub
Esta seção mostra como instalar o app GitHub do Cloud Build. Essa instalação permite que você conecte seu repositório do GitHub ao projeto do Google Cloud para que o Cloud Build possa aplicar automaticamente seus manifestos do Terraform toda vez que você criar uma nova ramificação ou um código push no GitHub.
As etapas a seguir fornecem instruções para instalar o app apenas para o repositório
solutions-terraform-cloudbuild-gitops
, mas você pode optar por instalar o app para mais ou todos os seus repositórios.Acesse a página do Marketplace do GitHub para o aplicativo Cloud Build:
Abrir a página do aplicativo Cloud Build (em inglês)
- Se esta for a primeira vez que você configura um aplicativo no GitHub, clique em Configurar com o Google Cloud Build na parte inferior da página. Em seguida, clique em Conceder acesso a este aplicativo à sua conta do GitHub.
- Se esta não for a primeira vez que você configura um aplicativo no GitHub, clique em Configurar acesso. A página Aplicativos da sua conta pessoal é aberta.
Clique em Configurar na linha do Cloud Build.
Selecione Somente repositórios selecionados e, em seguida, selecione
solutions-terraform-cloudbuild-gitops
para se conectar ao repositório.Clique em Salvar ou Instalar. O rótulo do botão muda dependendo do fluxo de trabalho. Você será redirecionado para o Google Cloud para continuar a instalação.
Faça login com sua conta do Google Cloud. Se solicitado, autorize a integração do Cloud Build com o GitHub.
Na página Cloud Build, selecione o projeto. Um assistente será exibido.
Na seção Selecionar repositório, selecione sua conta do GitHub e o repositório
solutions-terraform-cloudbuild-gitops
.Se você concordar com os termos e condições, marque a caixa de seleção e clique em Conectar.
Na seção Criar um acionador, clique em Criar um acionador:
- Adicione um nome de gatilho, como
push-to-branch
. Anote esse nome do gatilho porque você vai precisar dele mais tarde. - Na seção Evento, selecione Enviar para uma ramificação.
- Na seção Origem, selecione
.*
no campo Ramificação. - Clique em Criar.
- Adicione um nome de gatilho, como
O app GitHub do Cloud Build agora está configurado, e seu repositório do GitHub está vinculado ao seu projeto do Google Cloud. A partir de agora, as alterações no repositório GitHub acionam execuções do Cloud Build, que informam os resultados de volta ao GitHub usando as Verificações do GitHub (em inglês).
Como alterar a configuração do ambiente em um novo branch de recurso
Até agora, você configurou a maior parte do seu ambiente. Portanto, é hora de fazer algumas alterações no código do seu ambiente de desenvolvimento.
No GitHub, acesse a página principal do seu repositório bifurcado.
https://github.com/YOUR_GITHUB_USERNAME/solutions-terraform-cloudbuild-gitops
Verifique se você está na ramificação
dev
.Para abrir o arquivo para edição, acesse o arquivo
modules/firewall/main.tf
e clique no ícone de lápis.Na linha 30, corrija o erro de digitação
"http-server2"
no campotarget_tags
.O valor precisa ser
"http-server"
.Adicione uma mensagem de confirmação na parte inferior da página, como "Corrigindo o destino do firewall http", e selecione Create a new branch for this commit and start a pull request.
Clique em Propor alterações.
Na página seguinte, clique em Criar solicitação de envio para abrir uma nova solicitação com sua alteração.
Depois que a solicitação de envio for aberta, um job do Cloud Build será iniciado automaticamente.
Clique em Mostrar todas as verificações e aguarde a verificação ficar verde.
Clique em Detalhes para ver mais informações, incluindo a saída do
terraform plan
em Ver mais detalhes no Google Cloud Build.
Não mescle sua solicitação de envio ainda.
Observe que o job Cloud Build executou o pipeline definido no arquivo
cloudbuild.yaml
. Como discutido anteriormente, esse pipeline tem comportamentos diferentes, dependendo do branch que está sendo buscado. A construção verifica se a variável$BRANCH_NAME
corresponde a alguma pasta do ambiente. Nesse caso, o Cloud Build executaterraform plan
para esse ambiente. Caso contrário, o Cloud Build executaterraform plan
em todos os ambientes para garantir que a alteração proposta seja apropriada para todos eles. Se a execução de algum desses planos falhar, a compilação falhará.Da mesma forma, o comando
terraform apply
é executado para ramificações do ambiente, mas é completamente ignorado em qualquer outro caso. Nesta seção, você enviou uma alteração de código para uma nova filial, portanto, nenhuma implantação de infraestrutura foi aplicada ao seu projeto do Google Cloud.Como aplicar o sucesso da execução do Cloud Build antes de mesclar branches
Para garantir que as mesclagens possam ser aplicadas apenas quando as respectivas execuções do Cloud Build forem bem-sucedidas, continue com as seguintes etapas:
No GitHub, acesse a página principal do seu repositório bifurcado.
https://github.com/YOUR_GITHUB_USERNAME/solutions-terraform-cloudbuild-gitops
No nome do repositório, clique em Settings.
No menu esquerdo, clique em Branches.
Em Branch protection rules, clique em Add rule.
Em Branch name pattern, digite
dev
.Na seção Proteger ramificações correspondentes, selecione Exigir que as verificações de status sejam aprovadas antes da mesclagem.
Pesquise o nome do gatilho do Cloud Build criado anteriormente.
Clique em Criar.
Repita as etapas 3 a 7, definindo Padrão de nome da ramificação como
prod
.
Essa configuração é importante para proteger as ramificações
dev
eprod
. Ou seja, as confirmações precisam primeiro ser enviadas para outro branch e somente então podem ser mescladas ao branch protegido. Neste tutorial, a proteção exige que a execução do Cloud Build seja bem-sucedida para que a mesclagem seja permitida.Como promover alterações no ambiente de desenvolvimento
Você tem uma solicitação de envio aguardando para ser mesclada. É hora de aplicar o estado que você quer ao seu ambiente
dev
.No GitHub, acesse a página principal do seu repositório bifurcado.
https://github.com/YOUR_GITHUB_USERNAME/solutions-terraform-cloudbuild-gitops
No nome do seu repositório, clique em Pull requests.
Clique na solicitação de envio que você acabou de criar.
Clique em Merge pull request e depois em Confirm merge.
Verifique se um novo Cloud Build foi acionado:
Abra a compilação e verifique os registros.
Quando a compilação terminar, você verá algo assim:
Step #3 - "tf apply": external_ip = EXTERNAL_IP_VALUE Step #3 - "tf apply": firewall_rule = dev-allow-http Step #3 - "tf apply": instance_name = dev-apache2-instance Step #3 - "tf apply": network = dev Step #3 - "tf apply": subnet = dev-subnet-01
Copie
EXTERNAL_IP_VALUE
e abra o endereço em um navegador da web.http://EXTERNAL_IP_VALUE
Esse provisionamento pode levar alguns segundos para inicializar a VM e propagar a regra do firewall. Por fim, você vai ver Ambiente: dev no navegador da Web.
Navegue até o arquivo de estado do Terraform no bucket do Cloud Storage.
https://storage.cloud.google.com/PROJECT_ID-tfstate/env/dev/default.tfstate
Como promover alterações no ambiente de produção
Agora que seu ambiente de desenvolvimento foi totalmente testado, promova seu código de infraestrutura para produção.
No GitHub, acesse a página principal do seu repositório bifurcado.
https://github.com/YOUR_GITHUB_USERNAME/solutions-terraform-cloudbuild-gitops
No nome do seu repositório, clique em Pull requests.
Clique em New pull request.
Para base repository, selecione seu repositório recém-bifurcado.
Para base, selecione
prod
do seu próprio repositório base. Para comparar, selecionedev
.Clique em Create pull request.
Para title, digite um título como
Promoting networking changes
e clique em Criar solicitação de envio.Revise as alterações propostas, incluindo os detalhes de
terraform plan
do Cloud Build e clique em Mesclar solicitação de envio.Clique em Confirmar mesclagem.
No console do Google Cloud, abra a página Histórico da compilação para ver as alterações sendo aplicadas ao ambiente de produção:
Aguarde o término da compilação e verifique os registros.
No final dos registros, você verá algo assim:
Step #3 - "tf apply": external_ip = EXTERNAL_IP_VALUE Step #3 - "tf apply": firewall_rule = prod-allow-http Step #3 - "tf apply": instance_name = prod-apache2-instance Step #3 - "tf apply": network = prod Step #3 - "tf apply": subnet = prod-subnet-01
Copie
EXTERNAL_IP_VALUE
e abra o endereço em um navegador da web.http://EXTERNAL_IP_VALUE
Esse provisionamento pode levar alguns segundos para inicializar a VM e propagar a regra do firewall. Em algum momento você vai ver Ambiente: prod no navegador da Web.
Navegue até o arquivo de estado do Terraform no bucket do Cloud Storage.
https://storage.cloud.google.com/PROJECT_ID-tfstate/env/prod/default.tfstate
Você configurou com êxito um pipeline de infraestrutura como código sem servidor no Cloud Build. No futuro, tente realizar as ações a seguir:
- Adicione implantações para casos de uso separados.
- Crie ambientes adicionais para refletir suas necessidades.
- Use um projeto por ambiente em vez de uma VPC por ambiente.
Limpeza
Depois de concluir o tutorial, limpe os recursos que você criou no Google Cloud para não receber cobranças por eles no futuro.
Excluir o projeto
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Como excluir o repositório do GitHub
Para evitar o bloqueio de novas solicitações de pull no repositório do GitHub, exclua as regras de proteção do branch:
- No GitHub, acesse a página principal do seu repositório bifurcado.
- No nome do repositório, clique em Settings.
- No menu esquerdo, clique em Branches.
- Na seção Regras de proteção do branch, clique no botão Excluir das linhas
dev
eprod
.
Se preferir, desinstale completamente o app Cloud Build do GitHub:
Acesse as configurações de Aplicativos do GitHub.
Na guia Apps instalados do GitHub, clique em Configurar na linha Cloud Build. Em seguida, na seção Zona de perigo, clique no botão Desinstalar na linha Desinstalar o Google Cloud Builder.
Na parte superior da página, você verá uma mensagem dizendo "Tudo pronto. Um job foi colocado na fila para desinstalar o Google Cloud Build."
Na guia Apps autorizados do GitHub, clique no botão Revogar, na linha Google Cloud Build, e Entendo, revogar acesso na pop-up.
Se você não quiser manter seu repositório do GitHub:
- No GitHub, acesse a página principal do seu repositório bifurcado.
- No nome do repositório, clique em Settings.
- Role para baixo até a zona de perigo.
- Clique em Excluir este repositório e siga as etapas de confirmação.
A seguir
- Considere usar os modelos do Cloud Foundation Toolkit para criar rapidamente uma base empresarial repetível no Google Cloud.
- Assista a Ambientes repetíveis do Google Cloud em escala com pipelines de infraestrutura como código do Cloud Build (em inglês) da Next' 19 sobre o fluxo de trabalho do GitOps descrito neste tutorial.
- Confira o tutorial Entrega contínua no estilo GitOps com o Cloud Build.
- Confira os recursos mais avançados do Cloud Build: Como configurar a ordem das etapas de versão, Como criar, testar e implantar artefatos e Como criar etapas personalizadas de versão.
- Confira o blog em Como garantir a escala e a conformidade da sua implantação do Terraform com o Cloud Build.
- Leia nossos recursos sobre DevOps.
- Saiba mais sobre os recursos de DevOps relacionados a este tutorial:
- Faça a verificação rápida de DevOps para entender sua posição em relação ao restante do setor.