本指南介绍如何使用 Cloud Build 和 Terraform 在 Compute Engine 代管式实例组 (MIG) 上执行零停机的蓝绿部署。
借助 Cloud Build,您可以自动执行各种开发者流程,包括构建应用并将其部署到各种 Google Cloud 运行时,例如 Compute Engine、Google Kubernetes Engine、GKE Enterprise 和 Cloud Functions。
Compute Engine MIG 可让您在多个相同的虚拟机 (VM) 上运行应用。您可以利用自动化 MIG 服务使您的工作负载具有可伸缩性和高可用性,这些服务包括自动伸缩、自动修复、区域(多可用区)部署和自动更新。使用蓝绿持续部署模型,您将学习如何将用户流量从一个 MIG(蓝色)逐步转移到另一个 MIG(绿色),这两个 MIG 都在生产环境中运行。
设计概览
下图显示了本文档中介绍的代码示例使用的蓝绿部署模型:
概括来讲,此模型包括以下组成部分:
- 两个 Compute Engine 虚拟机池:蓝色和绿色。
- 三个外部 HTTP(S) 负载平衡器:
- 蓝绿负载均衡器,用于将流量从最终用户路由到蓝绿虚拟机实例池。
- 一个蓝色负载均衡器,用于将流量从 QA 工程师和开发者路由到蓝色虚拟机实例池。
- 绿色负载均衡器,用于将流量从 QA 工程师和开发者路由到 Green 实例池。
- 两组用户:
- 有权访问蓝绿负载均衡器的最终用户,该负载均衡器将用户指向蓝或绿色实例池。
- 出于开发和测试目的需要访问这两组池的质量检查工程师和开发者。它们可以访问蓝色和绿色负载平衡器,它们分别路由到蓝色实例模板和绿色实例模板。
蓝色和绿色虚拟机池实现为 Compute Engine MIG,外部 IP 地址使用外部 HTTP(s) 负载平衡器路由到 MIG 中的虚拟机。本文档中介绍的代码示例使用 Terraform 来配置此基础架构。
下图说明了在部署中发生的开发者操作:
在上图中,红色箭头表示首次设置部署基础架构时发生的引导流程,蓝色箭头表示每次部署期间发生的 GitOps 流程。
如需设置此基础架构,请运行设置脚本,启动引导过程并为 GitOps 流设置组件。
设置脚本会执行 Cloud Build 流水线,该流水线会执行以下操作:
- 在 Cloud Source Repositories 中创建一个名为
copy-of-gcp-mig-simple
的代码库,并将源代码从 GitHub 示例代码库复制到 Cloud Source Repositories 中的代码库。 - 创建两个名为
apply
和destroy
的 Cloud Build 触发器。
apply
触发器附加到 Cloud Source Repositories 中名为 main.tfvars
的 Terraform 文件。此文件包含代表蓝色和绿色负载平衡器的 Terraform 变量。
如需设置部署,您需要更新 main.tfvars
文件中的变量。apply
触发器运行 Cloud Build 流水线,该流水线执行 tf_apply
并执行以下操作:
- 创建两个 Compute Engine MIG(一个用于绿色,一个用于蓝色)、四个 Compute Engine 虚拟机实例(两个用于绿色 MIG,两个用于蓝色 MIG)、三个负载平衡器(蓝色、绿色和分离器)和三个公共 IP 地址。
- 输出 IP 地址,可用于以蓝色和绿色实例查看已部署的应用。
销毁触发器会手动触发,以删除“应用”触发器创建的所有资源。
目标
使用 Cloud Build 和 Terraform 通过 Compute Engine 虚拟机实例组后端设置外部 HTTP(S) 负载平衡器。
在虚拟机实例上执行蓝绿部署。
费用
在本文档中,您将使用 Google Cloud 的以下收费组件:
您可使用价格计算器根据您的预计使用情况来估算费用。
完成本文档中描述的任务后,您可以通过删除所创建的资源来避免继续计费。如需了解详情,请参阅清理。
准备工作
- 登录您的 Google Cloud 账号。如果您是 Google Cloud 新手,请创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金,用于运行、测试和部署工作负载。
- 安装 Google Cloud CLI。
-
如需初始化 gcloud CLI,请运行以下命令:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
- 安装 Google Cloud CLI。
-
如需初始化 gcloud CLI,请运行以下命令:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
测试
从 Google 代码示例代码库中运行设置脚本:
bash <(curl https://raw.githubusercontent.com/GoogleCloudPlatform/cloud-build-samples/main/mig-blue-green/setup.sh)
当设置脚本请求用户同意时,请输入 yes。
脚本将在几秒钟内完成运行。
在 Google Cloud 控制台中,打开 Cloud Build 构建记录页面:
点击最新 build。
您将看到构建详情页面,其中显示了具有三个构建步骤的 Cloud Build 流水线:第一个构建步骤在 Cloud Source Repositories 中创建代码库,第二步将 GitHub 中示例代码库的内容克隆到 Cloud Source Repositories,第三步添加两个构建触发器。
打开 Cloud Source Repositories:
在代码库列表中,点击
copy-of-gcp-mig-simple
。在页面底部的历史记录标签页中,您将看到一项提交,其描述为
A copy of https://github.com/GoogleCloudPlatform/cloud-build-samples.git
,该提交由 Cloud Build 创建,用于创建名为copy-of-gcp-mig-simple
的代码库。打开 Cloud Build 触发器页面:
如需开始部署过程,请更新
infra/main.tfvars
文件:在终端窗口中,创建并导航到名为
deploy-compute-engine
的文件夹:mkdir ~/deploy-compute-engine cd ~/deploy-compute-engine
克隆
copy-of-gcp-mig-simple
代码库:gcloud source repos clone copy-of-mig-blue-green
导航到克隆的目录:
cd ./copy-of-mig-blue-green
更新
infra/main.tfvars
以将蓝色替换为绿色:sed -i'' -e 's/blue/green/g' infra/main.tfvars
添加更新后的文件:
git add .
提交此文件:
git commit -m "Promote green"
推送文件:
git push
更改
infra/main.tfvars
会触发执行apply
触发器,从而启动部署。
打开 Cloud Source Repositories:
在代码库列表中,点击
copy-of-gcp-mig-simple
。您将在页面底部的历史记录标签页中看到带有
Promote green
说明的提交内容。如需查看
apply
触发器的执行情况,请在 Google Cloud 控制台中打开构建记录页面:点击第一个构建以打开构建详情页面。
您将看到包含两个构建步骤的
apply
触发器流水线。第一个构建步骤执行 Terraform apply 命令,为部署创建 Compute Engine 和负载均衡资源。第二步会输出显示应用运行的 IP 地址。在浏览器中打开与绿色 MIG 对应的 IP 地址。您将看到类似于下方所示部署的屏幕截图:
转到 Compute Engine 实例组页面,查看蓝色和绿色的实例组:
打开虚拟机实例页面,查看四个虚拟机实例:
打开外部 IP 地址页面,查看三个负载平衡器:
您将看到两个名为 apply
和 destroy
的构建触发器。apply
触发器已附加到 main
分支中的 infra/main.tfvars
文件。每次更新文件时,此触发器都会执行。destroy
触发器是手动触发器。
了解代码
此代码示例的源代码包括:
- 与设置脚本相关的源代码。
- 与 Cloud Build 流水线相关的源代码。
- 与 Terraform 模板相关的源代码。
设置脚本
setup.sh
是运行引导过程并为蓝绿部署创建组件的设置脚本。该脚本将执行以下操作:
- 启用 Cloud Build、Resource Manager Compute Engine 和 Cloud Source Repositories API
- 将
roles/editor
IAM 角色授予项目中的 Cloud Build 服务帐号。为使 Cloud Build 为部署创建和设置必要的 GitOps 组件,必须使用此角色。 - 将
roles/source.admin
IAM 角色授予项目中的 Cloud Build 服务帐号。Cloud Build 服务帐号需要使用此角色在项目中创建 Cloud Source Repositories,并将示例 GitHub 代码库的内容克隆到 Cloud Source Repositories。 以内嵌方式生成名为
bootstrap.cloudbuild.yaml
的 Cloud Build 流水线,该流水线符合以下要求:- 在 Cloud Source Repositories 中创建新的代码库。
- 将示例 GitHub 代码库中的源代码复制到 Cloud Source Repositories 中的新代码库。
- 创建应用和销毁构建触发器。
Cloud Build 流水线
apply.cloudbuild.yaml
和 destroy.cloudbuild.yaml
是设置脚本用来为 GitOps 流程设置资源的 Cloud Build 配置文件。apply.cloudbuild.yaml
包含两个构建步骤:
- 调用函数
tf_install_in_cloud_build_step
的tf_apply build
构建步骤,该函数会安装 Terraform。tf_apply
,用于创建 GitOps 流中使用的资源。函数tf_install_in_cloud_build_step
和tf_apply
在bash_utils.sh
中定义,构建步骤使用source
命令调用这些函数。 describe_deployment
构建步骤,用于调用函数describe_deployment
,该函数会输出负载平衡器的 IP 地址。
destroy.cloudbuild.yaml
会调用 tf_destroy
,后者会删除 tf_apply
创建的所有资源。
函数 tf_install_in_cloud_build_step
、tf_apply
、describe_deployment
和 tf_destroy
在文件 bash_utils.sh
中定义。构建配置文件使用 source
命令调用函数。
以下代码展示了 bash_utils.sh
中定义的函数 tf_install_in_cloud_build_step
。构建配置文件会调用此函数来实时安装 Terraform。它会创建一个 Cloud Storage 存储桶来记录 Terraform 状态。
以下代码段展示了 bash_utils.sh
中定义的函数 tf_apply
。它首先调用加载所有模块和自定义库的 terraform init
,然后运行 terraform apply
以从 main.tfvars
文件加载变量。
以下代码段展示了在 bash_utils.sh
中定义的函数 describe_deployment
。它使用 gcloud compute addresses describe
通过名称提取负载平衡器的 IP 地址并将其输出。
以下代码段展示了 bash_utils.sh
中定义的函数 tf_destroy
。它会调用 terraform init
以加载所有模块和自定义库,然后运行 terraform destroy
以卸载 Terraform 变量。
Terraform 模板
您可以在 copy-of-gcp-mig-simple/infra/
文件夹中找到所有 Terraform 配置文件和变量。
main.tf
:这是 Terraform 配置文件main.tfvars
:此文件定义 Terraform 变量。mig/
和splitter/
:这些文件夹包含定义负载平衡器的模块。mig/
文件夹包含为 Blue 和 Green 负载平衡器定义 MIG 的 Terraform 配置文件。Blue MIG 和 Green MIG 完全相同,因此它们只需定义一次,并针对蓝色对象和绿色对象进行实例化。拆分器负载均衡器的 Terraform 配置文件位于splitter/
文件夹中。
以下代码段展示了 infra/main.tfvars
的内容。它包含三个变量:两个用于确定要部署到蓝色池和绿色池的应用版本,还有一个用于活动颜色的变量:蓝色或绿色。对此文件的更改会触发部署。
以下是 infra/main.tf
中的代码段。在此代码段中:
- 我们为 Google Cloud 项目定义了一个变量。
- 将 Google 设置为 Terraform 提供程序。
- 变量是为命名空间定义的。由 Terraform 创建的所有对象都带有此变量的前缀,以便在同一项目中部署应用的多个版本,并且对象名称不会相互冲突。
- 变量
MIG_VER_BLUE
、MIG_VER_BLUE
和MIG_ACTIVE_COLOR
是infra/main.tfvars
文件中变量的绑定。
infra/main.tf
中的以下代码段显示了分屏器模块的实例化。此模块采用主动颜色,以便分流器负载平衡器知道要部署应用的 MIG。
infra/main.tf
中的以下代码段为蓝色和绿色 MIG 定义了两个相同的模块。它接受分屏模块中定义的颜色、网络和子网。
文件 splitter/main.tf
定义了为拆分器 MIG 创建的对象。以下是 splitter/main.tf
中的代码段,其中包含在绿色和蓝色 MIG 之间切换的逻辑。它由服务 google_compute_region_backend_service
提供支持,该服务可以将流量路由到两个后端区域:var.instance_group_blue
或 var.instance_group_green
。capacity_scaler
定义要路由的流量。
以下代码会将所有流量路由到指定颜色,但您可以更新 Canary 部署的此代码,将流量路由到一部分用户。
文件 mig/main.tf
定义了与 Blue 和 Green MIG 相关的对象。此文件中的以下代码段定义了用于创建虚拟机池的 Compute Engine 实例模板。请注意,此实例模板的 Terraform 生命周期属性已设置为 create_before_destroy
。这是因为,在更新池的版本时,如果之前版本的池仍在使用模板,您将无法使用模板来创建池的新版本。但是,如果在创建新模板之前旧版本的池已被销毁,则该池停用一段时间。为避免这种情况,我们将 Terraform 生命周期设置为 create_before_destroy
,以便在销毁旧版本之前,先创建较新版本的虚拟机池。
清理
为避免因本教程中使用的资源导致您的 Google Cloud 账号产生费用,请删除包含这些资源的项目,或者保留项目但删除各个资源。
删除各个资源
删除应用触发器创建的 Compute Engine 资源:
打开 Cloud Build 触发器页面:
在触发器表格中,找到与 destroy 触发器对应的行,然后点击运行。当触发器完成执行时,由 apply 触发器创建的资源将被删除。
通过在终端窗口中运行以下命令,删除启动期间创建的资源:
bash <(curl https://raw.githubusercontent.com/GoogleCloudPlatform/cloud-build-samples/main/mig-blue-green/teardown.sh)
删除项目
删除 Google Cloud 项目:
gcloud projects delete PROJECT_ID