第 6 步:执行部署
本页介绍了部署 Cortex Framework 核心组件 Cortex Framework Data Foundation 的第六步。在此步骤中,您将执行 Cortex Framework Data Foundation 的部署。
构建流程
按照第 5 步:配置部署中所述的方式配置 config.json
文件后,请按照以下说明构建您的流程。
运行以下命令,在克隆的代码库中找到您所在的位置:
cd cortex-data-foundation
使用目标日志存储分区运行 build 命令:
gcloud builds submit --project EXECUTION_PROJECT\ --substitutions=_GCS_BUCKET=LOGS_BUCKET
替换以下内容:
EXECUTION_PROJECT
与执行项目相关联,可能是源项目。- 将
LOGS_BUCKET
替换为日志存储分区的名称。Cloud Build 服务账号需要有权在此处写入这些数据。
您可以通过查看终端或 Cloud Build 控制台中的日志来跟踪主要构建流程(前提是您拥有足够的权限)。如需更多参考信息,请参阅以下图片。
图 1。在终端中查看日志进度的示例。 图 2。在控制台中查看日志进度的示例。 您可以在 Cloud Build 控制台中或通过这些步骤创建的日志跟踪触发的子构建步骤。如需更多参考信息,请参阅以下图片。
图 3。在控制台中跟踪子级 build 步骤的示例。 图 4。在日志中跟踪子级构建步骤的示例。 找出各个 build 存在的任何问题。更正错误(如果有)。建议将生成的 SQL 粘贴到 BigQuery 中,以便识别和更正错误。大多数错误都与已选择但未出现在复制源中的字段有关。BigQuery 界面有助于识别和注释这些问题。
图 5。通过 Cloud Build 日志识别问题的示例。
将文件移至 Cloud Composer (Airflow) DAG 存储分区
如果您选择生成集成文件或 CDC 文件,并且拥有 Cloud Composer (Airflow) 实例,则可以使用以下命令将它们移至最终存储分区:
gcloud storage -m cp -r gs://OUTPUT_BUCKET/dags/ gs://COMPOSER_DAG_BUCKET/
gcloud storage -m cp -r gs://OUTPUT_BUCKET/data/ gs://COMPOSER_DAG_BUCKET/
替换以下内容:
- 将
OUTPUT_BUCKET
替换为输出存储分区。 COMPOSER_DAG_BUCKET
与 Cloud Composer (Airflow) DAG 存储分区。
自定义和准备升级
许多企业客户对其系统进行了特定的自定义,例如在流程中添加了其他文档或特定类型的记录。这些指标因客户而异,由职能分析师根据业务需求进行配置。
Cortex 会在代码中使用 ## CORTEX-CUSTOMER
标记来表示可能需要进行此类自定义的位置。使用 grep -R CORTEX-CUSTOMER
命令检查您应自定义的所有 ## CORTEX-CUSTOMER
注释。
除了 CORTEX-CUSTOMER
代码之外,您可能还需要通过将所有这些更改(在代码中带有明确标记)提交到您自己的分叉或克隆的代码库,进一步自定义以下内容:
- 添加业务规则。
- 添加其他数据集并将其与现有视图或表联接
- 重复使用提供的模板来调用其他 API。
- 修改部署脚本。
- 应用更多数据网格概念。
- 调整某些表或已发布的 API,以添加标准中未包含的其他字段。
采用适合贵组织的 CI/CD 流水线,以便持续测试这些增强功能,并确保整个解决方案处于可靠且稳健的状态。流水线可以重复使用 cloudbuild.yaml
脚本,以定期触发端到端部署,也可以根据所选代码库的 git 操作(具体取决于您选择的代码库)来自动化构建。
使用 config.json
文件为开发、预演和生产环境定义不同的项目和数据集。使用自己的示例数据进行自动化测试,确保模型始终能产生您预期的内容。
在代码库的分支或克隆中醒目地标记您自己的更改,并结合使用一些部署和测试自动化功能,有助于执行升级。
支持
如果您遇到任何问题或有与这些模型或部署程序相关的功能请求,请在 Cortex Framework Data Foundation 代码库中创建问题。为帮助收集必要信息,请从克隆的目录中执行 support.sh
。此脚本会引导您完成一系列步骤,帮助您排查问题。
如有任何 Cortex Framework 请求或问题,请前往概览页面中的支持部分。
Looker 块和信息中心
充分利用可用的 Looker 区块和信息中心。这些数据模型本质上是 Cortex Framework 的常见分析模式和数据源的可重复使用数据模型。如需了解详情,请参阅 Looker 版块和信息中心概览。