第 6 步:执行部署

本页介绍了部署 Cortex Framework 核心组件 Cortex Framework Data Foundation 的第六步。在此步骤中,您将执行 Cortex Framework Data Foundation 的部署。

构建流程

按照第 5 步:配置部署中所述的方式配置 config.json 文件后,请按照以下说明构建您的流程。

  1. 运行以下命令,在克隆的代码库中找到您所在的位置:

    cd cortex-data-foundation
    
  2. 使用目标日志存储分区运行 build 命令:

    gcloud builds submit --project EXECUTION_PROJECT\
        --substitutions=_GCS_BUCKET=LOGS_BUCKET
    

    替换以下内容:

    • EXECUTION_PROJECT 与执行项目相关联,可能是源项目。
    • LOGS_BUCKET 替换为日志存储分区的名称。Cloud Build 服务账号需要有权在此处写入这些数据。
  3. 您可以通过查看终端或 Cloud Build 控制台中的日志来跟踪主要构建流程(前提是您拥有足够的权限)。如需更多参考信息,请参阅以下图片。

    日志进度

    图 1。在终端中查看日志进度的示例。

    日志进度

    图 2。在控制台中查看日志进度的示例。
  4. 您可以在 Cloud Build 控制台中或通过这些步骤创建的日志跟踪触发的子构建步骤。如需更多参考信息,请参阅以下图片。

    子级 build 步骤跟踪

    图 3。在控制台中跟踪子级 build 步骤的示例。

    子级 build 步骤跟踪

    图 4。在日志中跟踪子级构建步骤的示例。
  5. 找出各个 build 存在的任何问题。更正错误(如果有)。建议将生成的 SQL 粘贴到 BigQuery 中,以便识别和更正错误。大多数错误都与已选择但未出现在复制源中的字段有关。BigQuery 界面有助于识别和注释这些问题。

    发现问题

    图 5。通过 Cloud Build 日志识别问题的示例。

将文件移至 Cloud Composer (Airflow) DAG 存储分区

如果您选择生成集成文件或 CDC 文件,并且拥有 Cloud Composer (Airflow) 实例,则可以使用以下命令将它们移至最终存储分区:

  gcloud storage -m cp -r  gs://OUTPUT_BUCKET/dags/ gs://COMPOSER_DAG_BUCKET/
  gcloud storage -m cp -r  gs://OUTPUT_BUCKET/data/ gs://COMPOSER_DAG_BUCKET/

替换以下内容:

  • OUTPUT_BUCKET 替换为输出存储分区。
  • COMPOSER_DAG_BUCKET 与 Cloud Composer (Airflow) DAG 存储分区。

自定义和准备升级

许多企业客户对其系统进行了特定的自定义,例如在流程中添加了其他文档或特定类型的记录。这些指标因客户而异,由职能分析师根据业务需求进行配置。

Cortex 会在代码中使用 ## CORTEX-CUSTOMER 标记来表示可能需要进行此类自定义的位置。使用 grep -R CORTEX-CUSTOMER 命令检查您应自定义的所有 ## CORTEX-CUSTOMER 注释。

除了 CORTEX-CUSTOMER 代码之外,您可能还需要通过将所有这些更改(在代码中带有明确标记)提交到您自己的分叉或克隆的代码库,进一步自定义以下内容:

  • 添加业务规则。
  • 添加其他数据集并将其与现有视图或表联接
  • 重复使用提供的模板来调用其他 API。
  • 修改部署脚本。
  • 应用更多数据网格概念。
  • 调整某些表或已发布的 API,以添加标准中未包含的其他字段。

采用适合贵组织的 CI/CD 流水线,以便持续测试这些增强功能,并确保整个解决方案处于可靠且稳健的状态。流水线可以重复使用 cloudbuild.yaml 脚本,以定期触发端到端部署,也可以根据所选代码库的 git 操作(具体取决于您选择的代码库)来自动化构建

使用 config.json 文件为开发、预演和生产环境定义不同的项目和数据集。使用自己的示例数据进行自动化测试,确保模型始终能产生您预期的内容。

在代码库的分支或克隆中醒目地标记您自己的更改,并结合使用一些部署和测试自动化功能,有助于执行升级

支持

如果您遇到任何问题或有与这些模型或部署程序相关的功能请求,请在 Cortex Framework Data Foundation 代码库中创建问题。为帮助收集必要信息,请从克隆的目录中执行 support.sh。此脚本会引导您完成一系列步骤,帮助您排查问题。

如有任何 Cortex Framework 请求或问题,请前往概览页面中的支持部分。

Looker 块和信息中心

充分利用可用的 Looker 区块和信息中心。这些数据模型本质上是 Cortex Framework 的常见分析模式和数据源的可重复使用数据模型。如需了解详情,请参阅 Looker 版块和信息中心概览