创建流水线提醒

本页面介绍了如何在 Google Cloud 控制台中为数据流水线设置提醒， Cloud Data Fusion。

您可以通过以下服务创建提醒：

  • 通过 Cloud Data Fusion 发送提醒：您可以在 Cloud Data Fusion 中设计批处理流水线时设置这些提醒。部署流水线后 您无法添加或修改提醒。

  • 通过 Cloud Monitoring 创建基于日志的提醒：您可以在以下位置设置这些提醒： 在部署流水线之前和之后访问 Google Cloud 控制台。

准备工作

您需要一个 Cloud Data Fusion 实例。如需了解详情，请参阅 创建 Cloud Data Fusion 实例。

在 Cloud Data Fusion 中添加提醒

  1. 打开您的实例。

    1. 在 Google Cloud 控制台中，转到 Cloud Data Fusion 页面。

    2. 如需在 Cloud Data Fusion Studio 中打开实例，请点击实例，然后点击查看实例。

      转到实例

  2. 转到要设计流水线的 Studio 页面。

  3. 点击配置 > 流水线提醒 > 添加。

  4. 选择并配置提醒。如需详细了解如何配置 请查看 批处理流水线提醒。

  5. 配置提醒后，请点击验证以检查是否存在错误。 然后点击确认。

在 Monitoring 中创建提醒

  1. 启用 Cloud Logging Cloud Data Fusion 实例中的一部分。

  2. 创建基于日志的提醒。

    1. 在 Google Cloud 控制台中，转到日志浏览器页面。

      转到日志浏览器

      您可以通过此页面存储、查询、更新和删除数据。

    2. 输入以下查询：

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      将 PROJECT_ID 替换为您的项目 ID。

    3. 点击创建提醒并配置提醒。

只有当流水线在 Dataproc 集群上运行并失败时，系统才会生成提醒。如果 Dataproc 集群创建失败，提醒为 未生成。

后续步骤