创建流水线提醒

本页面介绍如何在 Cloud Data Fusion 中为数据流水线设置提醒。

您可以通过以下服务创建提醒：

  • 通过 Cloud Data Fusion 发出提醒：在 Cloud Data Fusion 中设计批处理流水线时，您可以设置这些提醒。部署流水线后，您将无法添加或修改提醒。

  • 通过 Cloud Monitoring 发送基于日志的提醒：在部署流水线之前和之后，您可以在 Google Cloud 控制台中设置这些提醒。

准备工作

您需要一个 Cloud Data Fusion 实例。如需了解详情，请参阅创建 Cloud Data Fusion 实例。

在 Cloud Data Fusion 中添加提醒

  1. 打开您的实例。

    1. 在 Google Cloud 控制台中，转到 Cloud Data Fusion 页面。

    2. 如需在 Cloud Data Fusion 网页界面中打开实例，请点击实例，然后点击查看实例。

      转到实例

  2. 转到您要设计流水线的 Studio 页面。

  3. 点击配置 > 流水线提醒 > 添加。

  4. 选择并配置提醒。如需详细了解如何配置提醒，请参阅批处理流水线提醒。

  5. 配置提醒后，点击验证以检查错误，然后点击确认。

在 Monitoring 中创建提醒

  1. 在 Cloud Data Fusion 实例中启用 Cloud Logging。

  2. 创建基于日志的提醒。

    1. 在 Google Cloud 控制台中，转到 Logs Explorer 页面。

      转到日志浏览器

      您可以在此页面中存储、查询、更新和删除数据。

    2. 输入以下查询：

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      将 PROJECT_ID 替换为您的项目 ID。

    3. 点击创建提醒，然后配置提醒。

仅当流水线在 Dataproc 集群上运行且发生故障时，系统才会生成提醒。对于 Dataproc 集群创建失败，系统不会生成提醒。

后续步骤