为 Dataplex 任务设置提醒和通知

本页面介绍了如何针对 Dataplex 任务的失败作业执行设置提醒。

您可以使用下列任一方式设置提醒：

  • Google Cloud 控制台中的日志浏览器
  • Monitoring API

术语

  • 突发事件自动关闭时长：当没有匹配的日志条目时，突发事件自动关闭的时长。
  • 通知的间隔时间：两次收到通知的最短时间。 （针对与过滤条件匹配的日志）。任何在最短时间内匹配的日志都会 已跳过。您可以设置的最短时间为 5 分钟。

使用日志浏览器设置通知

  1. 打开 Google Cloud 控制台。 。
  2. 依次点击导航菜单 > 日志记录 > 日志浏览器。

  3. 点击显示查询切换开关。

    1. 如需针对项目中任何 Dataplex 任务的作业执行失败情况设置提醒，请输入以下查询：

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. 如需为项目中特定 Dataplex 任务设置作业执行失败提醒，请输入以下查询：

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  4. 点击创建提醒。

  5. 在 Alert Policy Name 字段中，输入新提醒的名称。

  6. 在 Documentation（文档）字段中，输入要包含的说明 通知。如需详细了解您可以添加到其中的内容， 提醒政策的文档字段，请参阅 在文档模板中使用 Markdown 和变量。

  7. 点击下一步。

  8. 选择要包含在提醒中的日志，然后点击下一步。

  9. 设置通知间隔和突发事件自动关闭时长。 然后点击下一步。

  10. 可选：选择通知渠道。如需详细了解如何使用 Google Cloud 控制台配置通知渠道，请参阅管理通知渠道。

  11. 点击保存。

使用 Monitoring API 设置通知

  1. 启用 Monitoring API 并授权用户访问该 API。如需更多信息 请参阅启用 Monitoring API。
  2. 设置创建提醒政策所需的角色或权限。如需了解详情，请参阅创建提醒政策所需的授权。
  3. 使用 Google Cloud 控制台或 Google Cloud CLI 创建通知渠道。

  4. 使用以下命令获取 channel_id：

    gcloud beta monitoring channels list

  5. 创建一个 policy.json 文件，并在该文件中添加以下内容： log-based-alerting-policy:

    1. 如需为项目中任何 Dataplex 任务的作业执行失败设置提醒，请使用以下代码：

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. 如需针对项目中特定 Dataplex 任务的失败作业执行设置提醒，请执行以下操作： 请使用以下代码：

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. 使用以下命令将 policy.json 文件传递给 gcloud CLI：

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    如果成功，该命令将返回新政策的资源名称。例如：

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

后续步骤