使用 Cloud Monitoring 创建流水线监控信息中心

使用 Cloud Monitoring 创建流水线监控信息中心

了解如何使用 Cloud Monitoring 创建信息中心来监控流水线。

---

如需在 Google Cloud 控制台中直接遵循有关此任务的分步指导，请点击操作演示：

操作演示

---

准备工作

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.

   Enable the APIs

7. 如需创建自定义信息中心，您必须具有 Monitoring 编辑者 (roles/monitoring.editor) 针对服务账号的 IAM 角色。

   如需详细了解如何授予角色，请参阅管理访问权限。

创建启用了 Cloud Logging 的 Cloud Data Fusion 实例

如需将 Cloud Logging 与 Cloud Data Fusion 流水线搭配使用，请创建启用了 Cloud Logging 的 Cloud Data Fusion 实例：

1. 前往 Cloud Data Fusion 实例页面，然后点击创建实例。

   创建实例

2. 在实例名称字段中，为新实例输入名称。

3. 从区域下拉列表中，选择您要在其中创建实例的 Google Cloud 区域。

4. 从版本下拉列表中，选择 Cloud Data Fusion 版本。

5. 选择版本。

6. 展开高级选项。

7. 在日志记录和监控部分中，选择启用 Stackdriver Logging 服务。

8. 点击创建。

。 创建实例后，您无法在 Google Cloud 控制台。

创建基于日志的指标

1. 前往 Cloud Logging 基于日志的指标页面：

   前往“基于日志的指标”

2. 点击创建指标。

3. 在创建指标页面上，执行以下操作：

   1. 对于指标类型，选择计数器。
   2. 在基于日志的指标名称字段中，输入 pipeline_logs。
   3. 在单位字段中，输入 1。

   4. 在构建过滤条件字段中输入以下内容：

      resource.type="cloud_dataproc_cluster"
      log_name=~"projects/.*/logs/datafusion-pipeline-logs"
      

   5. 在标签部分中，点击添加标签，然后创建以下标签。输入每个标签后，点击完成，然后再次点击添加标签以创建下一个标签。

      标签名称	标签类型	字段名称
      Project	STRING	resource.labels.project_id
      Message	STRING	jsonPayload.message
      LoggerName	STRING	labels.loggerName
      ClusterName	STRING	resource.labels.cluster_name
      SparkPhase	STRING	labels.".workflowSparkId"
      Region	STRING	resource.labels.region
      Pipeline	STRING	labels.".applicationId"
      RunId	STRING	labels.".runId"
      Namespace	STRING	labels.".namespaceId"
      LogLevel	STRING	labels.levelName

   6. 点击创建指标。

      新创建的指标会显示在用户定义的指标表中。如果指标未立即显示，请刷新页面。

      信息中心包含以下图表：

      • 所有流水线
      • 已完成的流水线
      • 失败的流水线
      • 所有流水线运行
      • 已完成的流水线运行
      • 失败的流水线运行
      • 运行的 Dataproc 集群

      创建指标后，最多可能需要 24 小时才能开始显示时序数据。

安装信息中心

1. 将 JSON 文件下载到您的本地机器。

2. 转到 Cloud Monitoring 信息中心页面：

   转到 Monitoring 信息中心

3. 点击创建信息中心。

4. 点击 信息中心设置 > JSON > JSON 编辑器。

5. 在文本编辑器中，打开您下载的 JSON 文件。

6. 复制所下载的 JSON 文件的内容，并将其粘贴到 JSON 编辑器中，从而替换 JSON 编辑器默认包含的内容。

7. 点击应用更改。

   这会刷新信息中心。Cloud Data Fusion 流水线会在指标创建后运行，并显示在信息中心内。如果在创建指标后没有任何流水线运行，则信息中心将为空。

8. 默认情况下，自动保存功能处于启用状态。如果已停用自动保存功能，请点击保存以保存信息中心。

9. 点击关闭编辑器。

   您的新信息中心会出现在监控概览页面上的信息中心列表中。

清理

为避免因本页中使用的资源导致您的 Google Cloud 账号产生费用，请按照以下步骤操作。

删除 Cloud Data Fusion 实例

请按照以下说明删除 Cloud Data Fusion 实例。

删除项目

为了避免产生费用，最简单的方法是删除您为本教程创建的项目。

如需删除项目，请执行以下操作：

注意：删除项目会产生以下影响：

• 项目中的所有内容都会被删除。如果您将现有项目用于本文档中的任务，则删除该项目后，还将删除您已在该项目中完成的任何其他工作。
• 自定义项目 ID 丢失。创建此项目时，您可能创建了要在将来使用的自定义项目 ID。要保留使用该项目 ID 的网址（例如 appspot.com 网址），请删除项目内的所选资源，而不是删除整个项目。

如果您打算探索多个架构、教程或快速入门，则重复使用项目可以帮助您避免超出项目配额限制。

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

后续步骤

• 详细了解 Cloud Monitoring。