写入任务日志

本文档介绍了如何写入任务日志以及如何 创建和运行具有任务日志的批处理作业。

为作业启用日志记录功能后，系统会根据消息生成任务日志 作业的可运行对象会在运行时输出 通过将可运行项配置为写入任务日志，您可以在 Cloud Logging 中显示自定义信息，这有助于更轻松地分析和排查作业问题。如需详细了解日志，请参阅 使用日志分析作业。

准备工作

  1. 如果您以前没有使用过 Batch，请参阅 Batch 使用入门 并通过填写 针对项目和用户的前提条件。

  2. 如需获得创建用于写入日志的作业所需的权限，请让您的管理员为您授予以下 IAM 角色：

    如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

    您也可以通过自定义角色或其他预定义角色来获取所需的权限。

创建并运行包含任务日志的作业

如需创建并运行您希望包含任务日志的作业，请执行以下操作 创建作业时执行以下操作：

  1. 为作业启用日志。这样，系统便会生成为作业写入的所有日志。

  2. 对于您希望作业拥有的每个任务日志，请添加一个用于将任务日志写入可运行项的命令。当作业运行时，任务日志会 每当执行写入任务日志的命令时生成。

    如需了解如何写入任务日志，请参阅 在此文档中写入任务日志。

写入任务日志

对于作业的可运行项在运行时输出到标准输出 (stdout) 流或标准错误 (stderr) 流的任何内容，系统都会写入任务日志。例如，您可以使用 echo 命令。 生成的任务日志的结构取决于您设置 。具体而言，您可以使用以下任一选项写入每个任务日志：

通过输出字符串来写入非结构化日志

通过非结构化日志，您可以定义消息，消息是显示在 日志的 textPayload 字段。

要写入非结构化日志，请输出无格式字符串，如 后续部分。

非结构化日志示例

例如，假设您需要一个包含以下内容的任务日志： 字符串：

MESSAGE

输出此示例字符串会生成类似于以下内容的任务日志：

insertId: ...
labels: ...
logName: projects/PROJECT_ID/logs/batch_task_logs
receiveTimestamp: ...
resource: ...
severity: INFO
textPayload: MESSAGE
timestamp: ...

替换以下内容：

  • MESSAGE：消息，是一个字符串， 汇总了任务日志的用途，例如 The summary for a task log.。
  • PROJECT_ID： 项目 ID 项目名称

您可以使用各种方法输出字符串，例如，将 以下 echo 命令：

echo MESSAGE

有关使用 echo 命令编写 非结构化任务日志，请参阅 创建并运行基本作业。

通过输出 JSON 对象写入结构化日志

结构化日志可让您定义以下任一项：

如需写入结构化日志，请输出 JSON 对象。 以下部分演示了如何使用一些标准字段和自定义字段定义日志。如果您想了解如何使用 自定义状态事件，另请参阅 配置自定义状态事件。

结构化日志示例

例如，假设您需要一个任务日志，其中包含 以下 JSON 对象，用于定义消息、严重级别和两个自定义字段。

{
  "message": "MESSAGE"
  "severity": "SEVERITY"
  "CUSTOM_FIELD_1": CUSTOM_VALUE_1
  "CUSTOM_FIELD_2": CUSTOM_VALUE_2
}

输出此 JSON 对象会生成类似于以下内容的任务日志：

insertId: ...
jsonPayload:
  "CUSTOM_FIELD_1": CUSTOM_VALUE_1
  "CUSTOM_FIELD_2": CUSTOM_VALUE_2
  message: MESSAGE
labels: ...
logName: projects/PROJECT_ID/logs/batch_task_logs
receiveTimestamp: ...
resource: ...
severity: SEVERITY
timestamp: ...

替换以下内容：

  • MESSAGE：消息，是一个字符串， 汇总了任务日志的用途，例如 The summary for a task log.。
  • SEVERITY：日志的严重性，您可以 在查看作业的日志时用作过滤条件。 严重程度必须是以下其中一项： LogSeverity 枚举 转换为仅第一个字母大写的字符串。例如： 对于 ERROR 枚举，请指定 Error。
  • CUSTOM_FIELD_1和 CUSTOM_FIELD_2： 任务日志（例如 custom_field_1 和 custom_field_2。
  • CUSTOM_VALUE_1和 CUSTOM_VALUE_2： 任务日志，它可以是各种数据类型，可能需要使用引号 例如 "the first custom field" 和 2。
  • PROJECT_ID：您的项目的项目 ID。

您可以使用各种方法输出此示例 JSON 对象。 例如，以下示例展示了 输出示例 JSON 对象：

  • 使用 echo 命令输出等效字符串。

  • 使用 Python 输出等效的字典。

echo 命令

如需使用 echo 命令和 等效字符串，请在可运行对象中添加以下命令：

echo '{\"message\":\"MESSAGE\", \"severity\":\"SEVERITY\", \"CUSTOM_FIELD_1\":CUSTOM_VALUE_1, \"CUSTOM_FIELD_2\":CUSTOM_VALUE_2}'

例如，假设您创建并运行了一个具有以下可运行项的作业：

"script": {
  "text": "echo '{\"message\":\"The message for a structured log.\", \"severity\":\"Error\", \"custom_field_1\":\"the first custom field\", \"custom_field_2\":2}'"
}

然后，生成的任务日志类似于以下内容：

insertId: ...
jsonPayload:
  custom_field_1: the first custom field
  custom_field_2: 2
  message: The summary for a structured task log with error severity.
labels: ...
logName: projects/PROJECT_ID/logs/batch_task_logs
receiveTimestamp: ...
resource: ...
severity: ERROR
timestamp: ...

Python

使用 Python 和等效项输出示例 JSON 对象 字典中，请将以下示例添加到可运行对象中：

#!/usr/bin/env python3

import json

entry = dict(
    severity="SEVERITY",
    message="MESSAGE",
    CUSTOM_FIELD_1=CUSTOM_VALUE_1,
    CUSTOM_FIELD_2=CUSTOM_VALUE_2,
)
print(json.dumps(entry))

例如，假设您创建并运行了一个具有以下可运行项的作业：

"script": {
  "text": "#!/usr/bin/env python3\n\nimport json\n\nentry = dict(\nseverity=\"Error\",\nmessage=\"The summary for a structured task log with error severity.\",\ncustom_field_1=\"the first custom field\",\ncustom_field_2=2,\n)\nprint(json.dumps(entry))"
}

然后，生成的任务日志类似于以下内容：

insertId: ...
jsonPayload:
  custom_field_1: the first custom field
  custom_field_2: 2
  message: The summary for a structured task log with error severity.
labels: ...
logName: projects/PROJECT_ID/logs/batch_task_logs
receiveTimestamp: ...
resource: ...
severity: ERROR
timestamp: ...

后续步骤