读取转移日志

本页面介绍如何查看 Cloud Logging for Storage Transfer Service 日志以及日志格式。如需了解如何配置 Storage Transfer Service 日志，请参阅配置转移日志。

如需了解 Transfer Service for On Premises Data 日志，请参阅本地转移日志格式。

准备工作

在开始之前，请验证您是否有权访问 Cloud Logging。我们建议使用 Logs Viewer (roles/logging.viewer) Identity and Access Management 角色。如需详细了解 Logging 访问权限，请参阅使用 IAM 进行访问权限控制。

下文介绍了如何验证和授予 IAM 访问权限：

查看日志

如需查看转移日志，请执行以下操作：

Google Cloud Console

  1. 转到 Google Cloud 导航菜单 ，然后选择 Logging > 日志浏览器：<br\></br\>

    转到日志浏览器

  2. 选择 Cloud 项目。

  3. 在升级菜单中，从旧版日志查看器切换到日志浏览器。

  4. 如需过滤日志以仅显示 Storage Transfer Service 条目，请在查询字段中输入 storage_transfer_job，然后点击运行查询。

  5. 在查询结果窗格中，点击修改时间以更改返回结果的时间段。

如需详细了解如何使用日志浏览器，请参阅使用日志浏览器。

Cloud Logging API

使用 entries.list Cloud Logging API 方法。

如需过滤结果以仅包含与 Storage Transfer Service 相关的条目，请使用 filter 字段。示例 JSON 请求对象如下。

{
"resourceNames":
  [
    "projects/my-project-name"
  ],
  "orderBy": "timestamp desc",
  "filter": "resource.type=\"storage_transfer_job\""
}

gcloud CLI

如需使用 gcloud 命令行工具搜索 Storage Transfer Service 日志，请使用 gcloud logging read 命令。

指定过滤条件以将结果限制为 Storage Transfer Service 日志。

gcloud logging read "resource.type=storage_transfer_job"

转移日志格式

以下部分介绍 Storage Transfer Service 日志的字段。

所有特定于 Storage Transfer Service 的字段都包含在 jsonPayload 字段中。

FIND 操作

jsonPayload: {
  @type: "type.googleapis.com/google.storagetransfer.logging.TransferActivityLog"
  action: "FIND"
  completeTime: "2021-12-16T18:58:49.344509695Z"
  destinationContainer: {
    gcsBucket: {
      bucket: "my-bucket-2"
    }
    type: "GCS"
  }
  operation: "transferOperations/transferJobs-7876027868280507149--3019866490856027148"
  sourceContainer: {
    gcsBucket: {
      bucket: "my-bucket-1"
    }
    type: "GCS"
  }
  status: {
    statusCode: "OK"
  }
}

COPY 和 DELETE 操作

jsonPayload: {
  @type: "type.googleapis.com/google.storagetransfer.logging.TransferActivityLog"
  action: "COPY"
  completeTime: "2021-12-16T18:59:00.510509049Z"
  destinationObject: {
    gcsObject: {
      bucket: "my-bucket-2"
      objectKey: "README.md"
    }
    type: "GCS"
  }
  operation: "transferOperations/transferJobs-7876027868280507149--3019866490856027148"
  sourceObject: {
    gcsObject: {
      bucket: "my-bucket-1"
      lastModifiedTime: "2021-12-07T16:41:09.456Z"
      md5: "WgnCOIdfCXNTUDpQJSKb2w=="
      objectKey: "README.md"
    }
    type: "GCS"
  }
  status: {
    statusCode: "OK"
  }
}
日志字段 说明
@type 值始终为 type.googleapis.com/google.storagetransfer.logging.TransferActivityLog。
action

描述此特定任务的操作。如下所示：

  • FIND：查找待办事项，例如列出目录中的文件或列出存储桶中的对象。
  • COPY：将文件或对象复制到 Cloud Storage。
  • DELETE：删除来源或目标位置的文件或对象。
completeTime 操作完成时符合 ISO 8601 标准的时间戳。
destinationContainer

仅适用于 FIND 操作。

此转移作业的目标容器。只有 Cloud Storage 存储桶支持日志记录。包含两个子字段：

  • gcsBucket.bucket：目标 Cloud Storage 存储桶名称。
  • type：始终为 GCS。
destinationObject

仅适用于 COPY 和 DELETE 操作。

关于对象写入 Cloud Storage 时的信息。包含两个子字段：

  • gcsObject 本身包含两个子字段：bucket 和 objectKey。它们共同定义对象的 Cloud Storage 路径。
  • type 始终为 GCS。

例如：


destinationObject: {
  gcsObject: {
    bucket: "my-bucket-2"
    objectKey: "README.md"
  }
  type: "GCS"
}
operation 完全限定的 transferOperations 名称。
sourceContainer

仅适用于 FIND 操作。

此转移的来源容器。包含两个子字段：

  • 指定来源位置的条目。该字段根据来源类型命名。可能的字段如下所示。
    • awsS3Bucket.bucket：AWS S3 存储桶名称。
    • azureBlobContainer：包含 account 和 container 子字段，它们共同定义 Microsoft Azure Blob 存储 URI。
    • gcsBucket.bucket：Cloud Storage 存储桶名称。
    • httpManifest.url：网址列表的网址。该网址指定了要从 HTTP(S) 服务器下载的公开提供的文件。
  • type 是 AWS_S3、AZURE_BLOB、GCS 或 HTTP 中的一个。

例如：


sourceContainer: {
  gcsBucket: {
    bucket: "my-bucket-1"
  }
  type: "GCS"
}
sourceObject

仅适用于 COPY 和 DELETE 操作。

与源对象相关的信息。包含两个子字段：

  • 特定于来源对象的主机的条目。该字段根据来源类型命名，并包含元数据的子字段。可能的字段如下所示。
    • awsS3Object：AWS S3 对象。
    • azureBlob：Azure Blob Storage 中的文件。
    • gcsObject：Cloud Storage 对象。
    • httpFile：由网址列表指定的文件。
  • type 是 AWS_S3、AZURE_BLOB、GCS 或 HTTP 中的一个。

例如：


sourceObject: {
  gcsObject: {
    bucket: "my-bucket-1"
    lastModifiedTime: "2021-12-07T16:41:09.456Z"
    md5: "WgnCOIdfCXNTUDpQJSKb2w=="
    objectKey: "README.md"
  }
  type: "GCS"
}
status

操作的状态。如果 status.statusCode 为 OK，则表示操作成功。否则，操作失败。仅当状态不是 OK 时，才会填充 status.errorType 和 status.errorMessage 字段。

此外，顶级 resource 字段包含以下字段。

resource: {
  labels: {
    job_id: "transferJobs/7876027868280507149"
    project_id: "my-project-id"
  }
  type: "storage_transfer_job"
}
日志字段 说明
resource.labels.job_id 日志所属的 Storage Transfer Service 作业名称。
resource.labels.project_id 转移作业的 Google Cloud 项目 ID。