创建损坏的链接检查工具

本文档介绍了如何通过创建合成监控工具来配置对 URI 中包含的链接的定期测试。您可以为测试指定选项(如源 URI、测试的链接数量和重试次数),然后部署预配置的 Cloud Functions 函数。为了支持您的问题排查和调试工作,合成监控工具会保存有关每项测试的详细信息(包括屏幕截图)。通过屏幕截图,您可以查看应用客户看到的确切响应。

如需详细了解合成监控工具,请参阅合成监控工具简介

关于损坏链接检查工具

每个损坏链接检查工具都会依序测试链接,并且总体合成超时时间是可配置的。

默认情况下,损坏链接检查工具会执行以下操作:

  • 在原始 URI 中搜索具有 href 属性的 HTML 锚元素。
  • 用于测试在源 URI 中找到的前 10 个链接。
  • 对于每个链接,该检查工具会发出请求,然后最多等待 30 秒来获得响应。收到响应后,该检查工具会验证 HTTP 响应状态为 200,它表示成功响应。检查工具不会执行重试。

您应指定源 URI。您可以配置断路链接检查器会搜索哪些 HTML 元素、测试的元素数上限、每次测试的超时时间,以及是否执行重试。您还可以配置断开链接检查工具,以等待选择器显示。

损坏的链接检查工具使用 broken-links-ok 模板。损坏链接检查工具的配置由 index.js 文件的 options 对象指定。如果您使用 Google Cloud 控制台创建检查工具,系统会提示您使用每个配置选项,并为您更新 Cloud Functions 函数。但是,如果您使用 Cloud Monitoring API 或 Terraform,则必须填充此对象。

创建损坏链接检查工具后,如需修改配置,请更新 options 对象并重新部署 Cloud Function。

准备工作

  1. 如需获取使用 Google Cloud 控制台查看和修改合成监控工具所需的权限,请让管理员向您授予项目的以下 IAM 角色:

    如需详细了解如何授予角色,请参阅管理访问权限

    您也可以通过自定义角色或其他预定义角色来获取所需的权限。

  2. 启用 Cloud Monitoring API, Artifact Registry API, Cloud Build API, Cloud Functions API, Cloud Logging API, Pub/Sub API, and Cloud Run Admin API API。

    启用 API

  3. 验证您的 Google Cloud 项目是否包含默认的 Compute Engine 服务帐号。此服务帐号是在您启用 Compute Engine API 时创建的,其名称类似于 12345-compute@developer.gserviceaccount.com

    在 Google Cloud 控制台中,转到服务帐号页面:

    转到服务帐号

    如果您使用搜索栏查找此页面,请选择子标题为 IAM 和管理的结果。

    如果默认的 Compute Engine 服务帐号不存在,请点击创建服务帐号并完成对话框。

  4. 确保已为默认 Compute Engine 服务帐号或您创建的服务帐号授予 Editor (roles/editor) 角色。

    如需查看授予服务帐号的角色,请执行以下操作:

    1. 在 Google Cloud 控制台中,进入 IAM 页面:

      前往 IAM

      如果您使用搜索栏查找此页面,请选择子标题为 IAM 和管理的结果。

    2. 选择包括 Google 提供的角色授权
    3. 如果未列出您的合成监控工具使用的服务帐号,或者尚未授予包含 Cloud Trace Agent (roles/cloudtrace.agent) 角色权限的角色,请将此角色授予您的服务帐号。
  5. 配置要用于接收通知的通知渠道。我们建议您创建多种类型的通知渠道。如需了解详情,请参阅创建和管理通知渠道以及使用 API 创建和管理通知渠道

创建损坏的链接检查工具

控制台

使用 Google Cloud 控制台创建合成监控工具时,系统会部署新的 Cloud Function(第 2 代),并为该 Cloud Function 创建监控工具。您无法创建用于监控现有 Cloud Function 的合成监控工具。

  1. 确保您已启用所需的 API、您的项目包含默认的 Compute Engine 服务帐号,并且此帐号已被授予 Editor 角色 (roles/editor)。如需了解详情,请参阅准备工作
  2. 在 Google Cloud 控制台中,转到  合成监控页面:

    转到合成监控

    如果您使用搜索栏查找此页面,请选择子标题为监控的结果。

  3. 选择创建合成监控工具
  4. 对于模板,请选择损坏的链接检查工具
  5. 输入合成监控工具的名称。
  6. 可选:更新响应超时检查频率,并添加用户定义的标签。

  7. 配置要测试的 URI 和元素:

    1. 点击源 URI,然后输入要测试的 URI。您输入的值必须是 HTTP 或 HTTPS 端点。例如,您可以输入 https://mywebsite.example.com

    2. 可选:在要跟踪的链接数量中,更新要测试的链接数量上限。此字段的默认值为 10

    3. 可选:在 HTML 元素选择器字段中,以逗号分隔列表的形式输入要匹配的 HTML 元素。您输入的值会被转换为字符串,然后传递给 Document: querySelectorAll() 方法。

      默认情况下,此字段设置为 a,以与锚点匹配。如果您想匹配锚点和图片,可以输入 a, img 等值。

    4. 可选:在要跟踪的 HTML 属性字段中,输入要匹配的 HTML 属性。您输入的以英文逗号分隔的值会分别传递给 getAttribute() 方法。

      默认情况下,此字段设置为 href,用于指定链接的 URI。您可以输入多个属性,例如,可以输入 href, src。在此示例中,代码会搜索属性 href,然后搜索属性 src

    5. 可选:配置选择器的等待时间、每个 URI 的超时、重试和预期状态代码:

      1. 点击显示更多选项
      2. 如需将损坏链接检查工具配置为在抓取任何链接之前等待特定选择器显示在 URI 中,请在等待元素选择器字段中输入 CSS 选择器。您输入的值会被转换为字符串,然后传递给 page.waitForSelector() 方法。

        如果选择器在超时到期之前未显示,则系统会在日志中记录失败情况。

      3. 更新选择链接进行测试的顺序。

      4. 配置重试。

        默认情况下,系统会向每个链接发送一个请求,如果初始请求因任何原因失败(例如命令超时或 HTTP 状态代码不是 200),则链接会被标记为失败。

        此字段用于指定损坏链接检查工具在将链接标记为失败之前,可以向链接发出 HTTP 请求的次数。

      5. 配置应用于每个 URI 的超时。默认情况下,此值设为 30 秒。

      6. 如需为特定 URI 指定预期的状态代码和超时,请点击 Add per-link option 并完成对话框。

  8. 可选:配置是否收集并保存回复的屏幕截图。如果您使用默认设置,则系统不会保存屏幕截图。 如果您启用了屏幕截图收集功能,则可以收集所有测试的屏幕截图,也可以仅收集失败的测试的屏幕截图。Cloud Monitoring 使用以下惯例来命名 Cloud Storage 存储桶:

    gcm-PROJECT_ID-synthetics-LOCATION
    

    在前面的表达式中:

    • PROJECT_ID:您的 Google Cloud 项目的 ID。
    • LOCATION:Cloud Storage 存储桶的位置。

    您可以选择使用现有的 Cloud Storage 存储桶。

  9. 查看您的配置并确保配置正确且完整,然后创建您的 Cloud Function:

    1. 点击创建函数

      当您点击创建函数时,URI 配置字段中的值会复制到 index.js 文件中的 Options 对象。点击创建函数后,如需更改配置,请修改 Options 对象。

    2. 输入显示名,然后选择一个区域。名称在区域内必须是唯一的。

    3. 运行时、构建、连接和安全设置部分,执行以下操作:

      • 连接标签页中,确保选中允许所有流量

      • 请查看默认设置,并在必要时更新这些设置。

      • 运行时服务帐号字段中,选择一个服务帐号。

    4. 点击应用函数

  10. 配置提醒政策

    1. 可选:在发送通知之前更新提醒政策名称和失败时长。

    2. 添加通知渠道。

  11. 点击创建

    您定义的 Cloud Functions 函数构建并部署为第 2 代函数,并创建合成监控器。

API

使用 Cloud Monitoring API 创建损坏链接检查工具的过程与创建任何其他合成监控工具的过程相同。如需了解如何使用 Cloud Monitoring API 创建合成监控工具,请参阅创建合成监控工具,然后选择 Cloud Monitoring 标签页。

损坏的链接检查工具使用 broken-links-ok 模板。损坏链接检查工具的配置由 index.js 文件的 options 对象指定。

定义 options.screenshot_options 结构后,断开链接检查工具会收集屏幕截图并将其保存到 Cloud Storage 存储桶。如果 screenshot_options.storage_location 字段未定义或者值为空字符串,则 Monitoring 会创建一个 Cloud Storage 存储桶,并将屏幕截图保存到该存储桶。Monitoring 使用以下惯例来命名 Cloud Storage 存储桶:

gcm-PROJECT_ID-synthetics-LOCATION

在前面的表达式中:

  • PROJECT_ID:您的 Google Cloud 项目的 ID。
  • LOCATION:Cloud Storage 存储桶的位置。

Terraform

如需了解如何应用或移除 Terraform 配置,请参阅基本 Terraform 命令。 如需了解详情,请参阅 Terraform 提供程序参考文档

使用 Terraform 创建损坏链接检查工具的过程与创建任何其他合成监控工具的过程相同。如需了解如何使用 Terraform 创建合成监控工具,请参阅创建合成监控工具,然后选择 Terraform 标签页。

损坏的链接检查工具使用 broken-links-ok 模板。损坏链接检查工具的配置由 index.js 文件的 options 对象指定。

定义 options.screenshot_options 结构后,断开链接检查工具会收集屏幕截图并将其保存到 Cloud Storage 存储桶。如果 screenshot_options.storage_location 字段未定义或者值为空字符串,则 Monitoring 会创建一个 Cloud Storage 存储桶,并将屏幕截图保存到该存储桶。Monitoring 使用以下惯例来命名 Cloud Storage 存储桶:

gcm-PROJECT_ID-synthetics-LOCATION

在前面的表达式中:

  • PROJECT_ID:您的 Google Cloud 项目的 ID。
  • LOCATION:Cloud Storage 存储桶的位置。

浏览结果

对于每次执行,损坏链接检查工具都会执行以下操作:

  • 生成一个表,其中每行都提供了关于测试特定 URI 的信息。摘要信息包括目标 URI、延迟时间、状态和 HTML 元素标识符。例如,测试 HTML 锚标记时,此列会列出 a。当该行与源 URI 相对应时,HTML 元素标识符的值为 -

  • 收集指标、跟踪记录数据和日志数据。

  • 收集屏幕截图(如果配置)。

如需详细了解如何探索收集的数据,请参阅探索合成监控工具结果

问题排查

本部分提供的信息可以帮助您对损坏的链接检查工具进行问题排查。

无法修改损坏链接检查工具的配置

您使用 Google Cloud 控制台创建了损坏链接检查工具,想要更改所测试的 HTML 元素,或者想要修改 URI 超时、重试、等待选择器和每个链接选项。但是,当您修改损坏链接检查工具时,Google Cloud 控制台不会显示配置字段。

如需解决此故障,请执行以下操作:

  1. 在 Google Cloud 控制台中,转到  合成监控页面:

    转到合成监控

    如果您使用搜索栏查找此页面,请选择子标题为监控的结果。

  2. 找到您要修改的合成监控工具,点击 更多选项,然后选择修改
  3. 点击修改函数
  4. index.js 文件中修改 options 对象,然后点击 Apply function

    如需了解此对象的字段和语法,请参阅 broken-links-ok/index.js

  5. 点击保存

Google Cloud 控制台显示,屏幕截图保存失败

您创建了一个损坏的链接检查工具,并将其配置为保存屏幕截图。但是,Google Cloud 控制台会显示以下警告消息之一以及更多详细信息:

  • InvalidStorageLocation
  • StorageValidationError
  • BucketCreationError
  • ScreenshotFileUploadError

如需解决这些故障,请尝试以下操作:

  • 如果您看到 InvalidStorageLocation 消息,请验证 options.screenshot_options.storage_location 字段中指定的 Cloud Storage 存储桶是否存在。

  • 查看与您的 Cloud Function 相关的日志。 如需了解详情,请参阅查找日志

  • 验证相应 Cloud Functions 函数中使用的服务帐号是否具有 Identity and Access Management 角色,该角色允许创建、访问 Cloud Storage 存储分区以及向 Cloud Storage 存储分区写入数据。

后续步骤