创建损坏链接检查工具

本文档介绍了如何通过创建合成监控工具来配置对 URI 中包含的链接的定期测试。您需要指定测试选项,例如源 URI、测试的链接数以及重试次数,然后部署预配置的 Cloud Functions 函数。为了支持您的问题排查和调试工作,合成监控工具会保存有关每个测试的详细信息,包括屏幕截图。通过屏幕截图,您可以查看应用客户看到的确切响应。

如需详细了解合成监控工具,请参阅合成监控工具简介

关于损坏链接检查工具

每个损坏的链接检查工具都会按顺序测试链接,并且总的合成超时时间是可配置的。

默认情况下,断开链接检查工具会执行以下操作:

  • 使用 href 属性在原始 URI 中搜索 HTML 锚点元素。
  • 测试在原始 URI 中找到的前 10 个链接。
  • 对于每个链接,该检查工具都会发出请求,然后最多等待 30 秒以获得响应。收到响应后,该检查工具会验证 HTTP 响应状态为 200(表示响应成功)。该检查工具不会执行重试。

您需要指定源 URI。您可以配置损坏链接检查工具搜索哪些 HTML 元素、测试的最大元素数、每次测试超时以及是否执行重试。您还可以配置损坏链接检查工具,以等待选择器显示。

损坏链接检查工具使用 broken-links-ok 模板。损坏链接检查工具的配置由 index.js 文件的 options 对象指定。如果您使用 Google Cloud 控制台创建检查工具,系统会提示您选择每个配置选项,并且系统会为您更新 Cloud Function。但是,如果您使用 Cloud Monitoring API 或 Terraform,则必须填充此对象。

创建断开链接检查工具后,如需修改配置,请更新 options 对象并重新部署 Cloud Function。

准备工作

  1. 如需获取使用 Google Cloud 控制台查看和修改合成监控工具所需的权限,请让管理员授予您项目的以下 IAM 角色:

    如需详细了解如何授予角色,请参阅管理访问权限

    您也可以通过自定义角色或其他预定义角色来获取所需的权限。

  2. 启用 Cloud Monitoring API, Artifact Registry API, Cloud Build API, Cloud Functions API, Cloud Logging API, Pub/Sub API, and Cloud Run Admin API API。

    启用 API

  3. 验证您的 Google Cloud 项目是否包含默认的 Compute Engine 服务帐号。此服务帐号在您启用 Compute Engine API 时创建,名称类似于 12345-compute@developer.gserviceaccount.com

    在 Google Cloud 控制台的导航面板中,选择 IAM 和管理,然后选择服务帐号

    前往服务帐号

    如果默认的 Compute Engine 服务帐号不存在,请点击创建服务帐号并完成对话框。

  4. 确保已向默认 Compute Engine 服务帐号或您创建的服务帐号授予 Editor (roles/editor) 角色。

    如需查看授予服务帐号的角色,请执行以下操作:

    1. 在 Google Cloud 控制台的导航面板中,选择 IAM

      前往 IAM

    2. 选择包括 Google 提供的角色授权
    3. 如果合成监控工具使用的服务帐号未列出,或者尚未获得包含 Cloud Trace Agent (roles/cloudtrace.agent) 角色权限的角色,则请将此角色授予您的服务帐号。
  5. 配置您要用于接收通知的通知渠道。我们建议您创建多种类型的通知渠道。如需了解详情,请参阅创建和管理通知渠道以及按 API 创建和管理通知渠道

创建损坏链接检查工具

控制台

当您使用 Google Cloud 控制台创建合成监控工具时,系统会部署一个新的 Cloud Function(第 2 代),并创建该 Cloud Function 的监控工具。您无法创建监控现有 Cloud Function 的合成监控工具。

  1. 请确保您已启用所需的 API,您的项目包含默认的 Compute Engine 服务帐号,并且此帐号已被授予 Editor 角色 (roles/editor)。如需了解详情,请参阅准备工作
  2. 在 Google Cloud 控制台的导航面板中,选择 Monitoring,然后选择  综合监控

    前往合成监控

  3. 选择创建合成监控工具
  4. 对于模板,选择损坏的链接检查工具
  5. 输入合成监控工具的名称。
  6. 可选:更新响应超时检查频率,并添加用户定义的标签。

  7. 配置要测试的 URI 和元素:

    1. 点击源 URI,然后输入您要测试的 URI。您输入的值必须是 HTTP 或 HTTPS 端点。例如,您可以输入 https://mywebsite.example.com

    2. 可选:在要跟踪的链接数量中,更新测试的链接数上限。此字段的默认值为 10

    3. 可选:在 HTML 元素选择器字段中,以逗号分隔列表的形式输入要匹配的 HTML 元素。 您输入的值将转换为字符串,然后传递给 Document: querySelectorAll() 方法。

      默认情况下,此字段设置为 a,以与锚点匹配。如果您想同时匹配锚点和图片,可以输入 a, img 等值。

    4. 可选:在要跟踪的 HTML 属性字段中,输入要匹配的 HTML 属性。您输入的以英文逗号分隔的值将单独传递给 getAttribute() 方法。

      默认情况下,此字段设置为 href,用于指定链接的 URI。您可以输入多个属性,例如,您可以输入 href, src。在此示例中,代码会搜索属性 href,然后搜索属性 src

    5. 可选:配置选择器的等待时间、每个 URI 的超时时间、重试次数和预期的状态代码:

      1. 点击显示更多选项
      2. 若要将断开链接检查工具配置为等待特定选择器显示在 URI 中,然后再抓取任何链接,请在等待元素选择器字段中输入 CSS 选择器。 您输入的值将转换为字符串,然后传递给 page.waitForSelector() 方法。

        如果在超时到期之前该选择器未显示,则失败会记录在日志中。

      3. 更新选择用于测试的链接的顺序。

      4. 配置重试。

        默认情况下,系统会向每个链接发送一个请求,如果初始请求由于任何原因(例如命令超时或 HTTP 状态代码不是 200)失败,则链接会被标记为失败。

        此字段指定损坏链接检查工具在将链接标记为失败之前,可以向链接发出 HTTP 请求的次数。

      5. 配置适用于每个 URI 的超时。默认情况下,此值设置为 30 秒。

      6. 如需为特定 URI 指定预期的状态代码和超时,请点击添加链接级选项并完成对话框。

  8. 可选:配置是否收集和保存响应的屏幕截图。如果您使用默认设置,系统不会保存屏幕截图。 如果您启用屏幕截图收集功能,则可以收集所有测试的屏幕截图,或仅收集失败的测试的屏幕截图。Cloud Monitoring 使用以下惯例为 Cloud Storage 存储桶命名:

    gcm-PROJECT_ID-synthetics-LOCATION
    

    在前面的表达式中:

    • PROJECT_ID:您的 Google Cloud 项目的 ID。
    • LOCATION:您的 Cloud Storage 存储桶的位置。

    您可以选择使用现有的 Cloud Storage 存储桶。

  9. 请检查您的配置,确保其正确且完整,然后创建 Cloud Function:

    1. 点击创建函数

      点击创建函数后,URI 配置字段中的值将复制到 index.js 文件的 Options 对象中。点击创建函数后,如需更改配置,请修改 Options 对象。

    2. 输入显示名称并选择区域。名称在一个区域内必须是唯一的。

    3. 运行时、构建、连接和安全设置部分中,执行以下操作:

      • 连接标签页中,确保已选中允许所有流量

      • 查看默认设置并根据需要进行更新。

      • 运行时服务帐号字段中,选择一个服务帐号。

    4. 点击应用函数

  10. 配置提醒政策

    1. 可选:在发送通知之前,更新提醒政策名称和失败时长。

    2. 添加通知渠道。

  11. 点击创建

    您定义的 Cloud Functions 函数将作为第 2 代进行构建和部署,并创建合成监控工具。

API

使用 Cloud Monitoring API 创建断开链接检查工具的过程与创建任何其他合成监控工具的过程相同。如需了解如何使用 Cloud Monitoring API 创建合成监控工具,请参阅创建合成监控工具,然后选择“Cloud Monitoring”标签页。

损坏链接检查工具使用 broken-links-ok 模板。损坏链接检查工具的配置由 index.js 文件的 options 对象指定。

定义 options.screenshot_options 结构后,断开链接检查工具会收集屏幕截图并将其保存到 Cloud Storage 存储桶中。如果 screenshot_options.storage_location 字段未定义或者值是空字符串,则 Monitoring 会创建一个 Cloud Storage 存储桶,并将屏幕截图保存到该存储桶。 Monitoring 使用以下惯例为 Cloud Storage 存储桶命名:

gcm-PROJECT_ID-synthetics-LOCATION

在前面的表达式中:

  • PROJECT_ID:您的 Google Cloud 项目的 ID。
  • LOCATION:您的 Cloud Storage 存储桶的位置。

Terraform

如需了解如何应用或移除 Terraform 配置,请参阅基本 Terraform 命令。 如需了解详情,请参阅 Terraform 提供程序参考文档

使用 Terraform 创建断开链接检查工具的过程与创建任何其他合成监控工具的过程相同。如需了解如何使用 Terraform 创建合成监控工具,请参阅创建合成监控工具,然后选择 Terraform 标签页。

损坏链接检查工具使用 broken-links-ok 模板。损坏链接检查工具的配置由 index.js 文件的 options 对象指定。

定义 options.screenshot_options 结构后,断开链接检查工具会收集屏幕截图并将其保存到 Cloud Storage 存储桶中。如果 screenshot_options.storage_location 字段未定义或者值是空字符串,则 Monitoring 会创建一个 Cloud Storage 存储桶,并将屏幕截图保存到该存储桶。 Monitoring 使用以下惯例为 Cloud Storage 存储桶命名:

gcm-PROJECT_ID-synthetics-LOCATION

在前面的表达式中:

  • PROJECT_ID:您的 Google Cloud 项目的 ID。
  • LOCATION:您的 Cloud Storage 存储桶的位置。

浏览搜索结果

对于每次执行,损坏链接检查工具都会执行以下操作:

  • 生成一个表,其中每行都提供有关测试特定 URI 的信息。摘要信息包括目标 URI、延迟时间、状态和 HTML 元素标识符。例如,当测试 HTML 锚标记元素时,此列会列出 a。如果该行与原始 URI 相对应,则 HTML 元素标识符的值为 -

  • 收集指标、跟踪记录数据和日志数据。

  • 收集屏幕截图(若已配置)。

如需详细了解如何探索收集的数据,请参阅探索合成监控工具的结果

问题排查

本部分提供的信息可帮助您对损坏的链接检查工具进行问题排查。

无法修改损坏链接检查工具的配置

您使用 Google Cloud 控制台创建了一个损坏链接检查工具,并且想要更改被测试的 HTML 元素,或者想要修改 URI 超时、重试、等待选择器和链接级选项。但是,当您修改损坏的链接检查工具时,Google Cloud 控制台不会显示配置字段。

如需解决此故障,请执行以下操作:

  1. 在 Google Cloud 控制台的导航面板中,选择 Monitoring,然后选择  综合监控

    前往合成监控

  2. 找到要修改的合成监控工具,点击 更多选项,然后选择 Edit
  3. 点击修改函数
  4. 修改 index.js 文件中的 options 对象,然后点击 Apply function

    如需了解此对象的字段和语法,请参阅 broken-links-ok/index.js

  5. 点击保存

Google Cloud 控制台显示屏幕截图保存失败

您创建了一个损坏链接检查工具,并将其配置为保存屏幕截图。 但是,Google Cloud 控制台会显示以下警告消息之一以及更多详细信息:

  • InvalidStorageLocation
  • StorageValidationError
  • BucketCreationError
  • ScreenshotFileUploadError

如需解决这些失败问题,请尝试以下操作:

  • 如果看到 InvalidStorageLocation 消息,请验证 options.screenshot_options.storage_location 字段中指定的 Cloud Storage 存储桶是否存在。

  • 查看与您的 Cloud Function 相关的日志。 如需了解详情,请参阅查找日志

  • 验证相应 Cloud Functions 函数中使用的服务帐号是否具有 Identity and Access Management 角色,可以创建、访问 Cloud Storage 存储分区以及向其中写入数据。

后续步骤