快速入门：完成审核任务

每个处理器都会创建一个“HITL 任务”，并将其分配给一组人工标签添加者（称为“标签添加者池”），由他们审核处理器处理的文档。处理完毕后，这些文档会加入任务队列，由指定的标注者池进行 HITL 审核。

准备工作

请先完成上文中的快速入门：配置人工审核，然后再继续操作。

添加标签添加者

  1. 配置人工审核后，您应该会收到类似于以下内容的电子邮件：
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group

Hello AI Platform Customer,

You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/

Sincerely,
The Google Cloud AI Team

  1. 点击电子邮件中的链接（或将其剪切并粘贴到浏览器中），前往经理页面：

  2. 新创建的处理器创建的任务与该处理器同名（例如“部门 A 账单”），并会列在“任务”标签页中。

  3. 点击“标注者”标签页

  4. 点击“添加标注者”，然后添加至少一位标注者（电子邮件地址）。管理员可以是标注者，因此您可以将自己添加为标注者。

  5. 对于新创建的标注者池，必须在“分配”标签页中明确将任务分配给各个标注者。也就是说，添加标注者池不会自动将任务分配给这些新标注者。如果标签者池已预配标签者，系统会自动将该池分配给任务。

发布初始文档以供审核

  1. 通过创建的处理器发送文档以进行提取。请根据需要参阅方法指南。目前，在线（同步）调用和批量（异步）调用都支持将请求路由到支持的处理器进行人工审核。

    出于测试目的，您可以使用已知的提取结果不佳的文件，以便通过信心得分低于阈值触发人工审核，也可以将阈值设置为 100%。文档限制通常为 5 页，大小上限为 20 MB，但请查看具体的处理器限制。

    有一个 API 可用于跟踪转送至人工审核的每份文档。处理方响应中包含一个 humanReviewOperation 字符串，该字符串是“人工审核”中文档的操作 ID（作业名称）。您可以查询此长时间运行的操作（也称为 LRO）的状态。

    您可以使用 projects.locations.operations.get 方法查询转送至人工审核的文档的状态

  2. 您可以使用 reviewDocument 方法强制将文档送交人工审核（请注意，此方法因处理器而异）：

    若要使用 reviewDocument 方法，必须选中已启用人工审核复选框。使用此 API 不会覆盖配置设置。

    您可以按照申请人工审核指南使用此方法。

查看文档

  1. 如果文档触发了人工审核流程，但标注者池中没有标注者，则管理员会收到一封电子邮件。

    > Hello AI Platform Customer,
>
> There is a running task for Project  with Job ID 404298342016955xxxx,\
> Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\
> Display name \
> datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\
> replication count 1\
> Please see attachment for instruction.\
> Please add labelers and have them finish the task at Labeler console \
> [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\
> To view details, visit Manager console \
> [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.
>
> Sincerely,\
The Google Cloud AI Team

这些链接供标注管理员分配标注工作。

  1. 如果标注者未注册标注组，而是新添加的，则标注管理员必须向添加的标注者发送类似的电子邮件，并附上说明。

标签添加者步骤

标签添加者流程

  1. 标签添加者的电子邮件地址

    如果标注者已在第 2e 步中注册到标注组，系统会自动分配，并且他们会收到如下电子邮件：

    图片

    此电子邮件中的链接是所选标签添加者处理文档标签的机制。

  2. 标记操作：

    标注者点击链接进行标注时，会看到下图所示的 Interactive AI Human Review 界面。突出显示（以黄色标记）的行表示未通过验证（即得分低于配置的置信度得分阈值）且需要审核的行。

    图片

  3. 查看 将光标悬停在识别出的文本字段上，系统会显示识别出的文本以及（在其下方用较小的字体显示）字段名称（架构）。左侧面板中也会突出显示该行。

    用户可以使用工具栏左上角的放大镜图标放大/缩小。

    图片

  4. 更改字段

    点击该字段（左）即可对其进行修改：

    您可以在左侧面板中更改值或标签。然后点击应用。

    或者，您也可以点击文档图片上的任一调整大小角落图标，调整文档文本周围的边界框的大小：

    如图所示，如果选择其他文本，左侧面板中相应字段的“值”中的文本也会随之更改。然后，您可以根据需要进一步修改此文字。然后点击应用。

    请务必使用右上角的页面控件检查所有页面。

完成所有必要的标签更改后，点击提交（位于左下角）。结果 JSON 将保存到“结果位置”文件夹。

如果无法对文档进行满意的标注，您可以点击拒绝（位于左下角），然后选择拒绝文档的原因： - 选择原因，然后点击拒绝文档。

标注者还可以点击右上角的以下图标：

  • 分析 - 显示他们已审核的文档数量（回答）和总时间。
  • 通知 - 用于显示用户收到的所有通知。
  • 更多（三点状图标） - 用于跳过文档、查找答案或提供反馈（如果已启用）。
  • 切换标题栏（对角线箭头） - 此操作会隐藏（或显示）DataCompute 标题栏，以留出更多空间。

标签管理器

查看 Cloud Storage 中的文档

如果您想查看该文件，可以通过以下两种方式：

  • 选项 1：

    1. 找到之前配置的位置中的 Cloud Storage
    2. 检索和下载文档

  • 选项 2：

    1. 记住 URI，以便从预测响应中检索文档
    2. 调用 URI 以检索已审核的文档

后续步骤