Labeling Manager UI 和 Labeler Workbench
经理界面
借助管理界面，管理员1可以管理标注者在任务2上的工作。管理员可以使用此界面添加或移除标注者、分配或取消分配任务，以及监控任务进度和每个标注者的表现分析。
左侧列出了用户是经理账号的所有 Google Cloud 已启用项目标注者群组3。标注者池名称右侧的数字是该池中的标注者数量。右侧是界面的主要内容，其中包含四个标签页：
Tasks
任务表格是标注者池项目中所有任务的视图。 Google Cloud 其中包含有关任务的一些基本统计信息，还提供了暂停任务的功能，以及向任务分配标注者的快捷路径。
过滤条件
数据网格上方有一组过滤控件，用于确定数据网格中显示哪些任务。
- 按名称搜索任务：过滤出与输入的名称匹配的结果。包含自动补全功能。
- 进行中：如果此选项处于选中状态，则结果将包含所有未暂停、未完成或未分配的任务。此功能默认处于启用状态。
- 已暂停：如果选中此选项，结果将包含所有已暂停的任务。
- 已完成：如果选中此复选框，结果将包含所有已完成的任务，即没有可用问题的任务（无论是因为尚未加入队列的问题，还是因为已回答所有加入队列的问题）。
- 未分配：如果选中此选项，结果将包含未分配标注者的所有任务。
如果未选择任何过滤条件，则表示出错，此时页面会提示经理进行一些过滤条件选择。如果任何复选框处于未选中状态，系统会排除与该复选框对应的条件相符的任务，除非该任务与已选中复选框对应的条件之一相符。例如，如果某个任务同时处于“已暂停”和“未分配”状态，则在选中“已暂停”复选框或“未分配”复选框（或同时选中这两个复选框）时，该任务就会显示。如果您未选中“已暂停”复选框和“未分配”复选框，系统将不会显示此结果。
数据网格
- 第一列包含每行对应的复选框。如果经理选择一个或多个复选框，然后点击表格上方的管理作业按钮，系统会将其转到“作业”页面，并且“任务”过滤条件中已填充所选的任务。
- “任务”列会显示任务的名称。此字段由创建任务的人员设置，是一个直观易懂的名称（例如“简历分类”），而不是内部标识符（例如“cloud_data_67523fe89343”）。
- “目标”列包含目标名称，用于描述任务类型（图片分类、文本分类等）。
- “上次加入队列”列包含最近一次加入队列的问题的日期（如果尚未向任务加入任何问题，则为空）。
- “已分配”列会显示当前分配给该任务的标注者数量。它还提供了一个对话框，管理员可以通过该对话框取消分配标注者。经理无法在此对话框中分配作业，如需分配作业，他们需要使用“作业”页面。
- “可供标注者处理的问题数/已加入队列的问题数”列显示任务中当前可供标注者处理的问题数与任务中当前已加入队列的问题总数之间的比率。
- “进度”列以图形和百分比的形式显示上述比率。它还会显示任务是否处于暂停状态（未提供任何问题），如上方屏幕截图中表格的最后一行所示。
- “操作”列包含一个菜单，其中包含对任务执行的一些其他操作：
- 暂停：仅当任务当前未暂停时才可用，此操作会暂停任务。
- 恢复：仅当任务当前处于暂停状态时才可用，此操作会恢复任务。
- 作业：此快捷方式可前往“作业”页面，并在过滤条件中初始选择“任务”。
数据表格上方是分页控件，经理可以通过该控件决定每页显示更多结果，以及在结果页面之间导航。
标签添加者
“标注者”表格用于查看标注者池中的所有标注者。其中包含一些与标注者相关的基本统计信息，以及快速将标注者分配给任务的方法。
过滤条件
数据网格上方有一个过滤框，可过滤出包含所输入电子邮件地址的结果。多个电子邮件地址之间可以用英文逗号分隔。
添加标签添加者
添加按钮会打开一个对话框，管理员可以通过该对话框将一个或多个标注者添加到标注者池中。您可以输入多个电子邮件地址，以英文逗号分隔。您还可以输入语言代码（例如“en”“de”），各语言代码之间用英文逗号分隔。同一人（电子邮件地址）可以出现在多个标注者池中，并且在每个池中都有不同的分配。
该对话框会显示已添加或未添加的标注者摘要。对勾标记表示已成功添加标注者，而红色 X 表示无法添加标注者（例如，因为标注者已存在于标注者池中）。
数据网格
- 第一列包含每行对应的复选框。如果经理选择一个或多个复选框，然后点击表格上方的管理分配按钮，系统会将其转到“分配”页面，并且“标注者”过滤条件中已填充所选标注者。
- “电子邮件地址”列会显示标注者的电子邮件地址。
- “分配的任务数”列会显示分配给标注者的任务数量。它还提供了一个对话框，管理员可以通过该对话框从一个或多个任务中取消分配标注者。经理无法在此对话框中进行分配。如需分配任务，经理需要使用“作业”页面。
- “语言”列会显示标注者与哪些语言相关联。这些值可能会影响标注者可以租借哪些题目，具体取决于题目加入队列时的配置。
- “操作”列包含一个菜单，其中包含对任务执行的一些其他操作：
- 作业：此快捷方式可前往“作业”页面，其中过滤条件中会默认选择标注者。
- 删除：从当前标注者池中移除标注者。
数据表格上方是分页控件，经理可以通过该控件决定每页显示更多结果，以及在结果页面之间导航。
作业
在“分配”页面中，管理员可以为标注者池中的标注者管理任务分配。
过滤条件
作业网格的具体内容由两组过滤条件决定：标注者过滤条件决定 Y 轴上显示的内容，任务过滤条件决定 X 轴上显示的内容。
标签添加者过滤器
- 任务选择器：经理可以使用此字段选择一个或多个任务。网格中显示的标注者组将包含分配给任何这些任务的所有标注者。
- “电子邮件地址”过滤条件：借助此字段，经理可以指定一个或多个电子邮件地址（以英文逗号分隔）。网格中显示的一组标注者将包括使用其中任一电子邮件地址的所有标注者。
您可以使用这两个过滤器中的任一过滤器，也可以同时使用这两个过滤器，但必须使用其中一个过滤器。
任务过滤条件
- 任务选择器：经理可以使用此字段选择一个或多个任务。网格中显示的一组 Tasks 将包含所选的所有 Tasks。
- 其他过滤条件：
- 所有已暂停的任务：如果此选项处于选中状态，则显示的任务还将包括所有已暂停的任务。
- 所有已完成的任务：如果此选项处于选中状态，则显示的任务还将包括所有已完成的任务（没有可处理的问题）。
- 所有未分配的任务：如果此选项处于选中状态，则显示的任务还将包括未分配给任何标签添加者的任务。
- 所有进行中的任务：如果此选项处于选中状态，则显示的任务还将包括所有处于“进行中”（非暂停、已完成或未分配）状态的任务。
您可以使用这些过滤条件的任意组合，但必须至少使用其中一个过滤条件。这些过滤条件相互独立；在“标注者”过滤条件中选择的选项不会对“任务”过滤条件中选择的选项产生任何影响，反之亦然。
“作业”网格
网格会显示所选过滤条件的结果。标签者构成 Y 轴，任务构成 X 轴。对于每个单元格，管理员可以选中复选框，将相应的标注者分配给相应的任务；也可以取消选中复选框，将相应的标注者从相应的任务中取消分配。
您还可以在每个行标题和列标题单元格中的菜单中使用一些快捷键（点击带有三点状图标的按钮即可打开菜单）。例如，如果经理在标注者标题单元格中打开菜单，则可以为所有任务分配或取消分配该标注者。经理还可以使用“移除”菜单选项隐藏行或列，或查看当前分配给标注者的工作/当前分配给工作的标注者。填充行和列后，经理可以选择使用可用的快捷方式从分配网格中移除特定标注者或任务。这不会影响被移除的任务或标注者的分配状态。您可以使用顶部的相应过滤条件，在网格中重新显示已移除的任务或标注者。提交更改后，只有作业网格中显示的任务和标注者才能修改作业。
对作业进行更改后，页面顶部的提交更改按钮将会启用。系统还会显示舍弃更改按钮；点击此按钮可重置所有未提交的作业更改。
点击提交更改按钮后，系统会向经理显示对作业所做的所有更改的列表。经理审核更改后，可以中止更改或提交更改。如果学生中止更改，则会返回“作业”页面，以继续修改作业。如果他们提交更改，系统会提交作业，并将他们返回到“作业”页面。
在经理在更改列表页面上点击“提交”之前，他们在网格中所做的更改都不会保存。
标签添加者工作台
标注者工作台是标注者用于为题目添加标签的界面。他们收到的问题取决于他们所属的工作器池（由经理分配）。
获取问题
加载工作台后，系统会自动尝试获取要供标注者标注的问题。导致此操作失败的原因可能有以下几点：
- 标注者未分配到当前标注者池中的任何任务（Workbench 一次只使用一个标注者池）。其他标签添加者池中可能有可供标签添加者处理的问题。
- 标注者被分配了一个或多个任务，但目前没有任何任务有可供该特定标注者标注的问题。这可能有多种原因：
- 没有问题加入队列
- 所有题目均已复制
- 所有仍有剩余复制项的问题都已租借给其他标注者，他们正在处理这些问题
- 所有可用题目都与标注者不具备的语言相关联。
- 标注者已回答所有可用问题。在完成复制之前，其他标注者可能仍可以看到这些问题。
- 由于标注者已为此问题的先前实例提交了答案，因此无法回答可用的题目。其他内容分级者可能仍可以看到这些问题。
加载工作台后，标注工具可能会耗尽问题。在这种情况下，系统会显示一个按钮，供标注者尝试重新获取问题（可能会出现上述相同的失败情况）。
处理题目
当标注者获得问题的租用权后，相应问题就会显示在工作台中。具体显示方式取决于加入队列的问题以及任务配置为使用的界面。
在题目作业到期之前，工作台会启动计时器。计时器结束后，题目将过期并从工作台中移除，以便分配给其他评价者并保持队列的正常运行。
标注者提交对问题的回答后，工作台会自动加载下一个可用问题。否则，标注者必须使用上方显示的获取更多问题按钮来请求更多问题。
提交状态
在工作台中，标注者可以通过以下几个位置查看其回答提交内容的状态：提交内容是已成功、已失败还是仍在处理中。
“通知”对话框
此对话框会显示标注者提交的回答的状态：
- 左侧的图标和数字（橙色时钟）表示仍在提交过程中的回答。
- 中间的图标（红色三角形）表示未能提交的回答。提交失败可能是由于某种服务器错误或客户端的互联网连接问题所致。
- 右侧的图标表示已成功提交的回答。
请注意，计数不会保留在浏览器中；如果您关闭工作台并再次打开（或刷新页面），计数器将重置为 0。
更多工具
您可以通过点击主工具栏末尾的 按钮打开菜单，在其中使用一些其他工具。
以下是各个选项：
- 跳过：如果任务已启用跳过功能，则跳过当前问题。通常，如果界面中显示的问题损坏，则会使用此属性，但个别经理可能会指示标注者何时跳过问题。请注意，跳过会计为回答，并会保存额外的元数据，指明跳过的原因。
- 查找回答：前往“回答”页面，标注者可以通过搜索问题 ID 查看对任何问题的回答。标注者只能查看自己的回答，而标注者池中的经理可以查看所有回答。
问题队列
还有一个队列，其中包含标注者已提交答案的问题：
在本例中，第一个答案已成功提交，但下一个答案未能提交。下一个答案已成功提交，第四个气泡代表当前加载的问题及其剩余时间。最后一个气泡显示可向标注者租赁的问题数量。这有助于标注者了解自己何时即将用完要标注的问题，并可以告知其经理。
标注者可以通过点击相应的气泡来返回上一个问题。如果问题尚未过期，标注者可以更改回答并重新提交。系统只会存储最新的回答；它会覆盖之前的所有回答。请注意，如果答案提交已是最终提交，系统可能会指示某些任务不要使用此功能。
“其他工具”工具栏
该界面提供了一个工具栏，其中包含适用于工作台的其他工具。该部分默认处于隐藏状态，但您可以根据需要将其展开。
此处有三个按钮：
- 全屏：使插件在全屏模式下打开。这样，系统只会显示 Workbench，并隐藏浏览器界面以及所有操作系统工具栏。标注者可以按 Esc 或再次点击同一按钮退出此模式。
- 重新加载：刷新当前显示的插件。在大多数情况下，这比从浏览器中重新加载页面要好，因为重新加载页面可能会清除一些状态，例如所花时间和提交的答案，并且标注者重新加载页面后无法保证会再次获得相同的问题。
- 题目信息：此部分会显示当前可见题目的一些信息，例如题目 ID 和插件名称。在报告特定题目的问题时，记下这些信息可能会很有用，具体取决于任务管理器说明。
“分析”页面
在“分析”页面中，标注者可以查看自己近期的贡献。
顶部是贡献率图表。下方是相同信息以表格形式显示的结果。标注者可以从几个预定义的时间范围中选择，以查看数据。点击工具栏中的“分析”按钮即可访问“分析”页面。
为插件留出空间
您可以使用几个控件来调整插件可用的空间。
顶部的按钮（对角线箭头）用于切换 One Google 栏的显示状态，该栏位于顶部，其中包含 Google 账号切换器。底部的按钮（向下箭头）用于切换“其他工具”工具栏的可见性。与全屏模式搭配使用时，将两个工具栏切换为隐藏状态，即可将几乎整个屏幕都留给插件。