標籤管理工具 UI 和標籤人員平台

管理員 UI

管理工具 UI 可供管理員1管理標籤人員在工作2上的工作。管理員可以使用這個 UI 新增或移除標註者、指派或取消指派工作,以及監控工作進度和每位標註者績效的相關分析資料。

管理員 UI

左側會列出使用者擔任管理員的所有 Google Cloud 專案已啟用的標註者集區3。標註者集區名稱右側的數字,就是該集區中的標註者人數。右側是 UI 的主要內容,包含四個分頁:

Tasks

工作表會顯示標註者集區 Google Cloud 專案中的所有工作。其中包含工作的一些基本統計資料,以及暫停工作的功能,並提供將標註者指派給工作的快速路徑。

工作資料表

篩選器

資料格線上方有一組篩選器控制項,可決定資料格線中顯示哪些工作。

  • 依名稱搜尋工作:篩選出含有輸入名稱的結果。包括自動完成功能。
  • 進行中:如果勾選這個選項,結果會包含所有未暫停、完成或未指派的工作。這項功能預設為啟用。
  • 已暫停:勾選後,結果會包含所有已暫停的任務。
  • 已完成:如果勾選這個選項,結果會包含所有已完成的作業,也就是沒有可用問題的作業 (可能是因為尚未將任何問題加入佇列,或是所有加入佇列的問題都已回答)。
  • 未指派:如果勾選這個方塊,結果會包含所有未指派標註者的工作。

如果未選取任何篩選器,系統會顯示錯誤訊息,並要求管理員選取篩選器。如果取消勾選任何核取方塊,系統會排除符合該核取方塊條件的工作,除非工作符合其中一個已勾選方塊的條件。舉例來說,如果工作已暫停「且」未指派,只要選取「已暫停」或「未指派」核取方塊 (或兩者),系統就會顯示該工作。如果未選取「已暫停」或「未指派」核取方塊,系統就不會顯示這項結果。

資料網格

  • 第一欄包含每個資料列的核取方塊。如果管理員選取一或多個核取方塊,然後按一下表格上方的「管理指派」按鈕,系統會將他們帶往「指派」頁面,並在「工作」篩選器中預先填入所選工作。
  • 「工作」欄會顯示工作名稱。這是由建立工作的人員設定,且是使用者可理解的名稱 (例如「履歷分類」),而非內部 ID (例如「cloud_data_67523fe89343」)。
  • 「目標」欄包含目標名稱,說明任務類型 (圖片分類、文字分類等)。
  • 「上次加入佇列」欄會顯示最近一次將問題加入佇列的日期 (如果尚未將任何問題加入佇列,則為空白)。
  • 「已指派」欄會顯示目前指派給這項工作的標註者人數。此外,管理員也可以透過對話方塊取消指派標記者。管理員無法透過這個對話方塊指派工作,如要指派,必須使用「指派」頁面。
  • 「可用的問題/已加入佇列」欄會顯示目前可供標註者處理的任務問題數量,與目前已加入任務佇列的問題總數之間的比例。
  • 「進度」欄會以圖形和百分比顯示上述比率。如上圖表格的底列所示,系統也會顯示「工作」是否已暫停 (未提供任何問題)。
  • 「動作」欄包含一個選單,提供對工作執行的其他動作:
    • 暫停:只有在工作目前未暫停時才能使用,暫停工作。
    • 繼續:只有在工作目前處於暫停狀態時才能使用,這會繼續執行工作。
    • 作業:提供「作業」頁面的快速鍵,並在篩選器中預先選取「作業」。

資料表上方是分頁控制項,管理員可決定每頁要顯示的結果數量,並在結果頁面之間切換。

標籤人員

標籤者表格會顯示標籤者集區中的所有標籤者。其中包含標籤器的基本統計資料,以及快速將標籤器指派給工作的途徑。

標籤人員表格

篩選器

資料格上方是篩選方塊,可將結果篩選為含有輸入電子郵件地址的結果。如有多個電子郵件地址,請以半形逗號分隔。

新增標籤者

新增標籤按鈕

按一下「新增」按鈕,即可開啟對話方塊,管理員可從中將一或多個標記者新增至集區。您可以輸入多個電子郵件地址,並以半形逗號分隔。您也可以輸入語言代碼 (例如「en」、「de」),並以半形逗號分隔。同一個人 (電子郵件地址) 可以出現在多個標註者集區中,並在每個集區中獲得不同的指派工作。

標籤人員新增對話方塊

對話方塊會顯示已新增或未新增的標籤者摘要。勾號表示已成功新增標籤者,紅色 X 則表示無法新增標籤者 (例如,標籤者已存在於集區中)。

資料格線

  • 第一欄包含每個資料列的核取方塊。如果管理員選取一或多個核取方塊,然後按一下表格上方的「管理指派」按鈕,系統會將他們帶往「指派」頁面,並在標註者篩選器中預先填入所選標註者。
  • 「電子郵件」欄會顯示標註者的電子郵件地址。
  • 「指派的工作」欄會顯示指派給標註者的工作數量。此外,管理員也可以透過這個對話方塊,從一或多個工作取消指派標籤人員。管理員無法透過這個對話方塊指派。如要指派工作,管理員必須使用「指派」頁面。
  • 「語言」欄會顯示標籤者相關聯的語言。視問題在排入佇列時的設定而定,這些值可能會影響標記者可租用的問題。
  • 「動作」欄包含一個選單,提供對工作執行的其他動作:
    • 指派:提供「指派」頁面的快速鍵,並預先在篩選器中選取標註者。
    • 刪除:從目前的標籤者集區中移除標籤者。

資料表上方是分頁控制項,管理員可決定每頁要顯示的結果數量,並在結果頁面之間切換。

作業

管理員可透過指派頁面,管理指派給標註者集區中標註者的工作。

「作業」頁面

篩選器

指派事項格線的內容取決於兩組篩選條件:標籤者篩選條件 (決定 Y 軸顯示的內容) 和工作篩選條件 (決定 X 軸顯示的內容)。

標註者篩選器

  • 工作選擇器:管理員可使用這個欄位選取一或多個工作。網格中顯示的標記者組合,會包含指派給任何這類工作的標記者。
  • 電子郵件篩選器:管理員可以使用這個欄位指定一或多個電子郵件地址,並以半形逗號分隔。網格中顯示的標籤者組合會包含所有具有這些電子郵件地址的標籤者。

你可以使用其中一個或兩個篩選器,但至少要使用一個。

工作篩選器

  • 工作選擇器:管理員可使用這個欄位選取一或多個工作。方格中顯示的工作集會包含所有選取的工作。
  • 其他篩選條件:
    • 所有已暫停的工作:勾選這個選項後,顯示的工作也會包含所有已暫停的工作。
    • 所有已完成的工作:如果勾選這個選項,顯示的工作也會包含已完成的工作 (沒有可處理的問題)。
    • 所有未指派的工作:如果勾選這個選項,顯示的工作也會包含未指派給任何標註者的工作。
    • 所有進行中的工作:如果勾選這個選項,顯示的工作也會包含「進行中」的任何工作 (未暫停、完成或未指派)。

您可以任意搭配使用這些篩選器,但至少要使用一個。這些篩選器彼此獨立,在「標註者」篩選器中選擇的選項不會影響「工作」篩選器中選擇的選項,反之亦然。

作業格線

方格會顯示所選篩選條件的結果。標籤人員構成 Y 軸,工作構成 X 軸。管理員可以勾選每個儲存格的核取方塊,將對應的標籤人員指派給對應的工作,也可以取消勾選核取方塊,將對應的標籤人員從對應的工作中取消指派。

此外,每個列標頭和欄標頭儲存格的選單中也有一些快速鍵 (按一下三個垂直圓點的按鈕即可開啟選單)。舉例來說,如果管理員在標籤者標題儲存格中開啟選單,管理員可以一次指派或取消指派該標籤者的所有工作。管理員也可以使用「移除」選單選項隱藏列或欄,或查看目前指派給標註者的工作/目前指派給工作的標註者。填入列和欄後,管理員可以使用可用的快速鍵,從指派格線中移除特定標籤者或工作。這不會影響工作或已移除標註者的指派狀態。如要再次在格線中顯示已移除的任務或標註者,請使用頂端的篩選器。提交變更後,系統只會使用作業格線中的工作和標記者來修改作業。

作業格線

變更指派項目後,頁面頂端的「Commit changes」按鈕會啟用。您也可以按一下「捨棄變更」按鈕,重設所有未提交的指派變更。

管理作業

按一下「提交變更」按鈕後,管理員會看到指派作業的所有變更清單。管理員審查變更後,可以中止或提交變更。如果他們放棄變更,系統會將他們帶回「作業」頁面,繼續編輯作業。如果他們「提交變更」,系統就會提交作業,並將他們帶回「作業」頁面。

指派作業變更清單

管理員必須在變更清單頁面按一下「提交」,系統才會儲存他們在格線中進行的變更。

標籤人員平台

標籤人員平台是標籤人員用來標記問題的介面。他們收到的問題取決於所屬的工作人員集區,而這些集區是由管理員指派。

取得問題

工作台載入後,系統會自動嘗試取得標註員要標註的問題。可能原因如下:

  • 標籤人員未獲派目前標籤人員集區中的任何工作 (工作台一次使用一個標籤人員集區)。其他標籤人員集區可能會有標籤人員可回答的問題。
  • 標記者已獲派一或多項工作,但目前沒有任何工作可供該標記者回答問題。可能原因如下:
    • 沒有問題加入佇列
    • 所有問題都已複製
    • 所有剩餘的複製問題都已租給其他標籤者,他們當時正在處理這些問題
    • 所有可用的問題都與標記者沒有的語言相關聯。
    • 標記者已回答所有可回答的問題。在複製完成前,其他標註者可能仍可使用這些問題。
    • 標記者已提交先前例項的答案,因此無法回答可用的問題。其他標籤者可能仍可使用這些問題。

工作台載入後,標註者可能會用完所有問題。如果發生這種情況,系統會顯示按鈕,讓標記者再次嘗試取得問題 (同樣可能發生上述失敗情況)。

「生成更多問題」按鈕

處理問題

如果標註員租用問題,問題就會顯示在工作台中。具體外觀取決於已加入佇列的問題,以及工作設定使用的 UI。

工作台會啟動計時器,直到問題指派作業過期為止。計時器結束後,問題就會過期並從工作台移除,以便指派給其他評估人員,讓佇列持續運作。

標記者提交問題的答案後,工作台會自動載入下一個可用的問題。否則,標記者必須使用上方顯示的「取得更多問題」按鈕要求更多問題。

提交狀態

在工作台中,標註者可以在幾個地方查看答案提交狀態:提交是否成功、失敗或仍在進行中。

通知對話方塊

通知對話方塊

這個對話方塊會顯示標籤員提交的答案狀態:

  • 左側的圖示和數字 (橘色時鐘) 代表仍在提交中的答案。
  • 中間的圖示 (紅色三角形) 代表提交失敗的答案。提交失敗可能是因為伺服器發生某種錯誤,或是用戶端的網際網路連線有問題。
  • 右側的圖示代表已成功提交的答案。

請注意,瀏覽器不會保留計數;如果關閉工作台並重新開啟(或重新整理頁面),計數器就會重設為 0。

更多工具

在主工具列結尾,按一下 按鈕開啟選單,即可使用其他工具。

「更多工具」按鈕

選項如下:

  • 略過:如果工作已啟用略過功能,即可略過目前的問題。如果 UI 中顯示的問題有誤,通常會使用這項功能,但個別管理員可能會指示標記者何時要略過問題。請注意,系統會將略過視為回答,並儲存略過的額外中繼資料和原因。
  • 尋找答案:前往「答案」頁面,標籤者可搜尋問題 ID,查看任何問題的答案。標籤者只能查看自己的答案,但標籤者集區的管理員可以查看所有答案。

問題佇列

此外,還有標註者已提交答案的問題佇列:

問題佇列

在本例中,第一個答案已成功提交,但下一個答案提交失敗。下一個答案已成功提交,第四個泡泡代表目前載入的問題和剩餘時間。最後一個泡泡會顯示可租給標註者的問題數量。這有助於標記者瞭解自己何時快要標記完所有問題,並通知管理員。

標註者可以點選對應的泡泡,返回先前的問題。如果問題尚未過期,標註者可以變更答案並再次提交。系統只會儲存最新答案,並覆寫先前的答案。請注意,如果答案提交後即為最終版本,系統可能會指示不要使用這項功能。

其他工具工具列

工具列提供工作台的額外工具。預設為隱藏,但可視需要展開。

其他工具工具列

這裡有三個按鈕:

  • 全螢幕:以全螢幕模式開啟外掛程式。這時只會顯示工作台,瀏覽器 UI 和作業系統工具列都會隱藏。標記者可以按下 Esc 鍵或再次點選相同按鈕,退出這個模式。
  • 重新載入:重新整理目前顯示的外掛程式。在大多數情況下,這比從瀏覽器重新載入頁面更好,因為重新載入頁面可能會清除某些狀態,例如花費的時間和提交的答案,而且如果重新載入頁面,標記者不一定會再次看到相同的問題。
  • 問題資訊:顯示目前可見問題的部分資訊,例如問題 ID 和外掛程式名稱。視工作管理員的指示而定,記錄這項資訊可能對回報特定問題很有幫助。

問題詳細資料

「數據分析」頁面

標註者可以在「Analytics」頁面查看自己最近的貢獻。

貢獻分析

頂端會顯示貢獻率圖表。下方則是以表格形式顯示的相同資訊。標籤者可以從幾個預先定義的時間範圍中選取,查看資料。如要存取「數據分析」頁面,請點選工具列中的「數據分析」按鈕。

貢獻分析按鈕

為外掛程式騰出空間

你可以透過幾項控制選項,調整外掛程式可用的空間大小。

外掛程式空間按鈕

頂端按鈕 (對角箭頭) 可切換 One Google Bar 的顯示狀態,這個工具列位於頂端,內含 Google 帳戶切換器。底部的按鈕 (向下箭頭) 可切換其他工具列的顯示設定。如果搭配全螢幕模式,切換隱藏兩個工具列後,外掛程式幾乎會佔用整個螢幕。


  1. 標註者集區管理員有權新增或移除標註者,以及變更標註者負責的任務。 

  2. 工作是一組問題,可從標籤人員集區指派給一或多名標籤人員。 

  3. 標籤人員集區是由一或多位管理員管理的標籤人員集合。您可以指派集區中的標籤人員處理為該集區啟用的工作。