快速入門：完成審查任務

每個處理器都會建立「HITL 工作」，並指派給一組人工標註人員 (稱為「標註人員集區」)，由他們審查處理器處理的文件。處理完成後，這些文件會排入工作隊列，由指派的標註人員池進行 HITL 審查。

事前準備

請先完成前一個快速入門：設定人工審查，再繼續操作。

新增標籤人員

  1. 完成設定人工審查後，您應該會收到類似以下的電子郵件：
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group

Hello AI Platform Customer,

You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/

Sincerely,
The Google Cloud AI Team

  1. 按一下電子郵件中的連結 (或將連結複製並貼到瀏覽器中)，即可前往管理員頁面：

  2. 由新建立的處理器建立的工作名稱與處理器相同 (例如「部門 A 帳單」)，並列於「工作」分頁中。

  3. 按一下「標籤者」分頁標籤

  4. 按一下「新增標籤者」，並新增至少一位標籤者 (電子郵件地址)。管理員可以是標註者，因此您可以將自己新增為標註者。

  5. 對於新建立的標註者資源池，您必須在「工作分配」分頁中明確指派工作給個別標註者。也就是說，新增標註者資源池不會自動將工作指派給這些新標註者。如果標註者資源池已佈建標註者，系統會自動將該資源池指派給工作。

發布初始文件供審查

  1. 透過已建立的處理器傳送要擷取的文件。如有需要，請參閱使用指南。線上 (同步) 和批次 (非同步) 呼叫目前都支援人工審查路由，適用於支援的處理器。

    為了測試，您可以使用已知的擷取不佳內容，讓系統根據信心分數低於閾值觸發人工審查，或是將閾值設為 100%。文件限制通常為 5 頁，大小上限為 20 MB，但請查看特定處理器的限制。

    我們有一個 API，可追蹤每份轉交給人工審查的文件。處理器回應中包含 humanReviewOperation 字串，這是人工審查中文件的作業 ID (工作名稱)。您可以查詢這項長時間執行的作業 (也稱為 LRO) 的狀態。

    您可以使用 projects.locations.operations.get 方法查詢已轉送至人工審查的文件狀態

  2. 您可以使用 reviewDocument 方法強制將文件送交人工審查 (請注意，這項方法適用於特定處理器)：

    使用 reviewDocument 方法時，必須勾選「已啟用人工審查」核取方塊。使用這個 API 不會覆寫設定。

    您可以按照要求人工審查指南操作。

查看文件

  1. 如果文件觸發人工審查程序，但沒有待命的標註人員，管理員就會收到電子郵件。

    > Hello AI Platform Customer,
>
> There is a running task for Project  with Job ID 404298342016955xxxx,\
> Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\
> Display name \
> datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\
> replication count 1\
> Please see attachment for instruction.\
> Please add labelers and have them finish the task at Labeler console \
> [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\
> To view details, visit Manager console \
> [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.
>
> Sincerely,\
The Google Cloud AI Team

這些連結可供標註管理員分配標註工作。

  1. 如果標註者未加入標註群組，且是新加入的人員，標註管理員必須傳送類似的電子郵件，並附上給新加入標註者的操作說明。

標籤人員步驟

標籤人員程序

  1. 標籤人員電子郵件地址

    如果標註者已在步驟 2e 中註冊標註群組，系統會自動分配，標註者也會收到類似以下內容的電子郵件：

    圖片

    這封電子郵件中的連結，是讓所選標註人員標註文件的機制。

  2. 標示動作：

    標註人員點選連結進行標註時，會看到下方的互動式 AI 人工審查使用者介面。以黃色醒目顯示的資料列，代表驗證失敗 (低於設定的可信度分數門檻)，需要進行檢查。

    圖片

  3. 檢查 將游標懸停在已辨識的文字欄位上，系統會顯示已辨識的文字，以及 (在其下方以較小的字型顯示) 欄位名稱 (結構定義)。左側面板也會醒目顯示該資料列。

    使用者可以透過工具列左上方的放大鏡圖示放大/縮小畫面。

    圖片

  4. 變更欄位

    只要 (左) 按一下欄位，即可進行編輯：

    您可以在左側面板中變更值或標籤。然後點選「套用」。

    或者，您也可以按一下文件圖片上任一邊角的縮放圖示，調整文件文字周圍的邊界框大小：

    如圖所示，如果選取不同的文字，左側面板的欄位值就會變更。之後您可以視需要進一步編輯這段文字。然後點選「套用」。

    請務必使用右上角的頁面控制項查看所有頁面。

完成所有必要的標籤變更後，按一下左下方的「提交」。結果 JSON 會儲存至「結果位置」資料夾。

如果無法為文件加上適當標籤，請按一下左下方的「拒絕」，然後選取拒絕文件的原因： - 選取原因，然後按一下「拒絕文件」。

標註者也可以點選右上角的以下圖示：

  • 數據分析：顯示他們已審查的文件數量 (答案) 和總時間。
  • 通知：顯示他們收到的任何通知。
  • 更多 (3 個圓點)：用於略過文件、尋找答案或提供意見回饋 (如果已啟用)。
  • 切換標題列 (對角箭頭)：隱藏 (或顯示) DataCompute 標題列，以便騰出更多空間。

標籤管理工具

查看 Cloud Storage 中的文件

如要查看文件，有兩種方法：

  • 選項 1：

    1. 從先前設定的位置尋找 Cloud Storage
    2. 擷取及下載文件

  • 選項 2：

    1. 記下用於從預測回應中擷取文件的 URI
    2. 呼叫 URI 以擷取已審查的文件

後續步驟