版本資訊

2022 年 12 月發布

HITL 設定步驟

「Human-In-The-Loop」下的「Configuration」分頁現在會以步驟有序對組的形式呈現,方便您更輕鬆地完成設定。已更新 HITL 設定 使用者現在可以查看個別步驟,設定與專家集區和觸發 HITL 的篩選器相關的設定,並選取專家的指示和結果位置。

2022 年 10 月發布

HITL 請求者數據分析資訊主頁
  • 人機迴圈現在有專屬分頁,稱為「Analytics」,提供指標和圖表供使用者分析每個處理器的 HITL 工作狀態,並視需要進行變更。

  • 目前使用者可查看三種不同的指標。使用者可以透過時間範圍選取器彙整資料,並使用下列選項: 時間範圍選取器

  • 使用者可以查看所選時間範圍內的下列資訊:

    • 匯總統計資料:顯示成功上傳至佇列的文件總數、專員完成 (即提交和拒絕) 的文件總數,以及在所選時間範圍內,最舊文件加入佇列的時間。 匯總統計資料表
    • 人機迴圈活動圖表:顯示時間序列資料的圖表,指出文件加入佇列的時間 (enqueuedDocumentCount) 和專員完成文件作業的時間 (completedDocumentCount)。 HITL 活動圖表
    • 人機迴圈觸發率:圖表,顯示所選時間範圍內,觸發人機迴圈審查的已上傳文件百分比時間序列資料。 人機迴圈觸發率圖表

2022 年 9 月發布

注意:使用 Document AI Workbench、採購單 (PO)、發票和費用處理器的客戶,可存取新結構定義,以便標示核取方塊 (如結構定義中已定義),並在 HITL 註解和審查 UI 中準確呈現巢狀實體,也就是父項/子項關係。隨著更多處理器採用新結構定義,這些版本資訊也會更新

巢狀實體
  • 註解使用者介面現在支援為巢狀實體加上標籤。左側面板會重新整理,以新的巢狀列外觀代表巢狀實體。「parent」的值是所有「children」的串連。 巢狀實體左側面板
  • 左側面板實體選取畫面會顯示父項和子項標籤。 選取巢狀實體左側面板
  • 文件中的實體標籤選單也會重新整理,支援巢狀實體標籤。 選取巢狀實體選單
  • 按一下巢狀標籤會彈出對話方塊,為巢狀子項實體指派正確的父項實體。 巢狀實體父項對話方塊
核取方塊
  • 註解 UI 支援標記核取方塊。在左側面板中,可以在資料列中編輯核取方塊。 核取方塊左側面板
  • 您也可以在實體編輯對話方塊中編輯核取方塊。 核取方塊編輯表單

2022 年 8 月發布

選取實體標籤
  • 實體標籤輸入內容會改為下拉式選單。新增實體時,這個下拉式選單會顯示可用的標籤選項。這項異動可協助標註人員避免輸入錯誤,以及建立不必要的實體標籤。 選取實體標籤
ISO 日期格式
  • 標準化日期會以 ISO 8601 日期格式(yyyy-mm-dd) 顯示。 ISO 日期格式

2022 年 7 月發布

「快速確認」按鈕
  • 實體工具提示會顯示「確認」按鈕,方便您快速檢查及確認實體/標籤值。移除「編輯」按鈕,使用者可以直接點選實體工具提示進行編輯。 快速確認

2022 年 1 月發布

實體標籤選項
  • 實體標籤選取選項現在僅限於經過篩選的欄位清單(在 HITL 篩選器設定中設定)。 實體標籤
缺少欄位
  • 現在,系統會以顯眼的紅色顯示缺少的欄位 (即在 HITL 篩選器設定中標示為「必填」的欄位,但處理器尚未預測這些欄位的值),方便審查員更新欄位值。 缺少欄位
隨機完整樣本
  • 我們現在支援隨機抽樣審查文件 (例如每日量的 2%),包括文件中的所有實體,而不僅是經過篩選的欄位。這有助於監控模型偏移,以及各個欄位中處理器準確度的分析資料。我們會收集這些分析資料,用於判斷何時需要重新訓練模型。這也會做為資料集,提供已加上標籤的實際資料,用於訓練模型。
  • 客戶可以選擇啟用這項功能,並根據交易量設定隨機樣本 (1% 至 10%)。每週指定 100 至 500 個樣本會很有幫助。因此,如果客戶每週處理 10,000 份文件,這項值可以設為 500/10000 = 5%
為首次使用者簡化 HITL 設定
  • 我們簡化了首次使用 HITL 的客戶的 BYOL HITL 設定,讓他們可以從單一畫面快速設定工作、指派專家並啟動工作,以便在擴大生產量或將作業外包之前,快速試用這項服務。
  • 如下方螢幕截圖所示,使用者會成為集區的預設管理員,並可新增其他專家,所有專家都會在同一個畫面中自動指派至工作。
    • 先前,系統會透過電子郵件將管理員主控台的連結傳送給指派的管理員,管理員可透過該連結新增專家,並將工作指派給這些專家。
    • 提交工作後,他們 (和其他指派的專員) 就能前往 HITL 應用程式審查文件。
    • 使用者也可以將測試文件 (一次一個) 上傳至工作佇列。 簡化 HITL 設定 1 簡化 HITL 設定 2
移除結尾的換行符
  • 實體.mentionText 中會移除尾端換行符號('\n')。

2021 年 12 月發布

將低信賴分數的實體排序在最上方
  • 低信賴度分數的實體 (即低於信賴度門檻的實體) 現在會排序在頁面頂端,方便專員專注處理這些實體。進一步提升標籤設定效率。 排序低信賴區間
BYOL 任務的選填說明
  • 上傳 PDF 操作說明來設定 HITL 工作現在為選用步驟。這可簡化測試和快速內部發布程序,專家不需要操作指南。 說明 (選填)
「符合視窗寬度」和「符合頁面高度」選項
  • 按鈕:可依寬度或高度調整頁面大小。如果專員在工作中處理的文件大小不一 (例如收據),這項功能就非常實用。Fit 選項
在專家 UI 中顯示的工作名稱
  • 現在專家 UI 會顯示工作名稱,提供工作和文件類型等額外背景資訊,這對指派給多項工作的專家來說非常實用。
  • 請注意,這項資訊會顯示在發布後啟動的新處理器中。 專員 UI 工作名稱
專家搜尋框
  • 專員可以在文件中搜尋實體/文字。這項功能特別適合處理多頁的大型文件,可提升專家的工作效率。 專員搜尋框

2021 年 9 月發布

切換顯示所有欄位
  • 標記者可能需要檢查並更新不在篩選實體集中的欄位,以處理佇列中的特定文件。您可以切換「顯示所有預測結果」選項,允許標記者查看未經過濾的欄位。 切換
表單剖析器的人工複查
  • HITL 現在支援表單剖析器,因此使用者可以查看及修正表單剖析器擷取的鍵/值組合。客戶可以在 DocAI 平台中啟用表單剖析器處理器的 HITL,並設定要篩選以供 HITL 審查的鍵名 (如下方螢幕截圖所示)。HITL 審查完成後,系統會將 HITL 輸出內容以 JSON 檔案的形式,放入客戶指定的 Google Cloud Storage 值區。
  • 他們可以指定以半形逗號分隔的替代鍵名,例如「customer, customer name, client, account #, account number」,這樣 HITL 篩選器就會擷取所有鍵名變體的文件,並傳送以供 HITL 審查。 表單剖析器 1 的 HITL 表單剖析器 2 的 HITL 表單剖析器 3 的 HITL

2021 年 8 月發布

稽核/品質確保管道
  • HITL 現在可進行第 2 階段的 QA 或稽核階段,並回報審查工作 (和標註者) 的準確度。您可以將 QA 團隊或稽核人員指派為工作「專家標註者」。QA 團隊/稽核人員會收到 X% (例如 1% 至 100%,客戶可自行設定) 的審查文件。稽核人員可以修正審查人員的輸出內容。系統會追蹤修正內容,並為每個稽核文件指派準確度分數 (例如 90%)。工作和標籤人員分析資訊主頁會分別顯示工作或標籤人員的匯總準確率分數。
  • 如需設定稽核管道的詳細操作說明,請參閱這篇文章
  • 指派稽核人員 指派稽核人員
  • 報表準確度 報表準確度
貸款 AI 剖析器 (8 月 15 日)
  • 部分 Lending AI 剖析器現在支援 HITL,包括 1040、1040 附表 E、1040 附表 C、1099 DIV、1099 G、1099 INT、1099 MISC、薪資單、銀行對帳單、W2、W9、1120、1120S、1065、SSA-1099、1099 NEC、1099-R。

2021 年 7 月發布

標準與緊急佇列 (7 月 2 日)
  • 現在,每個處理器支援 2 個優先佇列 (而非 1 個),可根據每份文件的緊急程度進行處理。
  • 提交 - 預測完成後,系統會評估擷取文件的緊急程度,並根據緊急程度將文件提交至 2 個佇列 (標準與緊急/快速通道)。舉例來說,如果應付憑據的付款期限很近,可以提交至快速通道佇列。目前,評估緊急程度的邏輯不在 HITL 範圍內,可以是自訂函式。
  • 工作指派 - 標籤管理員會看到 2 個優先順序不同的佇列 (如下方螢幕截圖所示),並將同一組標籤人員指派給這兩個佇列。
  • 工作優先順序 - 系統會自動處理優先順序,指派給這兩項工作的標註人員一律會先處理「快速通道」佇列中待處理的文件,再處理「標準」佇列中的文件
  • API 呼叫 - 在 ReviewDocument 中設定 priority 欄位
  • UI 螢幕截圖 (標籤管理工具 UI 中的工作) - 優先佇列

2021 年 6 月發布

HITL 端點的驗證篩選器 (6 月 24 日)
  • 驗證篩選器 (在處理器中設定) 會依據信賴度分數篩選欄位,判斷要將哪些文件加入人工審查佇列,現在也會套用至提交至 HITL 端點的文件。
  • 呼叫 ReviewDocument API 時,請將 enable_schema_validation 欄位設為 true。
  • 請注意,如果設定這項屬性,且驗證作業判斷文件不需要觸發人工審查,系統就會傳回 CANCELLED 錯誤。
取消 API
  • 客戶可以針對特定作業 ID 叫用 Cancel API,取消已排入 HITL 處理佇列的文件。系統會為提交至 HITL 的每份文件傳回作業 ID。

    `POST https://[us|eu]-documentai.googleapis.com/{api_version}/{name=projects/*/operations/*}:cancel`
    
月結單類型 (分類審查)
  • 標籤員工作台支援審查發票類型分類。 應付憑據類型分類
佇列時間 (人機迴圈延遲服務等級目標) 報表
  • 報表會顯示排隊時間超過 18 小時和 24 小時的文件數量。這項功能適合需要管理 HITL 延遲服務等級目標期望值的使用者。 排入佇列時間
標籤人員平台已知網址
  • 指派給單一集區的標記者現在可以透過已知網址存取工作台,不必再尋找電子郵件通知 (由系統或標記管理員傳送) 中難以辨識的網址。如果標註者已指派給多個集區,則無法使用這個網址。
固定縮放設定
  • 外掛程式現在會記住標記者在佇列中檢閱下一個文件時的縮放設定 (全寬與全頁),因此標記者不必為每個文件縮放畫面。

表單剖析器的人工複查

  • HITL 現在支援表單剖析器。使用者可以審查及修正表單剖析器擷取的鍵/值組合,並在 DocAI 平台中啟用表單剖析器處理器的 HITL,以及設定要篩選以供 HITL 審查的鍵名 (如下方螢幕截圖所示)。HITL 審查完成後,系統會將輸出內容儲存至客戶指定的 Google Cloud Storage bucket 中的 JSON 檔案。
  • 設定表單剖析器人機迴圈的 UI 螢幕截圖 HITL 表單剖析器
  • 設定金鑰層級驗證的 UI 金鑰層級驗證
  • 標籤人員 UI 表單剖析器標籤工具 UI

稽核/品質確保管道

  • HITL 現在可進行第 2 階段的 QA 或稽核階段,並回報審查工作 (和標註者) 的準確度。您可以將 QA 團隊或稽核人員指派為工作「專家標註者」。QA 團隊/稽核人員會收到 X% (例如 1% 到 100%,客戶可自行設定) 的審查文件。稽核人員可以修正審查人員的輸出內容。系統會追蹤修正內容,並為每份稽核文件指派準確度分數 (例如 90%)。工作和標籤人員分析資訊主頁會分別顯示工作或標籤人員的匯總準確率分數。以下詳細說明如何設定稽核管道。
  • 指派稽核人員 指派稽核人員

  • 回報準確度 報表準確度

貸款 AI 剖析器 (7 月 31 日)

  • 部分 Lending AI 剖析器現在支援 HITL,包括 1040、1040 附表 E、1040 附表 C、1099 DIV、1099 G、1099 INT、1099 MISC、薪資單、銀行對帳單、W2、W9、1120、1120S、1065、SSA-1099、1099 NEC、1099-R

標準與快速通道佇列 (7 月 2 日)

  • 現在,每個處理器支援 2 個優先佇列 (而非 1 個),可根據每份文件的緊急程度進行處理。
  • 提交 - 預測完成後,系統會評估擷取文件的緊急程度,並根據緊急程度將文件提交至 2 個佇列 (標準與緊急/快速通道)。舉例來說,如果應付憑據的付款期限很近,可以提交至快速通道佇列。您可透過自訂函式輸入評估緊急程度的邏輯。
  • 工作指派 - 標籤管理員會看到 2 個優先順序不同的佇列 (如下方螢幕截圖所示),並將同一組標籤人員指派給這兩個佇列。
  • 工作優先順序 - 系統會自動處理優先順序,指派給這兩項工作的標註人員一律會先處理「快速通道」佇列中待處理的文件,再處理「標準」佇列中的文件
  • API 呼叫 - 在 ReviewDocument 中設定 priority 欄位
  • 使用者介面螢幕截圖 (標籤管理工具 UI 中的工作) UI 螢幕截圖

HITL 端點的驗證篩選器 (6 月 24 日)

  • 驗證篩選器 (在處理器中設定) 會依據信賴度分數篩選欄位,判斷要將哪些文件加入人工審查佇列,現在也會套用至提交至 HITL 端點的文件。
  • 呼叫 ReviewDocument API 時,請將 enable_schema_validation 欄位設為 true。請注意,如果設定這項屬性,且驗證結果判定文件不需要觸發人工審查,系統就會傳回 CANCELLED 錯誤。

取消 API

  • 如要取消已排入 HITL 處理佇列的文件,請針對特定作業 ID 叫用 Cancel API。[系統會為提交至 HITL 的每份文件傳回作業 ID]

         `POST https://[us|eu]-documentai.googleapis.com/{api_version}/{name=projects/*/operations/*}:cancel`
    

月結單類型 (分類審查)

  • 標籤員工作台支援審查發票類型分類。 應付憑據類型分類

佇列時間 (人機迴圈延遲服務等級目標) 報表

  • 報表會顯示排隊時間超過 18 小時和 24 小時的文件數量。這項功能適合需要管理 HITL 延遲服務等級目標期望值的使用者。 佇列等待時間報表

標籤人員平台已知網址

  • 指派給單一集區的標註者現在可以透過已知網址 https://datacompute.corp.google.com/w/ 存取工作台。萬一遺失系統或標籤管理員傳送的網址電子郵件,這項功能就能派上用場。如果標註者已指派給多個集區,則無法使用這個網址。

固定縮放設定

  • 外掛程式現在會記住標籤者的縮放設定 (全寬與全頁),以便在佇列中查看下一個文件時沿用,不必為每個文件縮放。