建立 HITL 審查的操作說明

HITL Labeler Workbench 提供「所見即所得」(WYSIWYG) 介面，可將文件實體對應至擷取的標籤，方便標籤人員比較及修正。您需要操作說明文件，指導負責加標籤的人員尋找及新增哪些標籤，以及在 Document AI 模型或 HITL 的驗證篩選器錯過標籤時該怎麼做。這種方式包括：

  • 要查看哪些標籤。
  • 欄位是否為必填或選填。
  • 任何要執行的商業邏輯
    • 正確的標籤 (例如為未指定美國的美國地址新增「美國」)。
    • 使用正確的拒絕欄位拒絕文件，例如拒絕金額超過 $10,000 美元的發票。
  • 文件中對應至架構標籤的特殊標籤名稱，因此標籤者可以新增這些標籤，例如「Client #」=「Account #」。
  • 您可以在 HITL 工作設定中將這些項目設為篩選條件。

設計優質的操作說明

優質的操作說明是取得絕佳人工標籤服務結果的最重要因素。優質的操作說明可讓標籤人員瞭解您的需求。以下是建立優質操作說明的幾項準則：

  • 標籤人員可能不具備您擁有的領域知識。您要求標籤人員區別資料的指示應淺顯易懂，讓不熟悉所需用途的人也能輕鬆瞭解。
  • 請控制操作說明的篇幅，最好能讓標籤人員在 20 分鐘內仔細閱讀並確實瞭解您的指示。
  • 操作說明必須提供所需工作的概念，以及為資料加上標籤的詳細做法。
  • 如果您的操作說明具備相對應的標籤集，則當中應涵蓋該標籤集中的所有標籤。操作說明中的標籤名稱必須與標籤集中的名稱相符。
  • 一般來說，您必須經過多次疊代才能建立優質的操作說明。建議您先為小型資料集加上標籤，再依據取得的結果修正操作說明。

一份優質的操作說明檔案必須包含下列部分：

  • 標籤清單和說明：列出所有使用的標籤，並說明每個標籤的意義。
  • 舉例：請至少為每個標籤提供三個正向樣本和一個負向樣本。這些示例應涵蓋不同的情況。
  • 涵蓋特殊案例。請儘可能說明所有邊緣情況，藉此避免標籤人員自行解讀標籤的情況。舉例來說，如果您需要繪製人物定界框，請清楚說明下列事項：
    • 如有多個人物，是否需要為每個人物繪製個別的定界框？
    • 如果人物遭到遮擋，是否需要為其繪製定界框？
    • 如果人物只有部分身體部位顯示在圖片中，是否需要為其繪製定界框？
    • 如果人物位於相片或畫作中，是否需要為其繪製定界框？
  • 請說明如何新增註解。例如：
    • 您需要較緊密還是較鬆散的定界框？
    • 以文字內容實體擷取工作來說，需要新增註解的實體範圍為何？
  • 標籤的詳細說明。如果兩個標籤相似或容易混淆，請舉例說明差異。

視覺範例

視覺化範例可協助標記者瞭解文件中不同實體的位置，以及這些實體如何對應至結構定義中擷取的標籤。在操作說明中加入視覺範例，例如：

example-instruction