이 페이지는 Cloud Translation API를 통해 번역되었습니다.

출시 노트

2022년 12월 출시

HITL 구성 스테퍼

'Human-In-The-Loop'의 'Configuration' 탭이 이제 더 쉽고 구조화된 설정 환경을 지원하기 위해 순서가 지정된 단계 쌍으로 형식이 지정됩니다. 업데이트된 HITL 구성 이제 사용자는 전문가 풀과 HITL을 트리거하는 필터 관련 설정을 구성하는 별도의 단계를 확인하고 전문가의 안내 및 결과 위치를 선택할 수 있습니다.

2022년 10월 출시

HITL 요청자 분석 대시보드

이제 인간 참여형에 전용 탭(분석)이 있어 사용자가 프로세서별 HITL 작업 상태를 분석하고 필요에 따라 변경할 수 있는 측정항목과 차트를 제공합니다.
현재 사용자가 볼 수 있는 측정항목은 세 가지입니다. 데이터는 사용자에게 다음 옵션을 제공하는 시간 범위 선택기로 집계할 수 있습니다.
선택한 각 기간에 대해 사용자는 다음을 확인할 수 있습니다.
- 집계된 통계: 대기열에 성공적으로 업로드된 총 문서 수, 전문가가 완료한 (즉, 제출되고 거부된) 총 문서 수, 선택한 기간 동안 대기열에 가장 오래된 문서가 추가된 이후의 시간을 스냅샷으로 보여줍니다.
- 인간 참여형(Human-In-The-Loop) 활동 차트: 문서가 대기열에 추가된 시간(enqueuedDocumentCount)과 전문가가 문서를 완료한 시간(completedDocumentCount)의 시계열 데이터를 보여주는 차트입니다.
- 인간 참여형(Human in the Loop) 트리거 비율: 선택한 기간 내에 인간 참여형(Human-in-the-Loop) 검토를 트리거한 업로드된 문서의 비율에 대한 시계열 데이터를 보여주는 차트입니다.

2022년 9월 출시

참고: Document AI Workbench, 구매 주문(PO), 인보이스 및 비용 프로세서를 사용하는 고객은 고객이 체크박스에 라벨을 지정하고(스키마에 정의된 경우) HITL 주석 및 검토 UI에서 중첩된 항목(예: 상위-하위 관계)을 정확하게 나타낼 수 있는 새로운 스키마에 액세스할 수 있습니다. 더 많은 프로세서가 새 스키마를 채택하면 이러한 출시 노트가 업데이트되어 이를 반영합니다.

중첩된 항목

주석 UI에서 이제 중첩된 항목의 라벨 지정이 지원됩니다. 중첩된 항목을 나타내는 중첩된 행의 새로운 디자인으로 왼쪽 패널이 새로고침됩니다. '상위' 값은 모든 '하위' 값의 연결입니다.
왼쪽 패널 엔티티 선택에 상위 및 하위 라벨이 표시됩니다.
문서 내 항목 라벨 메뉴도 새로고침되어 중첩된 항목 라벨을 지원합니다.
중첩된 라벨을 클릭하면 중첩된 하위 항목에 올바른 상위 항목을 할당하는 대화상자가 팝업됩니다.

체크박스

주석 UI는 라벨 지정 체크박스를 지원합니다. 왼쪽 패널에서 체크박스를 행에서 수정할 수 있습니다.
체크박스 수정은 항목 수정 대화상자에서도 사용할 수 있습니다.

2022년 8월 출시

엔티티 라벨 선택

엔티티 라벨 입력이 드롭다운 목록으로 대체됩니다. 이 드롭다운 목록에는 새 항목을 추가할 때 사용할 수 있는 라벨 옵션이 포함되어 있습니다. 이 변경사항은 라벨러가 오타를 입력하고 원치 않는 항목 라벨을 만드는 것을 방지하는 데 도움이 됩니다.

ISO 날짜 형식

정규화된 날짜는 ISO 8601 날짜 형식(yyyy-mm-dd)으로 표시됩니다.

2022년 7월 출시

빠른 확인 버튼

엔티티 툴팁에서 확인 버튼을 사용하여 엔티티/라벨 값을 빠르게 검토하고 확인할 수 있습니다. 사용자가 엔티티 도움말을 직접 클릭하여 수정할 수 있으므로 수정 버튼이 삭제됩니다.

2022년 1월 출시

항목 라벨 옵션

이제 엔티티 라벨 선택 옵션이 필터링된 필드 목록(HITL 필터 구성에 설정됨)으로 제한됩니다.

누락된 입력란

이제 누락된 필드 (HITL 필터 구성에서 '필수'로 표시되었지만 프로세서가 필드의 값을 예측하지 않은 필드)가 명확한 빨간색으로 표시되어 검토자가 필드의 값을 쉽게 업데이트할 수 있습니다.

무작위 완전 샘플

이제 문서의 무작위 샘플 (예: 일일 볼륨의 2%)에 대한 전체 검토 (필터링된 필드뿐만 아니라 문서의 모든 항목)가 지원됩니다. 이는 모델 드리프트와 각 필드의 프로세서 정확도에 관한 분석을 모니터링하는 데 유용합니다. Google에서는 이러한 분석을 수집하며, 이는 업트레이닝이 필요한 시점을 파악하는 데 사용됩니다. 이는 모델을 업트레이닝하기 위한 라벨이 지정된 그라운드 트루스가 포함된 데이터 세트 역할도 합니다.
고객은 볼륨에 따라 무작위 샘플(1~10%)을 선택하고 설정할 수 있습니다. 주당 100~500개의 샘플을 타겟팅하는 것이 좋습니다. 따라서 고객이 주당 10,000개의 문서를 처리하는 경우 500/10000 = 5%로 설정할 수 있습니다.

신규 사용자를 위한 간소화된 HITL 구성

처음으로 HITL을 사용하는 고객이 작업을 빠르게 구성하고, 전문가를 할당하고, 단일 화면에서 실행하여 생산량을 늘리거나 운영을 아웃소싱하기 전에 빠르게 사용해 볼 수 있도록 BYOL HITL 구성을 간소화했습니다.
아래 스크린샷과 같이 사용자가 풀의 기본 관리자가 되며, 동일한 화면에서 추가 전문가를 추가할 수 있습니다. 추가된 모든 전문가는 작업에 자동으로 할당됩니다.
- 이전에는 할당된 관리자에게 관리 콘솔 링크가 이메일로 전송되어 관리자가 전문가를 추가하고 전문가에게 작업을 할당했습니다.
- 작업을 제출하면 할당된 전문가 (및 기타 전문가)가 HITL 앱으로 이동하여 문서를 검토할 수 있습니다.
- 사용자는 테스트 문서를 작업 대기열에 한 번에 하나씩 업로드할 수도 있습니다.

후행 줄바꿈 삭제

엔티티.mentionText에서 후행 줄바꿈('\n')이 삭제됩니다.

2021년 12월 출시

신뢰도 점수가 낮은 항목을 상단으로 정렬

이제 신뢰도 점수가 낮은 항목 (즉, 신뢰도 기준점 미만의 항목)이 페이지 상단에 정렬되어 전문가가 이러한 항목에 집중할 수 있습니다. 이를 통해 라벨 지정의 효율성을 더욱 높일 수 있습니다.

BYOL 작업에 대한 안내(선택사항)

HITL 작업을 구성하기 위해 업로드하는 PDF 안내가 이제 선택사항입니다. 이를 통해 전문가에게 안내 가이드가 필요하지 않은 테스트 및 빠른 내부 출시가 간소화됩니다.

너비에 맞춤 및 페이지 높이에 맞춤 옵션

페이지를 너비 또는 높이에 맞추는 버튼 이는 전문가가 작업에 다양한 크기의 문서 (예: 영수증)를 보유한 경우에 유용합니다.

전문가 UI에 표시되는 작업 이름

이제 전문가가 여러 작업에 할당된 경우에 매우 유용한 작업 및 문서 유형에 관한 추가 컨텍스트를 제공하기 위해 작업 이름이 전문가 UI에 표시됩니다.
이는 이 출시 버전 이후에 시작된 새 프로세서에 표시됩니다.

전문가 검색창

전문가는 문서에서 항목/텍스트를 검색할 수 있습니다. 이는 특히 대규모 다중 페이지 문서에 유용하며 전문가의 생산성을 높여줍니다.

2021년 9월 출시

전환하여 모든 필드 표시

라벨러는 대기열에 있는 특정 문서의 필터링된 엔티티 집합에 없는 필드를 검토하고 업데이트해야 할 수 있습니다. 모든 예측 표시 옵션을 전환하여 라벨러가 필터링되지 않은 필드를 검토할 수 있습니다.

양식 파서의 HITL

이제 HITL에서 양식 파서를 지원하므로 사용자가 양식 파서로 추출된 키-값 쌍을 검토하고 수정할 수 있습니다. 고객은 DocAI 플랫폼의 양식 파서 프로세서에서 HITL을 사용 설정하고 HITL 검토를 위해 필터링할 키 이름을 구성할 수 있습니다 (아래 스크린샷 참고). HITL 출력이 HITL 검토가 완료된 후 고객이 지정한 Google Cloud Storage 버킷에 JSON 파일로 저장됩니다.
HITL 필터가 모든 키 이름 변형이 있는 문서를 포착하여 HITL 검토를 위해 전송할 수 있도록 쉼표로 구분된 대체 키 이름(예: 'customer, customer name, client, account #, account number')을 지정할 수 있습니다.

2021년 8월 출시

감사/QA 파이프라인

이제 HITL을 통해 2단계 QA 또는 감사 단계를 진행하고 검토 작업 (및 라벨러)의 정확성을 보고할 수 있습니다. 품질 보증팀 또는 감사자를 작업의 '전문가 라벨러'로 할당할 수 있습니다. QA팀/감사자는 검토된 문서의 X%(예: 1~100%, 고객이 구성 가능)를 수신합니다. 감사자는 검토자의 출력을 수정할 수 있습니다. 시스템은 수정사항을 추적하고 감사된 각 문서에 정확도 점수 (예: 90%)를 할당합니다. 작업 또는 라벨러의 집계 정확성 점수는 각각 작업 및 라벨러 분석 대시보드에 보고됩니다.
감사 파이프라인 구성에 관한 자세한 안내는 여기를 참고하세요.
감사자 지정
보고 정확도

대출 AI 파서 (8월 15일)

이제 1040, 1040 Schedule E, 1040 schedule C, 1099 DIV, 1099 G, 1099 INT, 1099 MISC, 급여 명세서, 은행 명세서, W2, W9, 1120, 1120S, 1065, SSA-1099, 1099 NEC, 1099-R을 비롯한 일부 대출 AI 파서에서 HITL이 지원됩니다.

2021년 7월 출시

표준 대기열과 긴급 대기열 비교 (7월 2일)

이제 각 문서의 긴급성에 따라 프로세서당 2개의 우선순위 대기열 (대기열 1개)이 지원됩니다.
제출 - 예측 후 추출된 문서의 긴급성을 평가하고 문서의 긴급성에 따라 2개의 대기열 (표준 대기열과 긴급/패스트트랙 대기열)에 제출할 수 있습니다. 예를 들어 마감일이 임박한 인보이스는 패스트트랙 대기열에 제출할 수 있습니다. 긴급성을 평가하는 로직은 현재 HITL 외부에 있으며 맞춤 함수일 수 있습니다.
작업 할당 - 라벨링 관리자는 아래 스크린샷과 같이 우선순위가 다른 두 개의 대기열을 확인하고 두 대기열에 동일한 라벨러 그룹을 할당할 수 있습니다.
작업 우선순위 지정 - 두 작업에 모두 할당된 라벨러는 항상 표준 대기열을 처리하기 전에 패스트트랙 대기열의 대기 중인 문서를 먼저 처리합니다 (즉, 대기열 우선순위는 시스템에서 자동으로 처리됨).
API 호출 - ReviewDocument에서 priority 필드 설정
UI 스크린샷 (라벨링 관리자 UI의 작업) -

2021년 6월 출시

HITL 엔드포인트의 유효성 검사 필터 (6월 24일)

이제 신뢰도 점수로 필드를 필터링하여 사람의 검토를 위해 대기열에 추가할 문서를 결정하는 검증 필터 (프로세서에서 구성됨)가 HITL 엔드포인트에 제출된 문서에도 적용됩니다.
ReviewDocument API를 호출할 때 enable_schema_validation 필드를 true로 설정합니다.
이 값이 설정되어 있고 검증에서 문서가 사람의 검토를 트리거할 필요가 없다고 판단하면 CANCELLED 오류가 반환됩니다.

API 취소

고객은 특정 작업 ID에 대해 Cancel API를 호출하여 HITL 처리를 위해 대기열에 추가된 문서를 취소할 수 있습니다. HITL에 제출된 각 문서에 대해 작업 ID가 반환됩니다.
```
`POST https://[us|eu]-documentai.googleapis.com/{api_version}/{name=projects/*/operations/*}:cancel`
```

인보이스 유형 (분류 검토)

라벨러 워크벤치는 인보이스 유형 분류 검토를 지원합니다.

대기 시간 (HITL 지연 시간 SLO) 보고서

보고서에는 18시간 초과 및 24시간 초과 동안 대기열에 추가된 문서 수가 표시됩니다. 이는 HITL 지연 시간의 SLO 기대치를 관리해야 하는 사용자에게 유용합니다.

라벨러 워크벤치의 알려진 URL

이제 단일 풀에 할당된 라벨러는 알려진 URL에서 워크벤치에 액세스할 수 있으며, 시스템 또는 라벨링 관리자가 이메일 알림으로 보낸 알 수 없는 URL을 찾을 필요가 없습니다. 이 URL은 여러 풀에 할당된 라벨러에게는 작동하지 않습니다.

고정 확대/축소 설정

이제 플러그인에서 대기열의 다음 문서 검토를 위해 라벨러의 확대/축소 설정 (전체 너비 대 전체 페이지)을 기억하므로 모든 문서에 대해 확대/축소할 필요가 없습니다.