프로젝트당 단일 라벨러 풀 - BYOL 시나리오에서 HITL 설정 UI는 각 프로세서에 대해 새 라벨러 풀을 만드는 것을 지원하지만, 간단하게 유지하기 위해 프로젝트의 모든 프로세서에서 단일 라벨러 풀을 사용하는 것이 좋습니다. 여러 라벨러 풀의 사용자가 동일한 작업에 할당될 수 있으며 라벨러 풀을 작업에 할당해도 라벨링 관리자가 다른 라벨러를 해당 작업에 할당하는 것을 제한하지 않기 때문입니다.
여러 작업/문서 유형 - 단일 문서 유형을 처리하는 데 여러 작업이 필요할 수 있습니다. 다음 시나리오에서는 이 작업이 필요합니다.
동일한 문서의 서로 다른 필드를 검토/검증하는 데 필요한 기술이나 사용자 인증 정보가 서로 다른 라벨러
필드가 다른 문서 (예: 공급업체가 다른 인보이스)는 유효성을 검사하는 데 다른 스키마가 필요할 수 있으므로 다른 작업으로 라우팅해야 합니다.
여러 고객의 문서에는 서로 다른 라벨러 풀이 작업합니다 (예: 여러 고객, 언어 또는 국가의 인보이스).
이 시나리오에서는 프로세서와 작업을 여러 개 만들어 문서를 적절한 작업에 게시하는 것이 좋습니다. [이러한 문서를 분류하고 올바른 프로세서에 게시하려면 분류기가 필요할 수 있습니다.]
검토 시간과 비용을 절약하기 위해 검토를 필수 필드로 제한 (페이지의 모든 추출된 필드와 비교) - 대답 시간/페이지는 검토할 필드 수에 따라 확장됩니다. Google 라벨러 비용은 검토된 필드 수를 기준으로 합니다. 따라서 검토할 필드를 다운스트림 비즈니스 프로세스에서 사용되는 필드로 제한하는 것이 좋습니다.
예를 들어 인보이스에는 30개 이상의 필드가 있을 수 있지만 인보이스 결제에 중요한 필드 4~5개로만 검토를 제한할 수 있습니다.
HITL 지원 프로세서 이름 지정 - HITL 작업 이름은 프로세서 이름과 동일합니다. 라벨 지정 관리자와 라벨 지정자가 이해할 수 있고 작업할 다른 작업과 쉽게 구분되는 이름을 사용하는 것이 좋습니다.
작업 우선순위 지정 - 라벨러가 여러 작업에 할당된 경우 순차적으로 처리합니다. 라벨러가 고객 에스컬레이션에 응답하거나 SLO를 충족하기 위해 작업을 전환해야 하는 경우 라벨링 관리자는 라벨링 관리자 콘솔의 할당 탭을 사용하여 현재 작업을 할당 해제하고 우선순위가 높은 작업을 라벨러에게 할당해야 합니다.
콘솔의 라벨러 X 작업 그리드 (아래 참고)를 사용하면 라벨링 관리자가 다양한 작업에 대한 모든 라벨러 할당을 확인하고 작업 우선순위를 지원하기 위해 어떤 라벨러가 어떤 작업을 수행하는지 미세 조정할 수 있습니다.
유효성 검사 필터 설정
거부된 문서 - 문서의 거부 상태와 이유 코드[예: 문서 유형이 다름, 위조, 빛, 흐림, 가장자리 잘림 등] 가 문서 JSON 파일 (모든 변경사항의 경우 TextChange 생성, 거부 이유의 경우 HumanReview)에 캡처되어 구성된 Cloud Storage 버킷에 출력됩니다. 이 메타데이터를 사용하여 거부된 문서를 구분하는 것이 좋습니다.
대량 문서 수집 처리 - 현재 할당량은 분당 온라인 문서 요청 600개와 최대 5개의 동시 오프라인 (일괄) 요청으로 제한되며 각 요청은 최대 50개의 문서를 처리합니다. 이 시스템은 시간당 36,000개의 온라인 요청과 최대 15,000개의 오프라인 (일괄) 문서 요청을 처리할 수 있습니다[각 일괄 처리에서 최대 50개의 문서를 처리하므로]. 더 많은 볼륨이 필요한 경우 지원팀에 문의하세요.
사람의 유효성 검사 비용 및 시간 관리: 자체 라벨러 또는 Google 라벨러를 사용하는지 여부에 관계없이 사람이 수행하는 유효성 검사는 비용이 많이 들 수 있습니다. 페이지당 소요 시간은 검토된 필드 수에 따라 확장됩니다. Google Workforce(비공개 미리보기)는 검토된 라벨별로 요금이 청구됩니다. 확인하고 수정해야 하는 중요 필드로 HITL을 제한하여 검토 노력과 비용을 관리할 수 있습니다. 이렇게 하려면 사람의 검토 구성 화면에서 라벨 수준 검증 필터를 사용합니다.
엔터프라이즈 사용자 인증 정보로 싱글 사인온 액세스 - 라벨러 워크벤치 및 라벨링 관리자 콘솔은 Google Workspace 또는 Gmail 사용자 인증 정보를 지원합니다. 엔터프라이즈 사용자 인증 정보로 싱글 사인온이 필요한 경우 라벨러 인력을 위한 기본 Google Workforce 계정을 만드세요. Google Workforce는 SAML을 지원하며 엔터프라이즈 사용자 인증 정보로 라벨러 워크벤치 또는 라벨링 관리자 콘솔에 로그인하도록 SSO 제공업체를 구성할 수 있습니다.
알려진 제한사항 및 해결 방법
다음은 알려진 제한사항과 가능한 해결 방법입니다. 현재 제한사항을 해결하기 위해 노력하고 있습니다.
경계 상자가 텍스트를 포착해야 함 - HITL을 사용하여 학습용 문서를 주석 처리하는 경우 그려진 경계 상자가 OCR을 감지해야 합니다. 값은 비워 둘 수 없습니다. 값을 수동으로 입력해도 이 문제가 해결되지 않습니다.
VPC-SC - HITL 프로젝트에서 VPC-SC가 활성화된 고객은 HITL 검토에 Google 라벨러를 사용하지 못할 수 있습니다.
검토 후 지연 시간 - 문서가 검토된 후 사전 구성된 Cloud Storage 폴더에 저장되기까지 최대 30분이 걸릴 수 있습니다.
10페이지 한도 - HITL 검토는 인보이스의 경우 10페이지로 제한됩니다. 10페이지를 초과하는 인보이스는 HITL 검토를 위해 전송되지 않습니다.
단일 라벨러 워크플로 - 현재 워크플로 작업이 단일 라벨러 검토로 제한됩니다. 문서를 여러 검토자가 검토해야 하는 경우 (품질 보증, 사기 방지 등) 검토된 문서를 '프로세서 건너뛰기, HITL 검토를 위해 모든 문서 전송' 모드의 두 번째 프로세서에 업로드하여 검토를 받으세요.
라벨링 풀의 라벨링 관리자 수정 - BYOL 작업에서는 라벨링 풀이 생성된 후에는 라벨링 풀에 라벨링 관리자를 추가하거나 삭제할 수 없습니다. 해결 방법: 새 라벨 지정 풀을 만들 때
태스크가 완료되기 전에 한 명의 라벨링 관리자가 퇴사하는 경우 다른 라벨링 관리자가 풀 및 태스크 할당을 관리할 수 있도록 라벨링 관리자를 2명 이상 할당하세요.
라벨링 관리자 UI에서 라벨러 또는 작업 분석 대시보드를 확인해야 하는 사용자는 풀을 만들 때 풀 관리자로 추가해야 합니다.
작업 취소 - 작업이 시작되면 취소할 수 없습니다. 라벨링 관리자가 라벨링 관리자 콘솔에서 작업을 일시중지하거나 작업에서 라벨러를 할당 해제하는 것이 해결 방법입니다.
클릭 한 번으로 전체 라벨러 풀에 태스크 할당 - 현재 지원되지 않지만 곧 지원될 예정입니다. 해결 방법은 모든 라벨러를 선택하고 작업을 할당하는 것입니다.
Google Workspace 계정이 있는 BYOL 라벨러 - BYOL 라벨링 관리자와 라벨러에게 Google Workspace 계정이 있는 경우 Google Workspace 관리자가 라벨링 관리자 콘솔 및 라벨러 워크벤치에 대한 액세스를 사용 설정하려면 Google 서비스 페이지 하단의 '기타 서비스'를 사용 설정해야 할 수 있습니다 (아래 스크린샷 참고).
[[["이해하기 쉬움","easyToUnderstand","thumb-up"],["문제가 해결됨","solvedMyProblem","thumb-up"],["기타","otherUp","thumb-up"]],[["이해하기 어려움","hardToUnderstand","thumb-down"],["잘못된 정보 또는 샘플 코드","incorrectInformationOrSampleCode","thumb-down"],["필요한 정보/샘플이 없음","missingTheInformationSamplesINeed","thumb-down"],["번역 문제","translationIssue","thumb-down"],["기타","otherDown","thumb-down"]],["최종 업데이트: 2025-09-04(UTC)"],[[["\u003cp\u003eDocument AI Human-in-the-Loop (HITL) is being deprecated and will no longer be available on Google Cloud after January 16, 2025, with new customers not being allowlisted.\u003c/p\u003e\n"],["\u003cp\u003eIt's recommended to use a single labeler pool across all processors in a project for simplicity, despite the ability to create multiple pools.\u003c/p\u003e\n"],["\u003cp\u003eMultiple tasks and processors may be necessary for a single document type when different skills, schemas, or labeler pools are required, and a classifier may be used to route documents correctly.\u003c/p\u003e\n"],["\u003cp\u003eReview time and costs can be optimized by limiting the review to only the essential fields needed for downstream processes, as the time spent per page scales with the number of fields reviewed.\u003c/p\u003e\n"],["\u003cp\u003eHITL has limitations, including a maximum of 10 pages for invoice review, a single-labeler workflow, and post-review latency of up to 30 minutes for document deposit.\u003c/p\u003e\n"]]],[],null,["# Best Practices and Known Limitations\n====================================\n\n\n| **Caution** : Document AI Human-in-the-Loop is deprecated and will no longer be available on Google Cloud after January 16, 2025. New customers are not allowlisted. If you want to use (HITL) but don't see the option available, contact your Google Account team. \n|\n| To implement a human review and correction solution that meets your requirements, we recommend working with a Google Cloud certified partner like Devoteam, Searce, or Quantiphi. See [Deprecations](/document-ai/docs/deprecation) for details.\n\n\u003cbr /\u003e\n\n\n| **Note** : This product is subject to the [Data Processing and Security Terms](/terms/data-processing-terms).\n\n\u003cbr /\u003e\n\nBest Practices\n--------------\n\n- **Single Labeler pool per project** - In the BYOL scenario, although the HITL Setup UI supports creating new labeler pools for each processor, it is recommended to use a single labeler pool across all processors in a project to keep things simple. This is because users from multiple labeler pools can still be assigned to the same task, and assigning a labeler pool to a task doesn't restrict the Labeling Manager from assigning other labelers to that task.\n- **Multiple tasks/document-type** - Multiple tasks may be required to process a single document-type. This is required in the following scenarios:\n - Labelers with different skills or credentials required to review/validate different fields of the same document.\n - Documents with different fields (e.g. invoices from different vendors) may need different schema to be validated, hence need to be routed to different tasks.\n - Documents from different customers have different labeler pools working on them (e.g. invoices from different customers, languages or countries).\n In this scenario, we recommend creating multiple processors (and tasks) and posting the documents to the appropriate task. \\[A classifier may be required to classify these documents and post to the correct processor\\].\n- **Limit Review to the fields required (vs all extracted fields on page), to save Review time and cost** - The Answer time/page scales with the number of fields to be reviewed. The Google labeler costs are based on the # of fields reviewed. Therefore it is recommended to limit the fields to be reviewed to the ones used in downstream business process.\n - For example, an Invoice might have 30+ fields but you may want to limit Review to only 4-5 fields that are important for settling the invoice.\n- **Naming HITL-enabled Processors** - The HITL task name is the same as the processor name. It is recommended to use a name that is understood by the labeling managers and labelers, and easily distinguished from other tasks they would be working on.\n- **Prioritizing Tasks** - If a labeler is assigned to multiple tasks, they process these sequentially. If a labeler needs to switch tasks (e.g. to respond to a customer escalation or meet an SLO), the Labeling Manager should un-assign the current task and assign the High Priority task to the labeler(s) using the Assignments tab in the Labeling Manager Console.\n - The Labelers X Tasks grid in the Console (shown below) allows the Labeling Manager to see all the labeler assignments to various tasks and to fine-tune which labeler works on which task in order to support the task priorities.\n- **Setting Validation Filters**\n- **Rejected documents** - Rejected state of the document along with the Reason code \\[e.g. different doc-type, forged, glare, blurry, edge cut off, etc\\] is captured in the Document JSON files ([TextChange](/document-ai/docs/reference/rest/v1beta3/Document#textchange) construct for all changes, [HumanReview](/document-ai/docs/reference/rest/v1beta3/Document#humanreview) for reject reason), output in the configured Cloud Storage bucket. It is recommended to use this metadata to separate the rejected documents.\n- **Handling large document ingest volume** - Current [quotas](https://cloud.google.com/document-ai/quotas) limit 600 online document requests/minute and upto 5 concurrent offline (batch) requests, each handling upto 50 documents. This is expected to handle 36000 online requests/hour and upto 15000 offline (batch) document requests/hour \\[since each batch handles upto 50 documents\\]. If higher volumes are required, please contact Support.\n- **Managing human validation costs and time** - Human validation can get expensive, whether you use your own labelers or Google labelers. The time spent per page scales with the # of fields reviewed. Google Workforce (in Private Preview) is billed per label reviewed. You can control your review effort and cost by limiting HITL to the important fields that need to be verified and corrected. To do so, use the Label-level Validation filters in the Human Review configuration screen.\n- **Single Sign-on access with Enterprise credentials** - The Labeler Workbench and Labeling Manager Console support Google Workforce or Gmail credentials. If single sign-on with enterprise credentials is required, please create Basic Google Workforce accounts for your labeler workforce. Google Workforce supports SAML and you can configure your SSO provider to sign onto the Labeler Workbench or Labeling Manager Console with enterprise credentials.\n\nKnown Limitations and Workarounds\n---------------------------------\n\nFollowing are some known limitations and possible workarounds. We are currently addressing the limitations.\n\n- **The bounding box must capture some text** - If HITL is used to annotate documents for training, any bounding box drawn must detect some OCR. The value should not be empty. Manually entering a value does not fix this issue.\n- **VPC-SC** - Customers with VPC-SC activated in their HITL project may not be able to use Google labelers for HITL Review.\n- **Post-review Latency** - After a document is reviewed, it may take up to 30 minutes for it to be deposited in the pre-configured Cloud Storage folder.\n- **10 page limit** - HITL review is limited to 10 pages for Invoices. Invoices larger than 10 pages are not sent for HITL review.\n- **Single-labeler workflow** - The current workflow tasks are limited to a single labeler review. If the document needs to be reviewed by multiple reviewers (for QA, fraud prevention etc), please upload the reviewed documents to a second processor in the mode \"Skip processor, send all docs for HITL Review\", so they are reviewed.\n- **Edit Labeling Managers of Labeling pool** - In BYOL tasks, labeling managers cannot be added or removed to a labeling pool once it's created. Workaround: When creating a new labeling pool,\n - Please assign more than 1 labeling managers, so that if one leaves before the task completes, the other(s) can manage the pool and task assignments.\n - Individuals that need to view the labeler or task analytics dashboards in the Labeling Manager UI should be added as Pool Managers when creating the pool.\n- **Canceling a Task** - Once started, a task cannot be cancelled. The work-around is for the Labeling Manager to pause the task or unassign labelers from the task in the Labeling Manager Console.\n- **Assigning a Task to an entire Labeler Pool in a single click** - isn't currently supported but will be supported shortly. The work-around is to select all the labelers and assigning the task to them.\n- **BYOL Labelers with Google Workspace accounts** - If BYOL labeling managers and labelers have Google Workspace accounts, the Google Workspace Admin may need to enable \"Other Services\" at the bottom of the Google Services page (screenshots below), in order to enable access to the Labeling Manager Console and Labeler Workbench."]]
