Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Best Practices
Ein Labeler-Pool pro Projekt: Im BYOL-Szenario wird zwar in der HITL-Einrichtungs-UI das Erstellen neuer Labeler-Pools für jeden Prozessor unterstützt, es wird jedoch empfohlen, einen einzelnen Labeler-Pool für alle Prozessoren in einem Projekt zu verwenden, um die Dinge einfach zu halten. Das liegt daran, dass Nutzer aus mehreren Labeler-Pools derselben Aufgabe zugewiesen werden können. Wenn Sie einer Aufgabe einen Labeler-Pool zuweisen, wird der Labeling Manager nicht daran gehindert, andere Labeler dieser Aufgabe zuzuweisen.
Mehrere Aufgaben/Dokumenttyp: Für die Verarbeitung eines einzelnen Dokumenttyps können mehrere Aufgaben erforderlich sein. Dies ist in den folgenden Szenarien erforderlich:
Labelersteller mit unterschiedlichen Fähigkeiten oder Anmeldedaten, die zum Überprüfen/Validieren verschiedener Felder desselben Dokuments erforderlich sind.
Für Dokumente mit unterschiedlichen Feldern (z. B. Rechnungen von verschiedenen Anbietern) ist möglicherweise ein anderes Schema für die Validierung erforderlich. Daher müssen sie an unterschiedliche Aufgaben weitergeleitet werden.
Für Dokumente von verschiedenen Kunden sind unterschiedliche Labeler-Pools zuständig (z.B. Rechnungen von verschiedenen Kunden, in verschiedenen Sprachen oder aus verschiedenen Ländern).
In diesem Szenario empfehlen wir, mehrere Prozessoren (und Aufgaben) zu erstellen und die Dokumente an die entsprechende Aufgabe zu senden. [Möglicherweise ist ein Klassifikator erforderlich, um diese Dokumente zu klassifizieren und an den richtigen Prozessor zu senden.]
Überprüfung auf die erforderlichen Felder beschränken (im Gegensatz zu allen extrahierten Feldern auf der Seite), um Zeit und Kosten für die Überprüfung zu sparen: Die Antwortzeit pro Seite hängt von der Anzahl der zu überprüfenden Felder ab. Die Kosten für die Google-Kennzeichnung basieren auf der Anzahl der überprüften Felder. Daher wird empfohlen, die zu überprüfenden Felder auf diejenigen zu beschränken, die im nachgelagerten Geschäftsprozess verwendet werden.
Eine Rechnung kann beispielsweise mehr als 30 Felder enthalten, aber Sie möchten die Überprüfung möglicherweise auf 4–5 Felder beschränken, die für die Begleichung der Rechnung wichtig sind.
HITL-fähige Prozessoren benennen: Der Name der HITL-Aufgabe entspricht dem Namen des Prozessors. Es wird empfohlen, einen Namen zu verwenden, der für die Labeling-Manager und Labelersteller verständlich ist und sich leicht von anderen Aufgaben unterscheidet, an denen sie arbeiten.
Aufgaben priorisieren: Wenn einem Labelersteller mehrere Aufgaben zugewiesen sind, werden diese nacheinander bearbeitet. Wenn ein Labeler die Aufgabe wechseln muss (z.B. um auf eine Kundeneskalierung zu reagieren oder ein SLO einzuhalten), sollte der Labeling Manager die aktuelle Aufgabe über den Tab „Assignments“ (Zuweisungen) in der Labeling Manager Console entfernen und die Aufgabe mit hoher Priorität dem Labeler zuweisen.
In der Console können Labeling Manager im Raster „Labeler × Aufgaben“ (siehe unten) alle Labeler-Zuweisungen für verschiedene Aufgaben sehen und festlegen, welcher Labeler an welcher Aufgabe arbeitet, um die Aufgabenprioritäten zu berücksichtigen.
Validierungsfilter festlegen
Abgelehnte Dokumente: Der abgelehnte Status des Dokuments sowie der Grundcode (z. B. anderer Dokumenttyp, gefälscht, Blendung, unscharf, abgeschnittener Rand usw.) werden in den JSON-Dokumentdateien erfasst (TextChange-Konstrukt für alle Änderungen, HumanReview für den Ablehnungsgrund) und im konfigurierten Cloud Storage-Bucket ausgegeben. Es wird empfohlen, diese Metadaten zu verwenden, um die abgelehnten Dokumente zu trennen.
Verarbeiten großer Mengen von Dokumenten: Die aktuellen Kontingente begrenzen die Anzahl der Online-Dokumentanfragen auf 600 Anfragen pro Minute und die Anzahl der gleichzeitigen Offline- (Batch-)Anfragen auf 5, wobei jede Anfrage bis zu 50 Dokumente verarbeiten kann. Es wird erwartet, dass 36.000 Onlineanfragen/Stunde und bis zu 15.000 Offline-Dokumentanfragen (Batchanfragen)/Stunde verarbeitet werden können [da jeder Batch bis zu 50 Dokumente umfasst]. Wenn Sie ein höheres Volumen benötigen, wenden Sie sich bitte an den Support.
Kosten und Zeit für die manuelle Überprüfung verwalten: Die manuelle Überprüfung kann teuer werden, unabhängig davon, ob Sie Ihre eigenen Labelersteller oder Google-Labelersteller verwenden. Die für die einzelnen Seiten aufgewendete Zeit hängt von der Anzahl der überprüften Felder ab. Google Workforce (in der privaten Vorschau) wird pro geprüftem Label in Rechnung gestellt. Sie können die Prüfung und Kosten im Blick behalten, indem Sie die Funktion auf die wichtigsten Felder beschränken, die überprüft und korrigiert werden müssen. Verwenden Sie dazu die Validierungsfilter auf Labelebene auf dem Bildschirm für die manuelle Überprüfung.
Single Sign-on-Zugriff mit Enterprise-Anmeldedaten: Die Labeler Workbench und die Labeling Manager Console unterstützen Google Workforce- oder Gmail-Anmeldedaten. Wenn eine Einmalanmeldung mit Anmeldedaten des Unternehmens erforderlich ist, erstellen Sie bitte Basic Google Workforce-Konten für Ihre Labeler. Google Workforce unterstützt SAML. Sie können Ihren SSO-Anbieter so konfigurieren, dass er sich mit Unternehmensanmeldedaten in der Labeler Workbench oder Labeling Manager Console anmeldet.
Bekannte Einschränkungen und Problemumgehungen
Im Folgenden finden Sie einige bekannte Einschränkungen und mögliche Problemumgehungen. Wir arbeiten derzeit daran, die Einschränkungen zu beheben.
Der Begrenzungsrahmen muss Text enthalten: Wenn HITL zum Annotieren von Dokumenten für das Training verwendet wird, muss jeder gezeichnete Begrenzungsrahmen OCR-Ergebnisse enthalten. Der Wert darf nicht leer sein. Wenn Sie einen Wert manuell eingeben, wird das Problem nicht behoben.
VPC-SC: Kunden, die VPC-SC in ihrem HITL-Projekt aktiviert haben, können möglicherweise keine Google-Labeler für die HITL-Überprüfung verwenden.
Latenz nach der Überprüfung: Nachdem ein Dokument überprüft wurde, kann es bis zu 30 Minuten dauern, bis es im vorkonfigurierten Cloud Storage-Ordner abgelegt wird.
Limit von 10 Seiten: Die HITL-Prüfung ist bei Rechnungen auf 10 Seiten begrenzt. Rechnungen mit mehr als 10 Seiten werden nicht zur manuellen Überprüfung gesendet.
Workflow mit einem einzelnen Labeler: Die aktuellen Workflow-Aufgaben sind auf eine einzelne Labeler-Überprüfung beschränkt. Wenn das Dokument von mehreren Prüfern überprüft werden muss (z. B. zur Qualitätssicherung oder zur Betrugsprävention), laden Sie die geprüften Dokumente in einen zweiten Prozessor im Modus „Prozessor überspringen, alle Dokumente zur manuellen Überprüfung senden“ hoch, damit sie überprüft werden.
Labeling-Administratoren des Labeling-Pools bearbeiten: Bei BYOL-Aufgaben können Labeling-Administratoren einem Labeling-Pool nach der Erstellung nicht mehr hinzugefügt oder daraus entfernt werden. Problemumgehung: Wenn Sie einen neuen Labeling-Pool erstellen,
Weisen Sie mehr als einen Labeling-Manager zu, damit die anderen den Pool und die Aufgabenzuweisungen verwalten können, falls einer vor Abschluss der Aufgabe ausscheidet.
Personen, die die Dashboards für Labeler- oder Aufgabenanalysen in der Labeling Manager-Benutzeroberfläche aufrufen müssen, sollten beim Erstellen des Pools als Pool-Manager hinzugefügt werden.
Aufgabe abbrechen: Eine Aufgabe kann nach dem Start nicht mehr abgebrochen werden. Der Labeling Manager kann die Aufgabe in der Labeling Manager Console pausieren oder die Labeler von der Aufgabe entfernen.
Aufgabe mit einem einzigen Klick einem gesamten Labeler-Pool zuweisen: Diese Funktion wird derzeit nicht unterstützt, ist aber in Kürze verfügbar. Als Workaround können Sie alle Labeler auswählen und ihnen die Aufgabe zuweisen.
BYOL-Labeler mit Google Workspace-Konten: Wenn BYOL-Labeling-Manager und ‑Labeler Google Workspace-Konten haben, muss der Google Workspace-Administrator möglicherweise „Andere Dienste“ unten auf der Seite „Google-Dienste“ aktivieren (siehe Screenshots unten), um den Zugriff auf die Labeling Manager Console und die Labeler Workbench zu ermöglichen.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-09-04 (UTC)."],[[["\u003cp\u003eDocument AI Human-in-the-Loop (HITL) is being deprecated and will no longer be available on Google Cloud after January 16, 2025, with new customers not being allowlisted.\u003c/p\u003e\n"],["\u003cp\u003eIt's recommended to use a single labeler pool across all processors in a project for simplicity, despite the ability to create multiple pools.\u003c/p\u003e\n"],["\u003cp\u003eMultiple tasks and processors may be necessary for a single document type when different skills, schemas, or labeler pools are required, and a classifier may be used to route documents correctly.\u003c/p\u003e\n"],["\u003cp\u003eReview time and costs can be optimized by limiting the review to only the essential fields needed for downstream processes, as the time spent per page scales with the number of fields reviewed.\u003c/p\u003e\n"],["\u003cp\u003eHITL has limitations, including a maximum of 10 pages for invoice review, a single-labeler workflow, and post-review latency of up to 30 minutes for document deposit.\u003c/p\u003e\n"]]],[],null,["| **Caution** : Document AI Human-in-the-Loop is deprecated and will no longer be available on Google Cloud after January 16, 2025. New customers are not allowlisted. If you want to use (HITL) but don't see the option available, contact your Google Account team. \n|\n| To implement a human review and correction solution that meets your requirements, we recommend working with a Google Cloud certified partner like Devoteam, Searce, or Quantiphi. See [Deprecations](/document-ai/docs/deprecation) for details.\n\n\u003cbr /\u003e\n\n\n| **Note** : This product is subject to the [Data Processing and Security Terms](/terms/data-processing-terms).\n\n\u003cbr /\u003e\n\nBest Practices\n\n- **Single Labeler pool per project** - In the BYOL scenario, although the HITL Setup UI supports creating new labeler pools for each processor, it is recommended to use a single labeler pool across all processors in a project to keep things simple. This is because users from multiple labeler pools can still be assigned to the same task, and assigning a labeler pool to a task doesn't restrict the Labeling Manager from assigning other labelers to that task.\n- **Multiple tasks/document-type** - Multiple tasks may be required to process a single document-type. This is required in the following scenarios:\n - Labelers with different skills or credentials required to review/validate different fields of the same document.\n - Documents with different fields (e.g. invoices from different vendors) may need different schema to be validated, hence need to be routed to different tasks.\n - Documents from different customers have different labeler pools working on them (e.g. invoices from different customers, languages or countries).\n In this scenario, we recommend creating multiple processors (and tasks) and posting the documents to the appropriate task. \\[A classifier may be required to classify these documents and post to the correct processor\\].\n- **Limit Review to the fields required (vs all extracted fields on page), to save Review time and cost** - The Answer time/page scales with the number of fields to be reviewed. The Google labeler costs are based on the # of fields reviewed. Therefore it is recommended to limit the fields to be reviewed to the ones used in downstream business process.\n - For example, an Invoice might have 30+ fields but you may want to limit Review to only 4-5 fields that are important for settling the invoice.\n- **Naming HITL-enabled Processors** - The HITL task name is the same as the processor name. It is recommended to use a name that is understood by the labeling managers and labelers, and easily distinguished from other tasks they would be working on.\n- **Prioritizing Tasks** - If a labeler is assigned to multiple tasks, they process these sequentially. If a labeler needs to switch tasks (e.g. to respond to a customer escalation or meet an SLO), the Labeling Manager should un-assign the current task and assign the High Priority task to the labeler(s) using the Assignments tab in the Labeling Manager Console.\n - The Labelers X Tasks grid in the Console (shown below) allows the Labeling Manager to see all the labeler assignments to various tasks and to fine-tune which labeler works on which task in order to support the task priorities.\n- **Setting Validation Filters**\n- **Rejected documents** - Rejected state of the document along with the Reason code \\[e.g. different doc-type, forged, glare, blurry, edge cut off, etc\\] is captured in the Document JSON files ([TextChange](/document-ai/docs/reference/rest/v1beta3/Document#textchange) construct for all changes, [HumanReview](/document-ai/docs/reference/rest/v1beta3/Document#humanreview) for reject reason), output in the configured Cloud Storage bucket. It is recommended to use this metadata to separate the rejected documents.\n- **Handling large document ingest volume** - Current [quotas](https://cloud.google.com/document-ai/quotas) limit 600 online document requests/minute and upto 5 concurrent offline (batch) requests, each handling upto 50 documents. This is expected to handle 36000 online requests/hour and upto 15000 offline (batch) document requests/hour \\[since each batch handles upto 50 documents\\]. If higher volumes are required, please contact Support.\n- **Managing human validation costs and time** - Human validation can get expensive, whether you use your own labelers or Google labelers. The time spent per page scales with the # of fields reviewed. Google Workforce (in Private Preview) is billed per label reviewed. You can control your review effort and cost by limiting HITL to the important fields that need to be verified and corrected. To do so, use the Label-level Validation filters in the Human Review configuration screen.\n- **Single Sign-on access with Enterprise credentials** - The Labeler Workbench and Labeling Manager Console support Google Workforce or Gmail credentials. If single sign-on with enterprise credentials is required, please create Basic Google Workforce accounts for your labeler workforce. Google Workforce supports SAML and you can configure your SSO provider to sign onto the Labeler Workbench or Labeling Manager Console with enterprise credentials.\n\nKnown Limitations and Workarounds\n\nFollowing are some known limitations and possible workarounds. We are currently addressing the limitations.\n\n- **The bounding box must capture some text** - If HITL is used to annotate documents for training, any bounding box drawn must detect some OCR. The value should not be empty. Manually entering a value does not fix this issue.\n- **VPC-SC** - Customers with VPC-SC activated in their HITL project may not be able to use Google labelers for HITL Review.\n- **Post-review Latency** - After a document is reviewed, it may take up to 30 minutes for it to be deposited in the pre-configured Cloud Storage folder.\n- **10 page limit** - HITL review is limited to 10 pages for Invoices. Invoices larger than 10 pages are not sent for HITL review.\n- **Single-labeler workflow** - The current workflow tasks are limited to a single labeler review. If the document needs to be reviewed by multiple reviewers (for QA, fraud prevention etc), please upload the reviewed documents to a second processor in the mode \"Skip processor, send all docs for HITL Review\", so they are reviewed.\n- **Edit Labeling Managers of Labeling pool** - In BYOL tasks, labeling managers cannot be added or removed to a labeling pool once it's created. Workaround: When creating a new labeling pool,\n - Please assign more than 1 labeling managers, so that if one leaves before the task completes, the other(s) can manage the pool and task assignments.\n - Individuals that need to view the labeler or task analytics dashboards in the Labeling Manager UI should be added as Pool Managers when creating the pool.\n- **Canceling a Task** - Once started, a task cannot be cancelled. The work-around is for the Labeling Manager to pause the task or unassign labelers from the task in the Labeling Manager Console.\n- **Assigning a Task to an entire Labeler Pool in a single click** - isn't currently supported but will be supported shortly. The work-around is to select all the labelers and assigning the task to them.\n- **BYOL Labelers with Google Workspace accounts** - If BYOL labeling managers and labelers have Google Workspace accounts, the Google Workspace Admin may need to enable \"Other Services\" at the bottom of the Google Services page (screenshots below), in order to enable access to the Labeling Manager Console and Labeler Workbench."]]
