Labeling Manager-UI und Labeler Workbench

Achtung: Human-in-the-Loop von Document AI wurde eingestellt und ist nach dem 16. Januar 2025 nicht mehr in Google Cloud verfügbar. Neukunden werden nicht auf die Zulassungsliste gesetzt. Wenn Sie (HITL) verwenden möchten, die Option aber nicht angezeigt wird, wenden Sie sich an das Google Konten-Team.

Wenn Sie eine Lösung für die manuelle Überprüfung und Korrektur implementieren möchten, die Ihren Anforderungen entspricht, empfehlen wir Ihnen, mit einem Google Cloud zertifizierten Partner wie Devoteam, Searce oder Quantiphi zusammenzuarbeiten. Weitere Informationen finden Sie unter Einstellung von Funktionen.

Manager-Benutzeroberfläche

Über die Manager-Benutzeroberfläche können Manager¹ die Arbeit von Labelern an Aufgaben² verwalten. Administratoren können über diese Benutzeroberfläche Labeler hinzufügen oder entfernen, Aufgaben zuweisen oder die Zuweisung aufheben sowie den Fortschritt von Aufgaben und Analysen zur Leistung der einzelnen Labeler im Blick behalten.

Links sehen Sie eine Liste aller Google Cloud Labeler-Pools³, die für das Projekt aktiviert sind und für die der Nutzer ein Administrator ist. Die Zahl rechts neben dem Namen des Labeler-Pools ist die Anzahl der Labeler in diesem Pool. Rechts davon befindet sich der Hauptinhalt der Benutzeroberfläche, der aus vier Tabs besteht:

• Google Tasks
• Labeler
• Zuweisungen

Google Tasks

Die Tabelle „Aufgaben“ ist eine Ansicht aller Aufgaben im Google Cloud Projekt des Labeler-Pools. Sie enthält einige grundlegende Statistiken zur Aufgabe sowie die Möglichkeit, die Aufgabe zu pausieren und schnell Labeler zuzuweisen.

Filter

Über dem Datenraster befindet sich eine Reihe von Filtersteuerelementen, mit denen Sie festlegen können, welche Aufgaben im Datenraster angezeigt werden.

• Aufgaben nach Namen suchen: Die Ergebnisse werden auf Aufgaben mit dem eingegebenen Namen gefiltert. Enthält die Funktion zur automatischen Vervollständigung.
•  Laufend: Wenn diese Option aktiviert ist, enthalten die Ergebnisse alle Aufgaben, die nicht pausiert, abgeschlossen oder nicht zugewiesen sind. Diese Einstellung ist standardmäßig aktiviert.
•  Pausiert: Wenn diese Option aktiviert ist, enthalten die Ergebnisse alle pausierten Aufgaben.
•  Abgeschlossen: Wenn diese Option aktiviert ist, enthalten die Ergebnisse alle Aufgaben, die abgeschlossen sind, d. h. für die keine Fragen verfügbar sind (entweder weil noch keine Fragen in die Warteschlange gestellt wurden oder weil alle in die Warteschlange gestellten Fragen beantwortet wurden).
•  Nicht zugewiesen: Wenn diese Option aktiviert ist, enthalten die Ergebnisse alle Aufgaben, denen keine Labeler zugewiesen sind.

Wenn keine Filter ausgewählt sind, liegt ein Fehler vor und der Manager wird auf der Seite aufgefordert, Filter auszuwählen. Wenn eines der Kästchen nicht angekreuzt ist, werden Aufgaben, die der Bedingung des Kästchens entsprechen, ausgeschlossen, es sei denn, die Aufgabe entspricht einer der Bedingungen des angekreuzten Kästchens. Wenn eine Aufgabe beispielsweise sowohl pausiert als auch nicht zugewiesen ist, wird sie angezeigt, wenn das Kästchen „Pausiert“ oder das Kästchen „Nicht zugewiesen“ (oder beide) aktiviert ist. Dieses Ergebnis wird nicht angezeigt, wenn weder das Kästchen „Pausiert“ noch das Kästchen „Nicht zugewiesen“ ausgewählt ist.

Das Datenraster

• Die erste Spalte enthält ein Kästchen für jede Zeile. Wenn der Manager eines oder mehrere dieser Kästchen auswählt und dann über der Tabelle auf die Schaltfläche Zuweisung verwalten klickt, wird er zur Seite „Zuweisungen“ weitergeleitet. Die ausgewählten Aufgaben sind dann bereits im Aufgabenfilter enthalten.
• In der Spalte „Aufgabe“ wird der Name der Aufgabe angezeigt. Dieser Name wird von der Person festgelegt, die die Aufgabe erstellt, und ist ein für Menschen lesbarer Name (z. B. „Lebenslaufklassifizierung“) im Gegensatz zu einer internen Kennung (z. B. „cloud_data_67523fe89343“).
• Die Spalte „Zielvorhaben“ enthält den Namen des Zielvorhabens. Dieser beschreibt die Art der Aufgabe (Bildklassifizierung, Textklassifizierung usw.).
• Die Spalte „Zuletzt in die Warteschlange gestellt“ enthält das Datum, an dem die letzte Frage in die Warteschlange gestellt wurde. Sie ist leer, wenn noch keine Fragen für die Aufgabe in die Warteschlange gestellt wurden.
• In der Spalte „Zugewiesen“ sehen Sie die Anzahl der Labeler, die der Aufgabe derzeit zugewiesen sind. Außerdem kann der Manager über ein Dialogfeld die Zuweisung von Labelern aufheben. Der Manager kann in diesem Dialogfeld keine Aufgaben zuweisen. Dazu muss er die Seite „Aufgabe“ verwenden.
• In der Spalte „Verfügbare/in die Warteschlange eingereihte Fragen“ wird das Verhältnis zwischen der Anzahl der Fragen in der Aufgabe, die derzeit von Labelern bearbeitet werden können, und der Gesamtzahl der Fragen angezeigt, die derzeit in der Aufgabe in die Warteschlange eingereiht sind.
• In der Spalte „Fortschritt“ wird das oben genannte Verhältnis grafisch und prozentual dargestellt. Außerdem wird angezeigt, ob die Aufgabe pausiert ist (keine Fragen werden ausgeliefert), wie in der unteren Zeile der Tabelle im Screenshot oben zu sehen ist.
• Die Spalte „Aktionen“ enthält ein Menü mit einigen zusätzlichen Aktionen, die für die Aufgabe ausgeführt werden können:
  • Pausieren: Diese Option ist nur verfügbar, wenn die Aufgabe derzeit nicht pausiert ist. Dadurch wird die Aufgabe pausiert.
  • Fortsetzen: Diese Option ist nur verfügbar, wenn die Aufgabe derzeit pausiert ist. Dadurch wird die Aufgabe fortgesetzt.
  • Aufgabe: Dies ist eine Verknüpfung zur Seite „Aufgabe“, wobei die Aufgabe anfangs in den Filtern ausgewählt ist.

Über der Datentabelle befindet sich ein Paginierungselement, mit dem der Manager festlegen kann, wie viele Ergebnisse pro Seite angezeigt werden sollen, und zwischen den Seiten mit Ergebnissen wechseln kann.

Labelersteller

Die Tabelle „Labeler“ enthält alle Labeler im Labeler-Pool. Sie enthält einige grundlegende Statistiken zum Labeler sowie eine Möglichkeit, den Labeler schnell Aufgaben zuzuweisen.

Filter

Über dem Datenraster befindet sich ein Filterfeld, mit dem die Ergebnisse nach den eingegebenen E-Mail-Adressen gefiltert werden. Mehrere E‑Mail-Adressen können durch Kommas getrennt werden.

Labelersteller hinzufügen

Über die Schaltfläche Hinzufügen wird ein Dialogfeld geöffnet, in dem der Manager dem Pool einen oder mehrere Labeler hinzufügen kann. Sie können mehrere E-Mail-Adressen eingeben und durch Kommas trennen. Sprachcodes (z. B. „en“, „de“) können auch durch Kommas getrennt eingegeben werden. Dieselbe Person (E-Mail-Adresse) kann in mehreren Labeler-Pools vorhanden sein und in jedem Pool unterschiedliche Aufgaben haben.

Im Dialogfeld wird eine Zusammenfassung der Labeler angezeigt, die hinzugefügt wurden oder nicht. Ein Häkchen bedeutet, dass der Labeler erfolgreich hinzugefügt wurde. Ein rotes Kreuz bedeutet, dass der Labeler nicht hinzugefügt werden konnte (z. B. weil er bereits im Pool vorhanden ist).

Datenraster

• Die erste Spalte enthält ein Kästchen für jede Zeile. Wenn der Manager mindestens eines dieser Kästchen auswählt und dann über der Tabelle auf die Schaltfläche Zuweisung verwalten klickt, wird er zur Seite „Zuweisungen“ weitergeleitet. Die ausgewählten Labeler sind dann bereits im Filter „Labeler“ eingetragen.
• In der Spalte „E-Mail“ wird die E-Mail-Adresse des Kennzeichners angezeigt.
• In der Spalte „Zugewiesene Aufgaben“ wird die Anzahl der Aufgaben angezeigt, denen der Labeler zugewiesen ist. Außerdem kann der Manager über ein Dialogfeld die Zuweisung des Labelers zu einer oder mehreren Aufgaben aufheben. Der Manager kann keine Zuweisungen über dieses Dialogfeld vornehmen. Um eine Aufgabe zuzuweisen, muss der Manager die Seite „Zuweisung“ verwenden.
• In der Spalte „Sprachen“ sehen Sie, mit welchen Sprachen der Labeler verknüpft ist. Diese Werte können sich darauf auswirken, welche Fragen ein Labeler bearbeiten kann, je nach Konfiguration der Frage beim Einreihen in die Warteschlange.
• Die Spalte „Aktionen“ enthält ein Menü mit einigen zusätzlichen Aktionen, die für die Aufgabe ausgeführt werden können:
  • Zuweisung: Dies ist eine Verknüpfung zur Seite „Zuweisung“, wobei der Labeler in den Filtern bereits ausgewählt ist.
  • Löschen: Entfernt den Labeler aus dem aktuellen Labeler-Pool.

Über der Datentabelle befindet sich ein Paginierungselement, mit dem der Manager festlegen kann, wie viele Ergebnisse pro Seite angezeigt werden sollen, und zwischen den Seiten mit Ergebnissen wechseln kann.

Tool „Aufgaben“

Auf der Seite „Zuweisungen“ können Manager Zuweisungen zu Aufgaben für die Labeler im Labeler-Pool verwalten.

Filter

Der Inhalt des Zuweisungsrasters wird durch zwei Gruppen von Filterkriterien bestimmt: die Labeler-Filter, die festlegen, was auf der Y-Achse angezeigt wird, und die Aufgabenfilter, die festlegen, was auf der X-Achse angezeigt wird.

Filter für Kennzeichner

• Aufgabenauswahl: In diesem Feld kann der Manager eine oder mehrere Aufgaben auswählen. Die im Raster angezeigten Labeler umfassen alle Labeler, die einer dieser Aufgaben zugewiesen sind.
• E-Mail-Filter: In diesem Feld kann der Manager eine oder mehrere durch Kommas getrennte E-Mail-Adressen angeben. Die im Raster angezeigten Labeler umfassen alle Labeler mit einer dieser E-Mail-Adressen.

Einer oder beide Filter können verwendet werden, aber mindestens einer muss verwendet werden.

Aufgabenfilter

• Aufgabenauswahl: In diesem Feld kann der Manager eine oder mehrere Aufgaben auswählen. Die im Raster angezeigten Aufgaben umfassen alle ausgewählten Aufgaben.
• Zusätzliche Filter:
  • Alle pausierten Aufgaben: Wenn diese Option aktiviert ist, werden in den angezeigten Aufgaben auch alle pausierten Aufgaben berücksichtigt.
  • Alle erledigten Aufgaben: Wenn diese Option aktiviert ist, werden in den angezeigten Aufgaben auch alle Aufgaben berücksichtigt, die erledigt wurden (für die keine Fragen mehr verfügbar sind).
  • Alle nicht zugewiesenen Aufgaben: Wenn diese Option aktiviert ist, werden in den angezeigten Aufgaben auch alle Aufgaben berücksichtigt, die keinem Labeler zugewiesen sind.
  • Alle laufenden Aufgaben: Wenn diese Option aktiviert ist, werden in den angezeigten Aufgaben auch alle Aufgaben berücksichtigt, die „laufend“ sind (nicht pausiert, abgeschlossen oder nicht zugewiesen).

Sie können eine beliebige Kombination dieser Filter verwenden, aber mindestens einer muss verwendet werden. Diese Filter sind unabhängig voneinander. Die im Filter „Labeler“ ausgewählten Optionen haben keine Auswirkungen auf die im Filter „Aufgaben“ ausgewählten Optionen und umgekehrt.

Aufgabenraster

Im Raster werden die Ergebnisse der ausgewählten Filterkriterien angezeigt. Die Y-Achse stellt die Labeler und die X-Achse die Aufgaben dar. Für jede Zelle kann der Manager das Kästchen aktivieren, um den entsprechenden Labeler der entsprechenden Aufgabe zuzuweisen, oder das Häkchen entfernen, um die Zuweisung des entsprechenden Labelers zur entsprechenden Aufgabe aufzuheben.

In den Menüs in jeder Zeilen- und Spaltenüberschriftenzelle sind auch einige Tastenkombinationen verfügbar. Das Menü wird durch Klicken auf die Schaltfläche mit den drei vertikalen Punkten geöffnet. Wenn der Manager beispielsweise das Menü in einer Labeler-Überschriftenzelle öffnet, kann er den Labeler allen Aufgaben gleichzeitig zuweisen oder die Zuweisung aufheben. Der Manager kann die Zeile oder Spalte auch mit der Menüoption „Entfernen“ ausblenden oder die Aufgaben aufrufen, denen ein Labeler derzeit zugewiesen ist, bzw. die Labeler, die derzeit der Aufgabe zugewiesen sind. Beim Ausfüllen der Zeilen und Spalten kann der Manager ein bestimmtes Labeler oder eine bestimmte Aufgabe mithilfe der verfügbaren Tastenkombination aus dem Zuweisungsraster entfernen. Dies hat keine Auswirkungen auf den Zuweisungsstatus der entfernten Aufgaben oder Labeler. Die entfernten Aufgaben oder Labeler können mithilfe der entsprechenden Filter oben im Raster wieder angezeigt werden. Nur die Aufgaben und Labeler im Zuweisungsraster werden verwendet, um die Zuweisung nach dem Übernehmen der Änderungen zu ändern.

Nachdem Sie Änderungen an den Zuweisungen vorgenommen haben, wird die Schaltfläche Commit changes (Commit für Änderungen ausführen) oben auf der Seite aktiviert. Die Schaltfläche Änderungen verwerfen ist ebenfalls verfügbar. Wenn Sie darauf klicken, werden alle nicht gespeicherten Änderungen an der Aufgabe zurückgesetzt.

Wenn der Manager auf die Schaltfläche Änderungen übernehmen klickt, wird ihm eine Liste aller Änderungen angezeigt, die an den Zuweisungen vorgenommen werden. Nachdem der Manager die Änderungen überprüft hat, kann er sie abbrechen oder übernehmen. Wenn sie die Änderungen abbrechen, werden sie zur Seite „Aufgaben“ zurückgeleitet, um die Aufgaben weiter zu bearbeiten. Wenn sie die Änderungen übernehmen, werden die Aufgaben übernommen und sie werden zurück zur Seite „Aufgaben“ geleitet.

Die Änderungen, die der Manager im Tabellengrid vorgenommen hat, werden erst gespeichert, wenn er auf der Seite „Änderungsliste“ auf „Übernehmen“ klickt.

Labeler Workbench

Die Labeler-Workbench ist die Schnittstelle, die Labeler zum Labeln der Fragen verwenden. Die Fragen, die sie erhalten, hängen von den Worker-Pools ab, denen sie angehören und die von den Managern zugewiesen werden.

Fragen erhalten

Wenn die Workbench geladen wird, wird automatisch versucht, Fragen für den Labeler abzurufen, die er labeln kann. Das kann verschiedene Gründe haben:

• Der Labelersteller ist keinen Aufgaben im aktuellen Labelerstellerpool zugewiesen (in der Workbench wird jeweils nur ein Labelerstellerpool verwendet). Möglicherweise sind in einem anderen Labelerstellerpool Fragen für den Labelersteller verfügbar.
• Der Labeler ist einer oder mehreren Aufgaben zugewiesen, aber für keine der Aufgaben sind derzeit Fragen für diesen Labeler verfügbar. Das kann verschiedene Gründe haben:
  • Es sind keine Fragen in der Warteschlange.
  • Alle Fragen wurden repliziert
  • Alle Fragen mit verbleibenden Replikationen wurden an andere Labeler vergeben, die derzeit daran arbeiten.
  • Alle verfügbaren Fragen sind mit Sprachen verknüpft, die der Labeler nicht beherrscht.
  • Der Labeler hat bereits alle ihm zur Verfügung stehenden Fragen beantwortet. Diese Fragen sind möglicherweise weiterhin für andere Labeler verfügbar, bis die Replikation abgeschlossen ist.
  • Der Labeler kann keine verfügbaren Fragen beantworten, weil er Antworten auf frühere Instanzen dieser Fragen eingereicht hat. Diese Fragen sind möglicherweise weiterhin für andere Labeler verfügbar.

Nachdem die Workbench geladen wurde, kann es passieren, dass dem Labeler die Fragen ausgehen. In diesem Fall wird eine Schaltfläche angezeigt, über die der Labeler noch einmal versuchen kann, Fragen zu erhalten (mit denselben potenziellen Fehlern wie oben).

An Fragen arbeiten

Wenn dem Labeler eine Frage zugewiesen wurde, wird sie in der Workbench angezeigt. Das genaue Erscheinungsbild hängt von der in die Warteschlange eingereihten Frage und der Benutzeroberfläche ab, die für die Aufgabe konfiguriert ist.

In der Workbench wird ein Timer gestartet, bis die Zuweisung der Frage abläuft. Wenn der Timer abgelaufen ist, läuft die Frage ab und wird aus der Workbench entfernt, damit sie anderen Ratern zugewiesen werden kann und die Warteschlange nicht leer läuft.

Sobald der Labeler seine Antwort auf die Frage eingereicht hat, wird automatisch die nächste verfügbare Frage in der Workbench geladen. Andernfalls muss der Labeler mit der Schaltfläche Weitere Fragen erhalten (siehe oben) weitere Fragen anfordern.

Einreichungsstatus

Es gibt in der Workbench mehrere Stellen, an denen Labeler den Status ihrer Antwortbeiträge einsehen können: ob der Beitrag erfolgreich war, fehlgeschlagen ist oder noch in Bearbeitung ist.

Dialogfeld „Benachrichtigungen“

In diesem Dialogfeld wird der Status der Antworten angezeigt, die der Labeler gesendet hat:

• Das Symbol und die Zahl links (die orangefarbene Uhr) stehen für die Antworten, die noch eingereicht werden.
• Das mittlere Symbol (das rote Dreieck) steht für Antworten, die nicht gesendet werden konnten. Ein Fehler bei der Einreichung kann auf einen Serverfehler oder ein Problem mit der Internetverbindung des Kunden zurückzuführen sein.
• Das Symbol rechts steht für die Antworten, die erfolgreich eingereicht wurden.

Die Anzahl wird nicht im Browser gespeichert. Wenn Sie die Workbench schließen und wieder öffnen oder die Seite aktualisieren, werden die Zähler auf 0 zurückgesetzt.

Weitere Tools

Über ein Menü, das über die Schaltfläche  am Ende der Hauptsymbolleiste geöffnet wird, sind einige zusätzliche Tools verfügbar.

Folgende Optionen sind verfügbar:

• Überspringen: Überspringt die aktuelle Frage, wenn das Überspringen für die Aufgabe aktiviert ist. Dies wird in der Regel verwendet, wenn die in der Benutzeroberfläche angezeigte Frage fehlerhaft ist. Einzelne Manager können dem Labeler jedoch Anweisungen geben, wann eine Frage übersprungen werden soll. Ein Überspringen wird als Antwort gezählt und mit zusätzlichen Metadaten gespeichert, die angeben, dass und warum die Frage übersprungen wurde.
• „Find Answers“ (Antworten suchen): Führt zur Seite „Answers“ (Antworten), auf der der Labeler seine Antworten auf eine beliebige Frage ansehen kann, indem er nach der Frage-ID sucht. Der Labeler kann nur seine eigenen Antworten sehen, während ein Manager im Labeler-Pool alle Antworten sehen kann.

Fragenwarteschlange

Außerdem gibt es eine Warteschlange mit Fragen, für die der Labeler Antworten eingereicht hat:

In diesem Fall wurde die erste Antwort erfolgreich gesendet, die nächste Antwort konnte jedoch nicht gesendet werden. Die nächste Antwort wurde erfolgreich gesendet und die vierte Blase steht für die aktuell geladene Frage und die verbleibende Zeit. Die letzte Blase gibt an, wie viele Fragen an den Labeler verpachtet werden konnten. So kann der Labeler erkennen, wann er fast keine Fragen mehr zum Labeln hat, und seinen Manager informieren.

Ein Labeler kann zu einer vorherigen Frage zurückkehren, indem er auf die entsprechende Blase klickt. Wenn die Frage noch nicht abgelaufen ist, kann der Labeler seine Antwort ändern und noch einmal einreichen. Nur die letzte Antwort wird gespeichert. Sie überschreibt alle vorherigen Antworten. Bei einigen Aufgaben kann es sein, dass diese Funktion nicht verwendet werden soll, wenn die Antwortübermittlung endgültig ist.

Symbolleiste „Zusätzliche Tools“

Es gibt eine Symbolleiste mit zusätzlichen Tools für die Workbench. Sie ist standardmäßig ausgeblendet, kann aber bei Bedarf maximiert werden.

Hier stehen drei Schaltflächen zur Verfügung:

• Vollbild: Das Plug-in wird im Vollbildmodus geöffnet. Dadurch wird nur die Workbench angezeigt und die Browser-Benutzeroberfläche sowie alle Symbolleisten des Betriebssystems werden ausgeblendet. Der Labeler kann diesen Modus beenden, indem er die Esc-Taste drückt oder noch einmal auf dieselbe Schaltfläche klickt.
• Neu laden: Aktualisiert das aktuell sichtbare Plug-in. Das ist in den meisten Fällen besser, als die Seite im Browser neu zu laden, da beim Neuladen der Seite möglicherweise einige Statusinformationen gelöscht werden, z. B. die aufgewendete Zeit und die eingereichten Antworten. Außerdem ist nicht garantiert, dass der Labeler dieselbe Frage noch einmal erhält, wenn er die Seite neu lädt.
• Frageninformationen: Hier werden einige Informationen zur aktuell sichtbaren Frage angezeigt, z. B. Fragen-IDs und der Name des Plug-ins. Diese Informationen können nützlich sein, wenn Sie Probleme mit einer bestimmten Frage melden, je nach den Anweisungen des Task-Managers.

Analyseseite

Auf der Analytics-Seite sehen Labeler ihre letzten Beiträge.

Oben sehen Sie ein Diagramm mit den Beitragssätzen. Darunter werden dieselben Informationen in tabellarischer Form angezeigt. Der Labeler kann aus einigen vordefinierten Zeiträumen auswählen, um die Daten anzusehen. Die Analytics-Seite kann über die Schaltfläche „Analytics“ in der Symbolleiste aufgerufen werden.

Platz für das Plug-in schaffen

Es gibt einige Steuerelemente, mit denen Sie anpassen können, wie viel Speicherplatz dem Plug-in zur Verfügung steht.

Mit der oberen Schaltfläche (den diagonalen Pfeilen) wird die Sichtbarkeit der One Google Bar ein- und ausgeschaltet. Das ist die Leiste direkt darüber, die die Google-Kontoauswahl enthält. Mit der unteren Schaltfläche (dem Abwärtspfeil) wird die Sichtbarkeit der Symbolleiste mit zusätzlichen Tools ein- und ausgeschaltet. Wenn Sie beide Symbolleisten ausblenden, während Sie den Vollbildmodus verwenden, nimmt das Plug-in fast den gesamten Bildschirm ein.

---

1. Ein Manager eines Labeler-Pools ist ein Nutzer mit der Berechtigung, Labeler hinzuzufügen oder zu entfernen und die Aufgaben zu ändern, denen die Labeler zugewiesen sind. ↩

2. Eine Aufgabe besteht aus einer Reihe von Fragen, die einem oder mehreren Labelersteller aus einem Labelersteller-Pool zugewiesen werden können. ↩

3. Ein Labelerstellerpool ist eine Gruppe von Labelerstellerinnen und ‑erstellern, die von einem oder mehreren Administratoren verwaltet werden. Labelersteller aus einem Pool können Aufgaben zugewiesen werden, die für diesen Pool aktiviert sind. ↩