Labeling Manager-UI und Labeler Workbench

Achtung: Human-in-the-Loop von Document AI wurde eingestellt und ist nach dem 16. Januar 2025 nicht mehr in Google Cloud verfügbar. Neukunden sind nicht auf der Zulassungsliste. Wenn Sie (HITL) verwenden möchten, die Option aber nicht angezeigt wird, wenden Sie sich an das Google Konten-Team.

Wenn Sie eine Lösung für die manuelle Überprüfung und Korrektur implementieren möchten, die Ihren Anforderungen entspricht, empfehlen wir Ihnen, mit einem Google Cloud zertifizierten Partner wie Devoteam, Searce oder Quantiphi zusammenzuarbeiten. Weitere Informationen finden Sie unter Eingestellte Funktionen.

Manager-Benutzeroberfläche

Über die Manager-Benutzeroberfläche können Manager¹ die Arbeit von Labelern für Aufgaben² verwalten. Über diese Benutzeroberfläche können Administratoren Labeler hinzufügen oder entfernen, Aufgaben zuweisen oder die Zuweisung aufheben und den Fortschritt von Aufgaben sowie Analysen zur Leistung der einzelnen Labeler im Blick behalten.

Links sehen Sie eine Liste aller Google Cloud im Projekt aktivierten Labeler-Pools³, deren Administrator der Nutzer ist. Die Zahl rechts neben dem Namen des Labels-Pools ist die Anzahl der Labeler in diesem Pool. Rechts davon befindet sich der Hauptinhalt der Benutzeroberfläche mit vier Tabs:

• Google Tasks
• Labeler
• Aufgaben

Tasks

Die Aufgabentabelle enthält eine Übersicht aller Aufgaben im Google Cloud Projekt des Labeler-Pools. Sie enthält einige grundlegende Statistiken zur Aufgabe, die Möglichkeit, die Aufgabe zu pausieren, und eine Schnellzugriffsleiste, über die Sie den Aufgaben Labeler zuweisen können.

Filter

Über dem Datenraster befinden sich Filtersteuerungen, mit denen Sie festlegen können, welche Aufgaben im Datenraster angezeigt werden.

• Aufgaben nach Name suchen: Die Ergebnisse werden auf Aufgaben mit dem eingegebenen Namen gefiltert. Enthält eine Funktion zur automatischen Vervollständigung.
• Laufend: Wenn diese Option aktiviert ist, enthalten die Ergebnisse alle Aufgaben, die nicht pausiert, abgeschlossen oder nicht zugewiesen sind. Diese Einstellung ist standardmäßig aktiviert.
•  Pausiert: Wenn dieses Kästchen angeklickt ist, werden alle pausierten Aufgaben in den Ergebnissen berücksichtigt.
•  Abgeschlossen: Wenn diese Option aktiviert ist, enthalten die Ergebnisse alle abgeschlossenen Aufgaben, d. h. Aufgaben, für die keine Fragen verfügbar sind, weil noch keine Fragen in die Warteschlange gestellt wurden oder weil alle in der Warteschlange befindlichen Fragen beantwortet wurden.
• Nicht zugewiesen: Wenn diese Option aktiviert ist, enthalten die Ergebnisse alle Aufgaben, denen keine Labeler zugewiesen sind.

Wenn keine Filter ausgewählt sind, ist das ein Fehler. Auf der Seite wird der Manager aufgefordert, einige Filter auszuwählen. Wenn eines der Kästchen nicht angeklickt ist, werden Aufgaben, die der Bedingung dieses Kästchens entsprechen, ausgeschlossen, es sei denn, die Aufgabe entspricht einer der Bedingungen des angeklickten Kästchens. Wenn eine Aufgabe beispielsweise pausiert und nicht zugewiesen ist, wird sie angezeigt, wenn das Kästchen „Pausiert“ oder das Kästchen „Nicht zugewiesen“ oder beide Kästchen angeklickt sind. Dieses Ergebnis wird nicht angezeigt, wenn weder das Kästchen „Pausiert“ noch das Kästchen „Nicht zugewiesen“ angeklickt ist.

Datenraster

• Die erste Spalte enthält für jede Zeile ein Kästchen. Wenn der Manager eines oder mehrere dieser Kästchen anklickt und dann über der Tabelle auf die Schaltfläche Aufgabe verwalten klickt, wird er zur Seite „Aufgaben“ weitergeleitet. Die ausgewählten Aufgaben sind bereits im Aufgabenfilter enthalten.
• In der Spalte „Aufgabe“ wird der Name der Aufgabe angezeigt. Dieser wird von der Person festgelegt, die die Aufgabe erstellt. Es handelt sich um einen visuell lesbaren Namen (z. B. „Lebenslaufklassifizierung“) und nicht um eine interne Kennung (z. B. „cloud_data_67523fe89343“).
• Die Spalte „Ziel“ enthält den Namen des Ziels. Dieser beschreibt die Art der Aufgabe (Bildklassifizierung, Textklassifizierung usw.).
• Die Spalte „Zuletzt in die Warteschlange gestellt“ enthält das Datum, an dem die letzte Frage in die Warteschlange gestellt wurde. Sie ist leer, wenn noch keine Fragen in die Warteschlange der Aufgabe gestellt wurden.
• In der Spalte „Zugewiesen“ sehen Sie die Anzahl der Personen, die der Aufgabe derzeit zugewiesen sind. Außerdem können Sie über das Dialogfeld die Zuweisung von Labelern aufheben. Der Manager kann über dieses Dialogfeld keine Aufgaben zuweisen. Dazu muss er die Seite „Aufgaben“ verwenden.
• In der Spalte „Verfügbare/Angehängte Fragen“ sehen Sie das Verhältnis zwischen der Anzahl der Fragen in der Aufgabe, die derzeit von Labelern bearbeitet werden können, und der Gesamtzahl der Fragen, die derzeit in der Aufgabe anstehen.
• In der Spalte „Fortschritt“ wird das oben genannte Verhältnis grafisch und als Prozentsatz dargestellt. Außerdem wird angezeigt, ob die Aufgabe pausiert ist (d. h. keine Fragen ausgeliefert werden), wie in der untersten Zeile der Tabelle im obigen Screenshot zu sehen.
• Die Spalte „Aktionen“ enthält ein Menü mit einigen zusätzlichen Aktionen, die Sie für die Aufgabe ausführen können:
  • Pausieren: Nur verfügbar, wenn die Aufgabe derzeit nicht pausiert ist. Die Aufgabe wird pausiert.
  • Fortsetzen: Nur verfügbar, wenn die Aufgabe derzeit pausiert ist. Die Aufgabe wird fortgesetzt.
  • Aufgabe: Dies ist eine Verknüpfung zur Seite „Aufgabe“, wobei die Aufgabe in den Filtern zuerst ausgewählt ist.

Über der Datentabelle befindet sich ein Paginierungskontrollelement, mit dem der Manager festlegen kann, ob mehr Ergebnisse pro Seite angezeigt werden sollen, und zwischen den Seiten der Ergebnisse wechseln kann.

Labelersteller

Die Tabelle „Labeler“ enthält eine Ansicht aller Labeler im Labeler-Pool. Sie enthält einige grundlegende Statistiken zum Labeler sowie eine Möglichkeit, den Labeler schnell Aufgaben zuzuweisen.

Filter

Über dem Datenraster befindet sich ein Filterfeld, mit dem die Ergebnisse auf die eingegebenen E-Mail-Adressen eingegrenzt werden. Mehrere E-Mail-Adressen können durch Kommas getrennt werden.

Labeler hinzufügen

Über die Schaltfläche Hinzufügen wird ein Dialogfeld geöffnet, in dem der Administrator dem Pool einen oder mehrere Labeler hinzufügen kann. Es können mehrere E-Mail-Adressen durch Kommas getrennt eingegeben werden. Sprachcodes (z. B. „de“, „en“) können auch durch Kommas getrennt eingegeben werden. Die gleiche Person (E-Mail-Adresse) kann in mehreren Pools von Labelern enthalten sein und in jedem Pool unterschiedliche Aufgaben haben.

Im Dialogfeld wird eine Zusammenfassung der Labeler angezeigt, die hinzugefügt wurden oder nicht. Ein Häkchen bedeutet, dass der Labeler erfolgreich hinzugefügt wurde. Ein rotes „X“ bedeutet, dass der Labeler nicht hinzugefügt werden konnte, z. B. weil er bereits im Pool vorhanden ist.

Datenraster

• Die erste Spalte enthält für jede Zeile ein Kästchen. Wenn der Administrator eines oder mehrere dieser Kästchen anklickt und dann über der Tabelle auf die Schaltfläche Aufgabe verwalten klickt, wird er zur Seite „Aufgaben“ weitergeleitet. Die ausgewählten Labeler sind bereits im Filter „Labeler“ enthalten.
• In der Spalte „E-Mail“ wird die E-Mail-Adresse des Bearbeiters angezeigt.
• In der Spalte „Zugewiesene Aufgaben“ sehen Sie die Anzahl der Aufgaben, die dem Labeler zugewiesen sind. Außerdem bietet es Zugriff auf ein Dialogfeld, über das der Manager dem Labeler ein oder mehrere Aufgaben entziehen kann. Der Manager kann über dieses Dialogfeld keine Zuweisungen vornehmen. Um eine Aufgabe zuzuweisen, muss der Manager die Seite „Aufgabe“ verwenden.
• In der Spalte „Sprachen“ sehen Sie, mit welchen Sprachen der Labeler verknüpft ist. Diese Werte können sich darauf auswirken, welche Fragen einem Labeler zur Verfügung gestellt werden können, je nachdem, wie die Frage bei der Einreihung in die Warteschlange konfiguriert wurde.
• Die Spalte „Aktionen“ enthält ein Menü mit einigen zusätzlichen Aktionen, die Sie für die Aufgabe ausführen können:
  • Aufgabe: Dies ist eine Verknüpfung zur Seite „Aufgabe“, auf der in den Filtern zuerst der Labeler ausgewählt ist.
  • Löschen: Entfernt den Labeler aus dem aktuellen Labeler-Pool.

Über der Datentabelle befindet sich ein Paginierungskontrollelement, mit dem der Manager festlegen kann, ob mehr Ergebnisse pro Seite angezeigt werden sollen, und zwischen den Seiten der Ergebnisse wechseln kann.

Tool „Aufgaben“

Auf der Seite „Aufgaben“ können Manager Aufgaben für die Labeler im Labeler-Pool verwalten.

Filter

Der Inhalt des Zuweisungsrasters wird durch zwei Filterkriterien bestimmt: die Labeler-Filter, die festlegen, was auf der Y-Achse angezeigt wird, und die Aufgabenfilter, die festlegen, was auf der X-Achse angezeigt wird.

Labeler-Filter

• Aufgabenauswahl: Mit diesem Feld kann der Manager eine oder mehrere Aufgaben auswählen. Die im Raster angezeigten Labeler umfassen alle Labeler, die einer dieser Aufgaben zugewiesen sind.
• E-Mail-Filter: In diesem Feld kann der Administrator eine oder mehrere E-Mail-Adressen angeben, die durch Kommas getrennt sind. Die im Raster angezeigten Labeler umfassen alle Labeler mit einer dieser E-Mail-Adressen.

Es kann entweder einer oder beide dieser Filter verwendet werden, aber mindestens einer muss verwendet werden.

Aufgabenfilter

• Aufgabenauswahl: Mit diesem Feld kann der Manager eine oder mehrere Aufgaben auswählen. Im Raster werden alle ausgewählten Aufgaben angezeigt.
• Zusätzliche Filter:
  • Alle angehaltenen Aufgaben: Wenn diese Option aktiviert ist, werden auch angehaltene Aufgaben angezeigt.
  • Alle erledigten Aufgaben: Wenn diese Option aktiviert ist, werden unter den angezeigten Aufgaben auch alle erledigten Aufgaben aufgeführt, für die keine Fragen zur Verfügung stehen.
  • Alle nicht zugewiesenen Aufgaben: Wenn diese Option aktiviert ist, enthalten die angezeigten Aufgaben auch Aufgaben, die keinem Labeler zugewiesen sind.
  • Alle laufenden Aufgaben: Wenn diese Option aktiviert ist, werden unter „Aufgaben“ auch alle Aufgaben angezeigt, die „in Bearbeitung“ sind (nicht angehalten, abgeschlossen oder nicht zugewiesen).

Sie können diese Filter beliebig kombinieren, müssen aber mindestens einen verwenden. Diese Filter sind unabhängig voneinander. Die im Filter „Labeler“ ausgewählten Optionen haben keine Auswirkungen auf die im Filter „Aufgaben“ ausgewählten Optionen und umgekehrt.

Aufgabenraster

Im Raster werden die Ergebnisse der ausgewählten Filterkriterien angezeigt. Die Y-Achse besteht aus den Beschriftern und die X-Achse aus den Aufgaben. Für jede Zelle kann der Manager das Kästchen anklicken, um der entsprechenden Aufgabe den entsprechenden Labeler zuzuweisen, oder das Kästchen deaktivieren, um die Zuweisung aufzuheben.

In den Menüs in den Zeilen- und Spaltenüberschriftenzellen sind auch einige Tastenkürzel verfügbar. Das Menü wird durch Klicken auf die Schaltfläche mit den drei vertikalen Punkten geöffnet. Wenn der Administrator beispielsweise das Menü in einer Überschriftenzelle eines Labels öffnet, kann er dieses Label allen Aufgaben gleichzeitig zuweisen oder die Zuweisung aufheben. Der Manager kann die Zeile oder Spalte auch über die Menüoption „Entfernen“ ausblenden oder sich die Aufgaben ansehen, die einem Labeler derzeit zugewiesen sind, bzw. die Labeler, die der Aufgabe derzeit zugewiesen sind. Beim Befüllen der Zeilen und Spalten kann der Manager einen bestimmten Labeler oder eine bestimmte Aufgabe über die verfügbare Tastenkombination aus dem Zuweisungsraster entfernen. Dies hat keinen Einfluss auf den Aufgabenstatus der Aufgabe oder der entfernten Labeler. Die entfernten Aufgaben oder Labeler können mit den entsprechenden Filtern oben wieder im Raster angezeigt werden. Nach dem Committen der Änderungen werden nur die Aufgaben und Labeler verwendet, die sich im Aufgabenraster befinden, um die Aufgabe zu ändern.

Nachdem Sie Änderungen an den Aufgaben vorgenommen haben, wird die Schaltfläche Änderungen übernehmen oben auf der Seite aktiviert. Außerdem ist die Schaltfläche Änderungen verwerfen verfügbar. Wenn Sie darauf klicken, werden alle nicht übernommenen Änderungen an der Aufgabe zurückgesetzt.

Wenn auf die Schaltfläche Änderungen übernehmen geklickt wird, wird dem Administrator eine Liste aller Änderungen angezeigt, die an den Aufgaben vorgenommen werden. Nachdem der Administrator die Änderungen geprüft hat, kann er sie abbrechen oder bestätigen. Wenn die Änderungen abgebrochen werden, werden die Nutzer zur Seite „Aufgaben“ zurückgeleitet, um die Aufgaben weiter zu bearbeiten. Wenn er die Änderungen bestätigt, werden die Aufgaben bestätigt und er wird zur Seite „Aufgaben“ zurückgeleitet.

Die Änderungen werden erst gespeichert, wenn der Manager auf der Seite mit der Änderungsliste auf „Übernehmen“ klickt.

Labeler Workbench

Die Labeler-Workbench ist die Benutzeroberfläche, über die Labeler die Fragen beschriftet. Die Fragen, die sie erhalten, hängen von den Worker-Pools ab, zu denen sie gehören. Diese werden von den Managern zugewiesen.

Fragen erhalten

Wenn die Workbench geladen wird, wird automatisch versucht, Fragen für die Labeler abzurufen. Das kann mehrere Gründe haben:

• Der Labeler ist keiner Aufgabe im aktuellen Labeler-Pool zugewiesen. In der Workbench wird jeweils nur ein Labeler-Pool verwendet. Möglicherweise gibt es in einem anderen Labeler-Pool Fragen für den Labeler.
• Dem Bearbeiter sind eine oder mehrere Aufgaben zugewiesen, aber für keine der Aufgaben sind derzeit Fragen für diesen Bearbeiter verfügbar. Das kann verschiedene Gründe haben:
  • Es sind keine Fragen in der Warteschlange.
  • Alle Fragen wurden repliziert
  • Alle Fragen mit verbleibenden Replizierungen wurden an andere Labeler vermietet, die derzeit daran arbeiten.
  • Alle verfügbaren Fragen sind mit Sprachen verknüpft, die der Labeler nicht hat.
  • Der Bearbeiter hat bereits alle ihm zur Verfügung stehenden Fragen beantwortet. Diese Fragen sind möglicherweise noch für andere Labeler verfügbar, bis die Replikation abgeschlossen ist.
  • Der Bearbeiter kann keine verfügbaren Fragen beantworten, da er bereits Antworten auf frühere Instanzen dieser Fragen eingereicht hat. Diese Fragen sind möglicherweise weiterhin für andere Labeler verfügbar.

Nachdem die Workbench geladen wurde, sind für den Labeler möglicherweise keine Fragen mehr verfügbar. In diesem Fall wird eine Schaltfläche angezeigt, über die der Bearbeiter versuchen kann, noch einmal Fragen zu erhalten. Dabei kann es zu den oben genannten Fehlern kommen.

An Fragen arbeiten

Wenn dem Labeler eine Frage zur Verfügung gestellt wurde, wird sie in der Workbench angezeigt. Die genaue Darstellung hängt von der Frage ab, die in die Warteschlange gestellt wurde, und von der Benutzeroberfläche, für die die Aufgabe konfiguriert ist.

In der Workbench wird ein Timer gestartet, bis die Fragestellung abläuft. Nach Ablauf des Timers läuft die Frage ab und wird aus der Workbench entfernt, um anderen Bewertern zugewiesen zu werden und die Warteschlange in Gang zu halten.

Sobald die Person, die die Labels erstellt, ihre Antwort auf die Frage gesendet hat, wird in der Workbench automatisch die nächste verfügbare Frage geladen. Andernfalls muss der Bearbeiter über die Schaltfläche Weitere Fragen abrufen oben weitere Fragen anfordern.

Einreichungsstatus

In der Workbench gibt es mehrere Stellen, an denen Labeler den Status ihrer Antworteinreichungen sehen können: ob die Einreichung erfolgreich war, fehlgeschlagen ist oder noch in Bearbeitung ist.

Dialogfeld „Benachrichtigungen“

In diesem Dialogfeld wird der Status der Antworten angezeigt, die der Bearbeiter eingereicht hat:

• Das Symbol und die Zahl links (die orangefarbene Uhr) stehen für die Antworten, die noch gesendet werden.
• Das mittlere Symbol (das rote Dreieck) steht für die Antworten, die nicht gesendet werden konnten. Ein Fehler bei der Einreichung kann auf einen Serverfehler oder ein Problem mit der Internetverbindung des Clients zurückzuführen sein.
• Das Symbol rechts steht für die Antworten, die erfolgreich gesendet wurden.

Die Anzahl wird nicht im Browser gespeichert. Wenn Sie die Workbench schließen und wieder öffnen(oder die Seite aktualisieren), werden die Zähler auf 0 zurückgesetzt.

Weitere Tools

Über die Schaltfläche  am Ende der Hauptsymbolleiste können Sie ein Menü mit einigen zusätzlichen Tools öffnen.

Folgende Optionen sind verfügbar:

• Überspringen: Die aktuelle Frage wird übersprungen, wenn das Überspringen für die Aufgabe aktiviert ist. Diese Option wird in der Regel verwendet, wenn die Frage, die in der Benutzeroberfläche angezeigt wird, nicht funktioniert. Einzelne Manager können Labelern jedoch Anweisungen geben, wann eine Frage übersprungen werden soll. Hinweis: Ein Übersprung wird als Antwort gezählt und mit zusätzlichen Metadaten gespeichert, die angeben, dass er übersprungen wurde und warum.
• Antworten finden: Ruft die Seite „Antworten“ auf, auf der die Bearbeiter ihre Antworten auf eine Frage durch Eingabe der Frage-ID aufrufen können. Der Bearbeiter kann nur seine eigenen Antworten sehen, während ein Manager im Labeler-Pool alle Antworten sehen kann.

Warteschlange für Fragen

Es gibt auch eine Warteschlange mit Fragen, für die der Bearbeiter Antworten eingereicht hat:

In diesem Fall wurde die erste Antwort erfolgreich gesendet, die nächste Antwort konnte jedoch nicht gesendet werden. Die nächste Antwort wurde erfolgreich gesendet. Die vierte Sprechblase steht für die aktuell geladene Frage und die verbleibende Zeit. Die letzte Blase gibt an, wie viele Fragen an den Labeler vermietet werden konnten. So weiß der Bearbeiter, wann ihm bald keine Fragen mehr zum Beschriften bleiben, und kann seinen Manager informieren.

Bearbeiter können zu einer vorherigen Frage zurückkehren, indem sie auf die entsprechende Blase klicken. Wenn die Frage noch nicht abgelaufen ist, kann der Bearbeiter seine Antwort ändern und noch einmal einreichen. Es wird nur die neueste Antwort gespeichert. Alle vorherigen Antworten werden überschrieben. Bei einigen Aufgaben wird möglicherweise darauf hingewiesen, dass diese Funktion nicht verwendet werden darf, wenn die Antwort endgültig eingereicht wurde.

Symbolleiste „Weitere Tools“

Es gibt eine Symbolleiste mit zusätzlichen Tools für die Workbench. Er ist standardmäßig ausgeblendet, kann aber bei Bedarf maximiert werden.

Hier sind drei Schaltflächen verfügbar:

• Vollbild: Das Plug-in wird im Vollbildmodus geöffnet. Dadurch wird nur die Workbench angezeigt und die Browser-Benutzeroberfläche sowie alle Symbolleisten des Betriebssystems werden ausgeblendet. Der Bearbeiter kann diesen Modus beenden, indem er die Esc-Taste drückt oder noch einmal auf dieselbe Schaltfläche klickt.
• Aktualisieren: Das derzeit sichtbare Plug-in wird aktualisiert. Das ist in den meisten Fällen besser als das Aktualisieren der Seite über den Browser, da beim Aktualisieren der Seite möglicherweise einige Statuswerte gelöscht werden, z. B. die aufgewendete Zeit und die eingereichten Antworten. Außerdem ist nicht garantiert, dass die Person, die die Labels erstellt, dieselbe Frage noch einmal erhält, wenn sie die Seite aktualisiert.
• Frageinformationen: Hier werden einige Informationen zur aktuell sichtbaren Frage angezeigt, z. B. die Frage-IDs und der Plugin-Name. Je nach Anleitung des Aufgabenmanagers können diese Informationen hilfreich sein, wenn Sie Probleme mit einer bestimmten Frage melden.

Analyseseite

Auf der Analytics-Seite sehen die Labeler ihre letzten Beiträge.

Oben sehen Sie ein Diagramm mit den Beitragsraten. Unten werden dieselben Informationen in tabellarischer Form angezeigt. Der Bearbeiter kann aus mehreren vordefinierten Zeiträumen auswählen, um sich die Daten anzusehen. Klicke dazu in der Symbolleiste auf die Schaltfläche „Analysen“.

Platz für das Plug-in schaffen

Mit einigen Steuerelementen können Sie den verfügbaren Speicherplatz für das Plug-in anpassen.

Mit der oberen Schaltfläche (die diagonalen Pfeile) können Sie die Sichtbarkeit der One Google-Leiste ein- und ausschalten. Diese Leiste befindet sich direkt darüber und enthält den Google-Konto-Schnellzugriff. Mit der unteren Schaltfläche (der nach unten zeigende Pfeil) können Sie die Symbolleiste mit zusätzlichen Tools ein- und ausblenden. In Kombination mit dem Vollbildmodus können Sie beide Symbolleisten ausblenden, sodass das Plug-in fast den gesamten Bildschirm einnimmt.

---

1. Ein Administrator eines Labeler-Pools ist ein Nutzer mit der Berechtigung, Labeler hinzuzufügen oder zu entfernen und zu ändern, welche Aufgaben den Labelern zugewiesen sind. ↩

2. Eine Aufgabe besteht aus einer Sammlung von Fragen, die einem oder mehreren Labelern aus einem Labeler-Pool zugewiesen werden können. ↩

3. Ein Labeler-Pool besteht aus mehreren Labelern, die von einem oder mehreren Administratoren verwaltet werden. Labelern aus einem Pool können Aufgaben zugewiesen werden, die für diesen Pool aktiviert sind. ↩