Manager UI
マネージャー UI を使用すると、マネージャー1 はタスク2でラベラーの作業を管理できます。管理者はこの UI を使用して、ラベラーの追加や削除、タスクの割り当てや割り当て解除、タスクの進行状況のモニタリング、各ラベラーのパフォーマンスに関する分析を行うことができます。
左側には、ユーザーが管理者であるすべての Google Cloud プロジェクトで有効になっている Labeler プール3のリストが表示されます。ラベル付け担当者プール名の右側の数字は、そのプール内のラベル付け担当者の数です。その右側には、UI のメイン コンテンツがあります。これは 4 つのタブで構成されています。
ToDo リスト
タスク テーブルは、Labeler プールの Google Cloud プロジェクト内のすべてのタスクのビューです。タスクに関する基本的な統計情報が含まれているほか、タスクを一時停止したり、タスクにラベラーを割り当てたりするためのクイック ルートも用意されています。
フィルタ
データグリッドの上には、データグリッドに表示するタスクを決定する一連のフィルタ コントロールがあります。
- タスクを名前で検索: 入力した名前のタスクに結果をフィルタします。予測入力機能が含まれています。
- 進行中: このチェックボックスをオンにすると、一時停止、完了、未割り当てのタスクがすべて結果に含まれます。これはデフォルトで有効です。
- 一時停止: チェックすると、一時停止中のすべてのタスクが結果に含まれます。
- 完了: このチェックボックスをオンにすると、完了したすべてのタスク（利用可能な質問がないタスク。質問がまだキューに登録されていないか、キューに登録されているすべての質問に回答済みであるため）が結果に含まれます。
- 割り当てなし: このチェックボックスをオンにすると、ラベル付け担当者が割り当てられていないすべてのタスクが結果に含まれます。
フィルタが選択されていない場合はエラーとなり、フィルタを選択するようマネージャーに指示するメッセージがページに表示されます。チェックボックスのいずれかがオフになっている場合、そのチェックボックスの条件に一致するタスクは、チェックされているボックスの条件のいずれかに一致しない限り除外されます。たとえば、タスクが一時停止中で、かつ未割り当ての場合、[一時停止] チェックボックスまたは [未割り当て] チェックボックス（または両方）がオンになっていると、タスクが表示されます。[一時停止] チェックボックスと [未割り当て] チェックボックスのどちらもオンになっていない場合、この結果は表示されません。
データグリッド
- 最初の列には、各行のチェックボックスが含まれています。管理者がこれらのチェックボックスを 1 つ以上オンにしてから、テーブルの上にある [割り当てを管理] ボタンをクリックすると、[割り当て] ページに移動し、選択したタスクがタスクフィルタにすでに設定されています。
- [タスク] 列にタスクの名前が表示されます。これは、タスクを作成したユーザーが設定するもので、内部識別子（「cloud_data_67523fe89343」など）とは対照的に、人間が読み取れる名前（「履歴書の分類」など）です。
- [Objective] 列には目標名が含まれます。これは、タスクの種類（画像分類、テキスト分類など）を表します。
- [Last enqueued] 列には、最新の質問がキューに追加された日付が表示されます（タスクに質問がまだキューに追加されていない場合は空になります）。
- [割り当て済み] 列には、現在タスクに割り当てられているラベラーの数が表示されます。また、マネージャーがラベラーの割り当てを解除できるダイアログにもアクセスできます。このダイアログから割り当てることはできません。割り当てるには、[課題] ページを使用する必要があります。
- [Questions Available/Enqueued] 列には、タスク内の質問のうち、現在ラベラーが作業できる質問の数と、タスク内で現在キューに登録されている質問の総数の比率が表示されます。
- [Progress] 列には、上記の比率がグラフとパーセンテージで表示されます。また、上のスクリーンショットの表の最下行に示すように、タスクが一時停止しているかどうか（質問が配信されていないかどうか）も表示されます。
- [アクション] 列には、タスクに対して実行できる追加のアクションを含むメニューが表示されます。
- 一時停止: タスクが現在一時停止していない場合にのみ使用できます。タスクを一時停止します。
- 再開: タスクが一時停止中の場合にのみ使用できます。タスクを再開します。
- 割り当て: 割り当てページへのショートカットが表示されます。フィルタでタスクが最初に選択されています。
データテーブルの上にはページ設定コントロールがあり、マネージャーは 1 ページに表示する結果の数を増やしたり、結果のページ間を移動したりできます。
ラベル付け担当者
ラベル付け担当者テーブルは、ラベル付け担当者プール内のすべてのラベル付け担当者のビューです。このページには、Labeler に関する基本的な統計情報と、Labeler をタスクにすばやく割り当てる方法が表示されます。
フィルタ
データグリッドの上にあるフィルタ ボックスでは、入力されたメールアドレスに一致する結果がフィルタされます。複数のメールアドレスを指定する場合は、カンマで区切ります。
ラベルを追加
![[Add Labeler] ボタン](https://cloud.google.com/document-ai/docs/images/lm_ui/add_labelers.png?hl=ja)
[追加] ボタンをクリックすると、マネージャーが 1 人以上のラベラーをプールに追加できるダイアログが開きます。複数のメールアドレスを入力する場合は、カンマで区切ります。言語コード（「en」、「de」など）をカンマで区切って入力することもできます。同じユーザー（メールアドレス）が複数のラベラー プールに表示され、各プールで異なる割り当てを持つことができます。
ダイアログには、追加されたラベル付け担当者と追加されなかったラベル付け担当者の概要が表示されます。チェックマークはラベル付け担当者が正常に追加されたことを意味し、赤い X はラベル付け担当者を追加できなかったことを意味します（たとえば、プールにすでに存在する場合など）。
データグリッド
- 最初の列には、各行のチェックボックスが含まれています。管理者がこれらのチェックボックスの 1 つ以上をオンにしてから、テーブルの上にある [割り当てを管理] ボタンをクリックすると、割り当てページに移動し、選択したラベラーがラベラー フィルタにすでに設定されています。
- [Email] 列には、ラベル付け担当者のメールアドレスが表示されます。
- [Tasks assigned] 列には、Labeler が割り当てられているタスクの数が表示されます。また、マネージャーが 1 つ以上のタスクからラベル付け担当者の割り当てを解除できるダイアログにもアクセスできます。このダイアログから割り当てることはできません。タスクを割り当てるには、マネージャーは [Assignment] ページを使用する必要があります。
- [言語] 列には、ラベル付けツールが関連付けられている言語が表示されます。これらの値は、キューに登録されたときの質問の構成に応じて、ラベル付け担当者がリースできる質問に影響する可能性があります。
- [アクション] 列には、タスクに対して実行できる追加のアクションを含むメニューが表示されます。
- 割り当て: 割り当てページへのショートカットが表示されます。フィルタでラベル付け担当者が最初に選択されています。
- 削除: 現在の Labeler プールから Labeler を削除します。
データテーブルの上にはページ設定コントロールがあり、マネージャーは 1 ページに表示する結果の数を増やしたり、結果のページ間を移動したりできます。
アサインメント
割り当てページでは、マネージャーはラベル付けプール内のラベル付け担当者のタスクへの割り当てを管理できます。
フィルタ
割り当てグリッドの内容は、2 つのフィルタ条件のセットによって決まります。Y 軸に表示される内容を決定するラベル付けツールフィルタと、X 軸に表示される内容を決定するタスクフィルタです。
ラベル付けツールフィルタ
- タスク選択ツール: このフィールドを使用して、管理者は 1 つ以上のタスクを選択できます。グリッドに表示されるラベル付け担当者のセットには、これらのタスクのいずれかに割り当てられているすべてのラベル付け担当者が含まれます。
- メールのフィルタ: このフィールドを使用して、クライアント センター（MCC）アカウントの管理者は 1 つ以上のメールアドレスをカンマで区切って指定できます。グリッドに表示されるラベル付け担当者のセットには、これらのメールアドレスのいずれかを持つすべてのラベル付け担当者が含まれます。
これらのフィルタはどちらか一方または両方を使用できますが、少なくとも 1 つは使用する必要があります。
タスクのフィルタ
- タスク選択ツール: このフィールドを使用して、管理者は 1 つ以上のタスクを選択できます。グリッドに表示されるタスクのセットには、選択したすべてのタスクが含まれます。
- その他のフィルタ:
- 一時停止中のすべてのタスク: このチェックボックスをオンにすると、一時停止中のタスクも表示されます。
- すべての完了済みタスク: これをオンにすると、完了済みのタスク（取り組むことができる質問がないタスク）も表示されます。
- 割り当てられていないすべてのタスク: このチェックボックスをオンにすると、表示されるタスクには、どのラベル付け担当者にも割り当てられていないタスクも含まれます。
- すべての進行中のタスク: これをオンにすると、表示されるタスクに「進行中」（一時停止、完了、未割り当てではない）のタスクも含まれます。
これらのフィルタは自由に組み合わせることができますが、少なくとも 1 つは使用する必要があります。これらのフィルタは互いに独立しています。ラベル付け担当者フィルタで選択したオプションはタスクフィルタで選択したオプションに影響せず、その逆も同様です。
課題グリッド
グリッドには、選択したフィルタ条件の結果が表示されます。ラベル付け担当者は Y 軸、タスクは X 軸を構成します。各セルで、マネージャーはチェックボックスをオンにして対応するラベル作成者を対応するタスクに割り当てるか、チェックボックスをオフにして対応するラベル作成者を対応するタスクから割り当て解除できます。
各行ヘッダーと列ヘッダーのセルにあるメニューにも、いくつかのショートカットがあります（縦に 3 つ並んだ点のボタンをクリックするとメニューが開きます）。たとえば、マネージャーが Labeler ヘッダー セルでメニューを開くと、その Labeler をすべてのタスクに一度に割り当てたり、割り当てを解除したりできます。また、マネージャーは [削除] メニュー オプションを使用して行または列を非表示にしたり、ラベル付け担当者が現在割り当てられているタスクや、タスクに現在割り当てられているラベル付け担当者を確認したりすることもできます。行と列を入力すると、管理者は利用可能なショートカットを使用して、割り当てグリッドから特定のラベル付け担当者またはタスクを削除できます。削除されたタスクまたはラベル付け担当者の割り当てステータスには影響しません。削除されたタスクまたはラベラーは、上部のそれぞれのフィルタを使用してグリッドに再度表示できます。変更を確定した後、課題グリッドに表示されているタスクとラベル付け担当者のみが課題の変更に使用されます。
割り当ての変更が完了すると、ページ上部の [変更を確定] ボタンが有効になります。[変更を破棄] ボタンも使用できます。このボタンをクリックすると、コミットされていない割り当ての変更がすべてリセットされます。
[変更を確定] ボタンをクリックすると、割り当てに対して行われるすべての変更のリストがマネージャーに表示されます。マネージャーは変更を確認した後、変更を中止するか、変更を確定できます。変更を中止すると、[課題] ページに戻り、課題の編集を続行できます。変更を確定すると、課題が確定され、[課題] ページに戻ります。
変更リスト ページで管理者が [コミット] をクリックするまで、グリッドで行った変更は保存されません。
ラベラー ワークベンチ
Labeler ワークベンチは、質問にラベルを付けるために Labeler が使用するインターフェースです。受け取る質問は、マネージャーによって割り当てられた、自分が所属するワーカープールによって異なります。
質問を取得する
ワークベンチが読み込まれると、ラベル付け担当者がラベル付けする質問が自動的に取得されます。この処理は、次の理由で失敗する可能性があります。
- ラベル付け担当者が現在のラベル付け担当者プール内のタスクに割り当てられていない（ワークベンチは一度に 1 つのラベル付け担当者プールを使用します）。別のラベル付け担当者プールでラベル付け担当者が利用できる質問がある可能性があります。
- ラベル付け担当者が 1 つ以上のタスクに割り当てられているが、そのラベル付け担当者が現在利用できる質問がタスクにない。これには、次のような理由が考えられます。
- キューに登録されている質問はありません
- すべての質問が複製を満たしている
- 残りの複製があるすべての質問は、その時点で作業中の他のラベラーにリースされています
- 利用可能なすべての質問に、ラベル付け担当者が持っていない言語が関連付けられている。
- ラベル作成者は、利用可能なすべての質問にすでに回答しています。これらの質問は、複製が完了するまで他のラベル付け担当者が利用できる場合があります。
- この質問の以前のインスタンスに回答を送信したため、ラベル付け担当者は利用可能な質問に回答できません。これらの質問は、他のラベル付け担当者が引き続き利用できる場合があります。
ワークベンチが読み込まれた後、ラベル付けツールで質問がなくなることがあります。この場合、ラベル付け担当者が質問を再度取得しようとするためのボタンが表示されます（上記と同じエラーが発生する可能性があります）。
![[その他の質問] ボタン](https://cloud.google.com/document-ai/docs/images/lm_ui/more_questions_button.png?hl=ja)
質問への対応
質問が Labeler にリースされると、ワークベンチに表示されます。具体的な外観は、キューに登録された質問と、タスクが使用するように構成されている UI によって異なります。
質問の割り当ての有効期限が切れるまで、ワークベンチでタイマーが開始されます。タイマーが終了すると、質問は期限切れとなり、他の評価者に割り当ててキューを維持するためにワークベンチから削除されます。
ラベル付け担当者が質問に回答すると、ワークベンチは自動的に次の質問を読み込みます。それ以外の場合、ラベル付け担当者は上記の [Get More Questions]（質問をさらに取得）ボタンを使用して、質問をさらにリクエストする必要があります。
提出ステータス
ワークベンチには、回答の送信ステータス（送信が成功したか、失敗したか、まだ進行中か）を確認できる場所がいくつかあります。
通知ダイアログ
このダイアログには、ラベル付け担当者が送信した回答のステータスが表示されます。
- 左側のアイコンと数字（オレンジ色の時計）は、まだ送信中の回答を表しています。
- 中央のアイコン（赤い三角形）は、送信に失敗した回答を表します。送信の失敗は、サーバーエラーやクライアントのインターネット接続の問題が原因である可能性があります。
- 右側のアイコンは、正常に送信された回答を表します。
カウントはブラウザに保持されません。ワークベンチを閉じて再度開く（またはページを更新する）と、カウンタは 0 にリセットされます。
その他のツール
メイン ツールバーの右端にある ボタンから開くメニューには、追加のツールがいくつか用意されています。
![[その他のツール] ボタン](https://cloud.google.com/document-ai/docs/images/lm_ui/more_tools.png?hl=ja)
次のオプションがあります。
- スキップ: タスクでスキップが有効になっている場合、現在の質問をスキップします。これは通常、UI に表示される質問が破損している場合に使用されますが、個々のマネージャーが、質問をスキップするタイミングについてラベル付け担当者に指示を出すこともあります。スキップは回答としてカウントされます。スキップされたことと、その理由を示す追加のメタデータとともに保存されます。
- Find Answers（回答を探す）: 回答ページに移動します。回答者は、質問 ID を検索して、任意の質問に対する回答を表示できます。ラベル付け担当者は自分の回答のみを表示できますが、ラベル付け担当者プールの管理者はすべての回答を表示できます。
質問キュー
また、回答を送信した質問のキューもあります。
この場合、最初の回答は正常に送信されましたが、次の回答は送信できませんでした。次の回答が正常に送信され、4 番目のバブルは現在読み込まれている質問とその残り時間を表しています。最後のバブルには、ラベラーにリースできる質問の数が表示されます。これにより、ラベル付け担当者はラベル付けする質問が残り少なくなっていることを把握し、マネージャーに通知できます。
ラベラーは、対応するバブルをクリックして、前の質問に戻ることができます。質問の有効期限が切れていない場合、ラベル付け担当者は回答を変更して再度送信できます。最新の回答のみが保存され、以前の回答は上書きされます。回答の送信が最終的なものである場合、この機能を使用しないよう指示されることがあります。
その他のツールバー
ワークベンチの追加ツールを含むツールバーを使用できます。デフォルトでは非表示になっていますが、必要に応じて展開できます。
ここでは、次の 3 つのボタンを使用できます。
- 全画面: プラグインを全画面モードで開きます。ワークベンチのみが表示され、ブラウザの UI とオペレーティング システムのツールバーが非表示になります。ラベリング担当者は、Esc キーを押すか、同じボタンをもう一度クリックすることで、このモードを終了できます。
- 再読み込み: 現在表示されているプラグインを更新します。ページの再読み込みでは、経過時間や送信された回答などの状態がクリアされる可能性があり、ページを再読み込みしても同じ質問が再び表示されるとは限らないため、ほとんどの場合、ブラウザからページを再読み込みするよりもこの方法が優れています。
- 質問情報: 現在表示されている質問に関する情報（質問 ID やプラグイン名など）が表示されます。この情報は、タスク マネージャーの手順に応じて、特定の質問に関する問題を報告する際に役立つ場合があります。
分析ページ
[アナリティクス] ページには、最近の貢献度が表示されます。
上部には、貢献度のグラフが表示されます。その下には、同じ情報が表形式で表示されます。ラベル付け担当者は、事前に定義されたいくつかの期間から選択してデータを表示できます。アナリティクス ページにアクセスするには、ツールバーの [アナリティクス] ボタンをクリックします。
プラグイン用のスペースを確保する
プラグインで使用できる容量を調整するためのコントロールがいくつかあります。
一番上のボタン（斜めの矢印）は、One Google バー（そのすぐ上にある Google アカウントの切り替えを含むバー）の表示 / 非表示を切り替えます。下部のボタン（下向き矢印）は、追加のツールバーの表示 / 非表示を切り替えます。全画面モードと組み合わせると、両方のツールバーを非表示に切り替えることで、プラグインにほぼ全画面が表示されます。