ラベル マネージャー UI とラベラー ワークベンチ
マネージャー UI
マネージャー UI を使用すると、マネージャー1 はタスク2 でラベラーの作業を管理できます。管理者は、この UI を使用してラベル付け担当者を追加または削除したり、タスクを割り当てたり解除したり、タスクの進行状況や各ラベル付け担当者のパフォーマンスに関する分析情報をモニタリングしたりできます。
左側には、ユーザーがマネージャーであるすべての Google Cloud プロジェクトで有効になっているラベル作成者プール3のリストが表示されます。ラベラー プール名の右側にある数値は、そのプール内のラベラーの数です。その右側には、UI のメイン コンテンツがあります。このコンテンツは次の 4 つのタブで構成されています。
ToDo リスト
タスク表は、ラベル作成者プールのプロジェクト内のすべてのタスクのビューです。 Google Cloud タスクに関する基本的な統計情報のほか、タスクの一時停止機能や、タスクにラベル付け担当者を割り当てるクイック ルートが表示されます。
フィルタ
データグリッドの上部には、データグリッドに表示されるタスクを決定する一連のフィルタ コントロールがあります。
- タスクを名前で検索: 入力した名前を含む結果にフィルタされます。予測入力機能が含まれている。
- 進行中: オンにすると、一時停止、完了、未割り当てではないすべてのタスクが結果に含まれます。これはデフォルトで有効です。
- 一時停止中: オンにすると、一時停止中のすべてのタスクが結果に含まれます。
- 完了済み: チェックすると、完了済み（つまり、利用可能な質問がない）タスクがすべて結果に含まれます（質問がまだキューに追加されていないか、キューに追加された質問がすべて回答済みであるか）。
- 未割り当て: オンにすると、ラベル付け担当者が割り当てられていないすべてのタスクが結果に含まれます。
フィルタが選択されていない場合はエラーとなり、フィルタを選択するようマネージャーに指示するページが表示されます。チェックボックスのいずれかがオフになっている場合、そのチェックボックスの条件に一致するタスクは、チェックボックスがオンになっている条件のいずれかに一致しない限り、除外されます。たとえば、タスクが一時停止されていて割り当てられていない場合は、[一時停止] チェックボックスまたは [割り当てなし] チェックボックス（またはその両方）がオンになっている場合に表示されます。[一時停止中] チェックボックスと [未割り当て] チェックボックスのどちらも選択されていない場合、この結果は表示されません。
データグリッド
- 最初の列には、各行のチェックボックスがあります。マネージャーがこれらのチェックボックスを 1 つ以上選択し、表の上部にある [割り当てを管理] ボタンをクリックすると、[割り当て] ページに移動します。このページの [タスク] フィルタには、選択したタスクがすでに表示されています。
- [タスク] 列にタスクの名前が表示されます。これはタスクを作成するユーザーによって設定され、内部識別子（「cloud_data_67523fe89343」など）ではなく、人間が読み取れる名前（「履歴書の分類」など）です。
- [目標] 列には、目標の名前が含まれます。これは、タスクの種類（画像分類、テキスト分類など）を表します。
- [Last enqueued] 列には、最新の質問がキューに追加された日付が表示されます（タスクに質問がまだキューに追加されていない場合は空白です）。
- [割り当て済み] 列には、現在タスクに割り当てられているラベル数の値が表示されます。また、マネージャーがラベル付け担当者の割り当てを解除できるダイアログにもアクセスできます。マネージャーはこのダイアログから割り当てることはできません。割り当てるには、[割り当て] ページを使用する必要があります。
- [利用可能な質問/キューに追加済みの質問] 列には、ラベル作成者が現在処理できるタスク内の質問の数と、タスクに現在キューに追加されている質問の合計数の比率が表示されます。
- [進行状況] 列には、上記の比率がグラフと割合ベースで表示されます。また、上記のスクリーンショットの表の一番下の行に示すように、タスクが一時停止中（質問を配信していない）かどうかも示されます。
- [アクション] 列には、タスクに対して実行できる追加のアクションを含むメニューが表示されます。
- 一時停止: タスクが現在一時停止されていない場合にのみ使用できます。タスクを一時停止します。
- 再開: タスクが一時停止中の場合のみ使用できます。タスクが再開されます。
- 課題: 課題ページへのショートカットです。フィルタでタスクが最初に選択されます。
データ表の上部にはページ設定コントロールがあり、マネージャーはページあたりの表示結果数を増やしたり、結果のページ間を移動したりできます。
ラベル付け担当者
ラベル付けツールの表は、ラベル付けツールプール内のすべてのラベル付けツールのビューです。ラベルラーに関する基本的な統計情報のほか、ラベルラーをタスクに簡単に割り当てる方法も表示されます。
フィルタ
データグリッドの上部にあるフィルタ ボックスを使用すると、入力したメールアドレスを含む結果をフィルタできます。複数のメールアドレスをカンマで区切って指定できます。
ラベル付けツールを追加する
[追加] ボタンをクリックすると、ダイアログが開き、マネージャーは 1 人以上のラベル付け担当者をプールに追加できます。複数のメールアドレスをカンマで区切って入力できます。言語コード（「en」、「de」など）をカンマで区切って入力することもできます。同じ人物（メールアドレス）が複数のラベラー プールに表示され、各プールで異なる割り当てを持つことができます。
ダイアログには、追加されたラベルと追加されなかったラベルの概要が表示されます。チェックマークは、ラベル指定ツールが正常に追加されたことを示します。赤い X は、ラベル指定ツールを追加できなかったことを示します（プールにすでに存在している場合など）。
データグリッド
- 最初の列には、各行のチェックボックスがあります。マネージャーがこれらのチェックボックスを 1 つ以上選択し、表の上部にある [割り当てを管理] ボタンをクリックすると、[割り当て] ページに移動します。このページでは、選択したラベル付け担当者が [ラベル付け担当者] フィルタにすでに入力されています。
- [Email] 列には、ラベラーのメールアドレスが表示されます。
- [割り当てられたタスク] 列には、ラベル付け担当者に割り当てられたタスクの数が表示されます。また、マネージャーが 1 つ以上のタスクからラベル付け担当者の割り当てを解除できるダイアログにもアクセスできます。マネージャーはこのダイアログから割り当てることはできません。タスクを割り当てるには、マネージャーが [割り当て] ページを使用する必要があります。
- [言語] 列には、ラベル付けツールが関連付けられている言語が表示されます。これらの値は、キューに登録されたときの質問の構成に応じて、ラベル付け担当者がリースできる質問に影響する可能性があります。
- [アクション] 列には、タスクに対して実行できる追加のアクションを含むメニューが表示されます。
- アサインメント: アサインメント ページへのショートカットです。フィルタでラベル指定者が最初に選択されています。
- 削除: 現在のラベルラー プールからラベルラーを削除します。
データ表の上部にはページ設定コントロールがあり、マネージャーはページあたりの表示結果数を増やしたり、結果のページ間を移動したりできます。
アサインメント
[割り当て] ページでは、マネージャーがラベル付け者プール内のラベル付け者に対するタスクの割り当てを管理できます。
フィルタ
課題グリッドの内容は、2 つのフィルタ条件によって決まります。Y 軸に表示される内容を決定するラベル フィルタと、X 軸に表示される内容を決定するタスク フィルタです。
ラベラー フィルタ
- タスク選択ツール: このフィールドを使用して、マネージャーは 1 つ以上のタスクを選択できます。グリッドに表示されるラベル付け担当者には、これらのタスクのいずれかに割り当てられているすべてのラベル付け担当者が含まれます。
- メールフィルタ: このフィールドを使用して、1 つ以上のメールアドレスをカンマで区切って指定できます。グリッドに表示されるラベル作成者のセットには、これらのメールアドレスのいずれかを持つすべてのラベル作成者が含まれます。
これらのフィルタは 1 つまたは両方を使用できますが、少なくとも 1 つは使用する必要があります。
タスクのフィルタ
- タスク選択ツール: このフィールドを使用して、マネージャーは 1 つ以上のタスクを選択できます。グリッドに表示されるタスクのセットに、選択したすべてのタスクが含まれます。
- その他のフィルタ:
- 一時停止中のすべてのタスク: このチェックボックスをオンにすると、一時停止中のタスクも表示されます。
- 完了したすべてのタスク: このチェックボックスをオンにすると、完了したタスク（取り組むことができる質問がないタスク）も表示されます。
- 割り当てられていないすべてのタスク: このチェックボックスをオンにすると、ラベル付け担当者に割り当てられていないタスクも表示されます。
- 進行中のすべてのタスク: このチェックボックスをオンにすると、表示されるタスクに「進行中」（一時停止、完了、未割り当てではない）タスクも含まれます。
これらのフィルタは組み合わせて使用できますが、少なくとも 1 つは使用する必要があります。これらのフィルタは互いに独立しています。ラベル作成ツールのフィルタで選択したオプションは、タスクのフィルタで選択したオプションに影響しません。その逆も同様です。
アサインメント グリッド
グリッドには、選択したフィルタ条件の結果が表示されます。ラベルは Y 軸、タスクは X 軸になります。マネージャーは、セルごとにチェックボックスをオンにして対応するラベラーを対応するタスクに割り当てたり、チェックボックスをオフにして対応するラベラーを対応するタスクから割り当て解除したりできます。
また、各行ヘッダーと列ヘッダーのセルにあるメニューからショートカットを使用することもできます（メニューは、縦に 3 つ並んだ点のボタンをクリックして開きます）。たとえば、マネージャーがラベル付け担当者のヘッダー セルでメニューを開くと、そのラベル付け担当者をすべてのタスクに一度に割り当てたり、割り当てを解除したりできます。マネージャーは、[削除] メニュー オプションを使用して行または列を非表示にしたり、ラベル付け担当者が現在割り当てられているタスクや、タスクに現在割り当てられているラベル付け担当者を確認したりすることもできます。行と列にデータを入力する際に、マネージャーは利用可能なショートカットを使用して、割り当てグリッドから特定のラベルラまたはタスクを削除できます。削除されたタスクまたはラベル付け者の割り当てステータスには影響しません。削除したタスクまたはラベル設定ツールは、上部にあるそれぞれのフィルタを使用してグリッドに再度表示できます。変更を commit した後に課題を変更する際に使用されるのは、課題グリッドに表示されているタスクとラベルのみです。
課題に変更を加えると、ページ上部にある [Commit changes] ボタンが有効になります。[変更を破棄] ボタンも使用できます。このボタンをクリックすると、未 commit の課題の変更がすべてリセットされます。
[変更を commit] ボタンをクリックすると、割り当てに加えられるすべての変更のリストがマネージャーに表示されます。マネージャーは変更を確認した後、変更を中止するか、commit できます。変更を中止すると、[課題] ページに戻り、課題の編集を続行できます。変更を commit すると、課題が commit され、[課題] ページに戻ります。
マネージャーが変更リスト ページで [Commit] をクリックするまで、グリッドで行った変更は保存されません。
ラベラー ワークベンチ
ラベラー ワークベンチは、ラベラーが質問にラベルを付けるために使用するインターフェースです。エージェントが受け取る質問は、マネージャーによって割り当てられた、エージェントが所属するワーカープールによって異なります。
質問の取得
ワークベンチが読み込まれると、ラベル付けするラベル作成者向けの質問を自動的に取得しようとします。次のような理由で失敗することがあります。
- ラベル付け担当者は、現在のラベル付け担当者プールのタスクに割り当てられていません（ワークベンチは一度に 1 つのラベル付け担当者プールを使用します）。別のラベル付け担当者プールにあるラベル付け担当者向けの質問がある場合があります。
- ラベラーが 1 つ以上のタスクに割り当てられているが、現在、その特定のラベラーが利用できる質問がどのタスクにも含まれていない。これにはいくつかの理由が考えられます。
- キューに追加された質問はありません
- すべての質問が複製の要件を満たしている
- 残りのレプリケーションがある質問はすべて、その時点で作業している他のラベル付け担当者にリースされています
- 使用可能な質問にはすべて、ラベル付けツールにない言語が関連付けられています。
- ラベル登録者は、利用可能なすべての質問にすでに回答しています。これらの質問は、レプリケーションが完了するまで、他のラベル作成者が引き続き使用できる場合があります。
- この質問の以前のインスタンスに回答を送信したため、ラベル付け担当者は利用可能な質問に回答できなくなりました。これらの質問は、他のラベル付け担当者には引き続き表示されます。
ワークベンチが読み込まれると、ラベルツールで質問が不足することがあります。この場合、ラベル付け担当者が質問を再度取得するためのボタンが表示されます（上記と同じ障害が発生する可能性があります）。
![[その他の質問を表示] ボタン](https://cloud.google.com/document-ai/docs/images/lm_ui/more_questions_button.png?hl=ja)
質問への対応
ラベラーに質問がリースされると、ワークベンチに表示されます。具体的な表示は、キューに登録された質問と、タスクで使用するように構成されている UI によって異なります。
ワークベンチでは、質問の課題が期限切れになるまでタイマーが開始されます。タイマーが終了すると、質問は期限切れになり、他のレーティング担当者に割り当てられてキューを維持するために、ワークベンチから削除されます。
ラベル付け担当者が質問に回答すると、ワークベンチに次の質問が自動的に読み込まれます。それ以外の場合は、上記の [質問を追加] ボタンを使用して、ラベル付け担当者が追加の質問をリクエストする必要があります。
提出ステータス
ラベル付け担当者は、ワークベンチのいくつかの場所から、回答の送信ステータス（送信が成功したか、失敗したか、まだ進行中か）を確認できます。
通知ダイアログ
このダイアログには、ラベル指定者が送信した回答のステータスが表示されます。
- 左側のアイコンと数字（オレンジ色の時計）は、まだ送信中である回答を表します。
- 中央のアイコン（赤い三角形）は、送信に失敗した回答を表します。送信に失敗した場合は、なんらかのサーバー エラー、またはクライアントのインターネット接続に問題がある可能性があります。
- 右側のアイコンは、正常に送信された回答を表します。
カウントはブラウザに保持されません。ワークベンチを閉じて再度開く（またはページを更新する）と、カウンタは 0 にリセットされます。
その他のツール
メインツールバーの末尾にある ボタンから開くメニューには、その他のツールも用意されています。
次のオプションがあります。
- スキップ: タスクでスキップが有効になっている場合、現在の質問をスキップします。これは通常、UI に表示される質問が破損している場合に使用されますが、個々のマネージャーが質問をスキップするタイミングについてラベル付け担当者に指示を出す場合があります。スキップは回答としてカウントされ、スキップされた理由を示す追加のメタデータとともに保存されます。
- 回答を検索: [回答] ページに移動します。このページでは、ラベル付け担当者が質問 ID を検索して、質問に対する回答を確認できます。ラベル付け担当者は自分の回答のみを表示できますが、ラベル付け担当者プールのマネージャーはすべての回答を表示できます。
質問キュー
ラベル付け担当者が回答を送信した質問のキューもあります。
この場合、最初の回答は正常に送信されましたが、次の回答は送信されませんでした。次の回答が正常に送信されました。4 つ目のバブルは、現在読み込まれている質問と残り時間を表します。最後のバブルには、ラベル付け担当者にリースできる質問の数が表示されます。これにより、ラベル付けする質問が残り少なくなってきたことをラベル付け担当者が把握し、マネージャーに報告できます。
ラベル付け担当者は、対応するバブルをクリックして前の質問に戻ることができます。質問の有効期限が切れていない場合、ラベル付け担当者は回答を変更して再度送信できます。保存されるのは最新の回答のみで、以前の回答は上書きされます。回答の送信が最終的なものである場合、一部のタスクではこの機能を使用しないように指示されている場合があります。
その他のツール ツールバー
ワークベンチ用の追加ツールを含むツールバーがあります。デフォルトでは非表示になっていますが、必要に応じて展開できます。
次の 3 つのボタンがあります。
- 全画面表示: プラグインを全画面モードで開きます。これにより、ワークベンチのみが表示され、ブラウザ UI とオペレーティング システム ツールバーは非表示になります。ラベラーはこのモードを終了するには、Esc キーを押すか、同じボタンをもう一度クリックします。
- 再読み込み: 現在表示されているプラグインを更新します。ページを再読み込みすると、所要時間や送信された回答などの状態がクリアされる可能性があるため、ほとんどの場合、ブラウザからページを再読み込みするよりもこの方法の方が優れています。また、ページを再読み込みしても、ラベル付け担当者が同じ質問を再度受け取るとは限りません。
- 質問情報: 現在表示されている質問に関する情報（質問 ID、プラグイン名など）が表示されます。この情報は、タスク マネージャーの指示に応じて、特定の問題に関する問題を報告する際に役立つ場合があります。
分析ページ
アナリティクス ページには、ラベル付け担当者の最近の貢献が表示されます。
上部には掛金率のグラフが表示されます。その下には、同じ情報が表形式で表示されます。ラベル付け担当者は、事前定義されたいくつかの期間から選択してデータを表示できます。アナリティクス ページには、ツールバーのアナリティクス ボタンをクリックしてアクセスできます。
プラグイン用のスペースを確保する
プラグインが使用できる容量を調整するためのコントロールがいくつかあります。
上部のボタン（斜めの矢印）は、Google アカウント切り替えボタンを含む、その上にあるバーである「One Google バー」の表示を切り替えます。下部にあるボタン（下矢印）を押すと、その他のツール ツールバーの表示が切り替わります。全画面モードと組み合わせて、両方のツールバーを非表示に切り替えると、プラグインが画面のほぼ全体を占有します。