クイックスタート: 審査タスクを完了する

各プロセッサは「HITL タスク」を作成し、そのタスクを人間のラベラーのプール（「ラベラー プール」）に割り当てます。ラベラー プールのラベラーは、プロセッサによって処理されたドキュメントを確認します。処理されたドキュメントは、割り当てられたラベル付けプールによる HITL 審査のためにタスクにキューに追加されます。

始める前に

続行する前に、前のクイックスタート: 人間による審査を構成するを完了してください。

ラベル付け担当者を追加する

  1. 人間によるレビューを構成すると、次のようなメールが届きます。
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group

Hello AI Platform Customer,

You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/

Sincerely,
The Google Cloud AI Team

  1. メール内のリンクをクリックするか、リンクを切り取ってブラウザに貼り付け、マネージャー ページに移動します。

  2. 新しく作成されたプロセッサによって作成されたタスクは、プロセッサと同じ名前（「部門 A 請求書」など）で、[タスク] タブに表示されます。

  3. [ラベル作成者] タブをクリックします。

  4. [ラベル指定者を追加] をクリックし、ラベル指定者（メールアドレス）を 1 つ以上追加します。管理者はラベル付け担当者であるため、自分自身を追加できます。

  5. 新しく作成されたラベル プールの場合、タスクは [割り当て] タブで個々のラベル ライターに明示的に割り当てる必要があります。つまり、ラベル付けプールを追加しても、これらの新しいラベル付けツールにタスクが自動的に割り当てられるわけではありません。ラベラー プールでラベラーがすでにプロビジョニングされている場合、プールはタスクに自動的に割り当てられます。

審査のために最初のドキュメントを投稿する

  1. 作成したプロセッサを介してドキュメントを送信して抽出します。必要に応じて、入門ガイドを参照してください。現在、オンライン（同期）呼び出しとバッチ（非同期）呼び出しの両方で、サポートされているプロセッサの人間によるレビューのルーティングがサポートされています。

    テスト目的で、信頼スコアがしきい値を下回って人間によるレビューをトリガーするように、既知の不正確な抽出を使用することも、しきい値を 100% に設定することもできます。ドキュメントの上限は通常 5 ページ、最大 20 MB ですが、プロセッサごとの上限をご確認ください。

    人間によるレビューにラウトされた各ドキュメントを追跡する API があります。処理者からのレスポンスの一部として、人間によるレビュー内のドキュメントのオペレーション ID（ジョブ名）である humanReviewOperation 文字列があります。この長時間実行オペレーション（LRO）のステータスをクエリできます。

    人間による確認にラウトされたドキュメントのステータスは、projects.locations.operations.get メソッドでクエリできます。

  2. reviewDocument メソッドを使用すると、ドキュメントを人間によるレビューに強制的に回すことができます（プロセッサ固有です）。

    reviewDocument メソッドを使用するには、[人間による審査を有効にする] チェックボックスをオンにする必要があります。この API を使用しても、構成設定が上書きされることはありません。

    この方法を使用するには、人間による審査をリクエストするガイドをご覧ください。

ドキュメントを確認する

  1. ドキュメントが人間による審査プロセスをトリガーしても、プールにラベル付け担当者がいない場合は、マネージャーにメールが届きます。

    > Hello AI Platform Customer,
>
> There is a running task for Project  with Job ID 404298342016955xxxx,\
> Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\
> Display name \
> datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\
> replication count 1\
> Please see attachment for instruction.\
> Please add labelers and have them finish the task at Labeler console \
> [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\
> To view details, visit Manager console \
> [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.
>
> Sincerely,\
The Google Cloud AI Team

これらのリンクは、ラベル付けマネージャーがラベル付け作業を割り当てるために使用します。

  1. ラベラーがラベリング グループに登録されておらず、新たに追加された場合は、ラベリング マネージャーが、追加されたラベラーに手順を記載した同様のメールを送信する必要があります。

ラベラーの手順

ラベル付け担当者の手順

  1. ラベラーのメールアドレス

    ラベラーがステップ 2e でラベリング グループにすでに登録されている場合は、ラベラーに次のようなメールが届き、ラベラーは自動的に割り当てられます。

    画像

    このメール内のリンクは、選択したラベラーがドキュメントのラベル付け作業を行うためのメカニズムです。

  2. ラベル付けのアクション:

    ラベル付け担当者がリンクをクリックしてラベル付けを行うと、次のインタラクティブ AI 人間によるレビューのユーザー インターフェースが表示されます。黄色でハイライト表示されている行は、検証に失敗した行（つまり、構成された信頼スコアのしきい値を下回っている行）であり、確認が必要です。

    画像

  3. 確認 認識されたテキスト フィールドにカーソルを合わせると、認識されたテキストと、その下に小さいフォントでフィールド名（スキーマ）が表示されます。左側のパネルでも行がハイライト表示されます。

    ユーザーは、ツールバーの左上にある拡大鏡アイコンを使用してズームイン/ズームアウトできます。

    画像

  4. フィールドを変更する

    フィールドを左クリックすると、編集できます。

    左側のパネルで値またはラベルを変更できます。[適用] をクリックします。

    または、ドキュメント画像の角にあるサイズ変更アイコンをクリックして、ドキュメントのテキストの境界ボックスのサイズを変更することもできます。

    ご覧のとおり、別のテキストを選択すると、左側のパネルのフィールドの値のテキストが変更されます。必要に応じて、このテキストをさらに編集できます。[適用] をクリックします。

    右上のページコントロールを使用して、すべてのページを確認してください。

必要なラベルの変更をすべて行った後、左下の [送信] をクリックします。結果の JSON は [結果の場所] フォルダに保存されます。

ドキュメントに適切にラベルを付けられない場合は、左下の [REJECT] をクリックし、ドキュメントの不承認の理由を選択します。 - 理由を選択して、[Reject document] をクリックします。

ラベル付け担当者は、右上の次のアイコンをクリックすることもできます。

  • アナリティクス - 確認したドキュメントの数（回答）と合計時間を表示します。
  • 通知 - 受信した通知を表示します。
  • その他アイコン（3 つの点） - ドキュメントをスキップする、回答を検索する、フィードバックを送信する（有効な場合）ことができます。
  • タイトルバーを切り替える（斜め矢印） - スペースを広げるために DataCompute のタイトルバーを非表示（または表示）にします。

ラベル付けマネージャー

Cloud Storage からドキュメントを確認する

書類を確認するには、次の 2 つの方法があります。

  • オプション 1:

    1. 以前に構成したロケーションから Cloud Storage を見つける
    2. ドキュメントを取得してダウンロードする

  • オプション 2:

    1. 予測レスポンスからドキュメントを取得するための URI を記憶する
    2. URI を呼び出して審査済みドキュメントを取得する

次のステップ