カスタム ドキュメント分類器を作成、使用、管理する

カスタム ドキュメント分類器を作成、使用、管理する

カスタム分類を使用してドキュメントを分類します。独自のドキュメントとカスタムクラスを使用してゼロから構築します。生成 AI の側面により、少数ショット学習とファインチューニングが可能になります。このため、少ないサンプルでも反復的な自動ラベル付けで修正が行われ、精度が向上します。

カスタム分類は、次の 3 つの一般的なユースケースに対応しています。

• 事前トレーニング済みモデル: 事前トレーニング済みの生成 AI 基盤モデルを使用して、指定したラベルでドキュメントをすばやく分類します。
• ファインチューニング: 独自のデータとラベルを使用して生成 AI 基盤モデルをトレーニングすることで、精度を向上させます。
• カスタムモデルをトレーニングする: 独自のデータとラベルを使用して、非生成 AI カスタム エクストラクタをトレーニングします。

カスタム分類モデルのバージョン

モデル バージョン	説明	リリース チャンネル	ML 処理（米国 / EU）	ファインチューニング（米国 / EU）	リリース日
pretrained-foundation-model-v1.4-2025-05-16	Gemini 2.0 Flash LLM を搭載したリリース候補。高度な OCR 機能も含まれています。	リリース候補	○	米国、EU（プレビュー）	2025 年 5 月 16 日
pretrained-classifier-v1.5-2025-08-05	Gemini 2.5 Flash LLM を搭載したリリース候補。高度な OCR 機能も含まれています。	リリース候補	○	米国、EU（プレビュー）	2025 年 8 月 5 日

カスタム分類子モデルでは信頼スコアはサポートされていません。

Google Cloud コンソールでカスタム分類を作成する

ドキュメントに特化し、データを使用してトレーニングと評価を行うカスタム分類を作成できます。このプロセッサは、一連のユーザー定義のクラスからドキュメントのクラスを識別します。このトレーニング済みプロセッサを追加のドキュメントに使用できます。通常は、異なるタイプのドキュメントに対してカスタム分類を使用し、次に ID を使用して抽出プロセッサにそのドキュメントを渡してエンティティを抽出します。

プロセッサを作成して使用する一般的なプロセスについては、方法のセクションをご覧ください。

注: ドキュメントがクラスごとに個別のフォルダに保存されている場合は、インポート時にクラスを指定することで、手順 4 をスキップできます。

ワークフローに合わせて独自の構成の組み合わせを選択できます。

---

このタスクを Google Cloud コンソールで直接行う際の順を追ったガイダンスについては、「ガイドを表示」をクリックしてください。

ガイドを表示

---

始める前に

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Document AI, Cloud Storage APIs.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Document AI, Cloud Storage APIs.

Enable the APIs

プロセッサの作成

次の手順を行います。

1. Workbenchに移動します。

2. カスタム ドキュメント分類器では、[プロセッサを作成] を選択します。

   

3. [プロセッサを作成] メニューで、プロセッサの名前を入力します（例: my-custom-document-classifier）。

   

4. 最も近いリージョンを選択します。

5. [作成] を選択します。[プロセッサの詳細] タブが表示されます。

データセットの構成

この新しいプロセッサをトレーニングするには、分割して分類するドキュメントをプロセッサが識別できるように、トレーニング データとテストデータを含むデータセットを作成する必要があります。このデータセットには新しいロケーションが必要です。これは空の Cloud Storage バケットまたはフォルダにすることも、社内で管理されるロケーションを許可することもできます。

[プロセッサの詳細] タブが表示されたら、次のことができます。

1. Cloud Storage を使用する場合は、[Google が管理するストレージ] を選択します。
2. 顧客管理の暗号鍵（CMEK）を使用するために独自のストレージを使用する場合は、[独自のストレージ ロケーションを指定] を選択し、データセットを作成するの手順を行います。



注: データセットのフォルダは読み取り専用として扱う必要があります。変更や追加は行わないでください。

ドキュメントをデータセットにインポートする

次に、ドキュメントをデータセットにインポートします。

1. [ビルド] タブで、[ドキュメントのインポート] を選択します。

   

2. ストレージ バケットを使用する場合は、バケットのソースパスを入力する必要があります。このトレーニングの例では、このバケット名を [転送元のパス] に入力します。これは 1 つのドキュメントに直接リンクしています。

   cloud-samples-data/documentai/Custom/Patents/PDF/computer_vision_20.pdf
   

3. [データ分割] で、[未割り当て] を選択します。このフォルダ内のドキュメントには、テストセットやトレーニング セットに割り当てられません。[自動ラベル付けを使用したインポート] をオフのままにします。

4. [インポート] を選択します。 Document AI により、ドキュメントがバケットからデータセットに読み込まれます。インポート バケットの変更や、インポート完了後のバケットからの読み取りは行われません。

5. 省略可: インポートしたドキュメントを削除するには、[ビルド] タブで [データセットを管理] に移動し、ドキュメントを選択して [削除] をクリックします。

ドキュメントをインポートする際、必要に応じて、インポート時に設定されたトレーニングまたはテストにドキュメントを割り当てるか、後からの割り当てを待つことができます。

インポートするデータの準備について詳しくは、データ準備ガイドをご覧ください。

プロセッサ スキーマを定義する

プロセッサ スキーマは、ドキュメントをデータセットにインポートする前と後のどちらでも作成できます。スキーマには、ドキュメントにアノテーションを付けるために使用するラベルが用意されています。

1. [ビルド] タブで、[データセットを管理] > [スキーマを編集] を選択します。[スキーマの編集] ページが開きます。

2. [ラベルを作成] を選択します。

3. ラベルの名前を入力します。

4. [作成] を選択します。スキーマの作成と編集の詳細な手順については、プロセッサ スキーマを定義するをご覧ください。

   注: プロセッサのトレーニングが完了すると、ラベルを削除できなくなります。使用しないラベルは無効にしてください。

5. プロセッサ スキーマ用に次のラベルをそれぞれ作成します。

   • computer_vision
   • crypto
   • med_tech
   • other
   ヒント: 説明フィールドを使用して、ラベルを説明するプロンプトを入力します。これにより、モデルをトレーニングし、同様に記述されたラベルを区別できます。詳しくは、プロパティの説明を含むラベルをご覧ください。

6. ラベルが完成したら、[保存] を選択します。

   

注: ラベルはフラットで、子エンティティに対応していません。

ドキュメントにラベルを付ける

ドキュメント内のテキストを選択してラベルを適用するプロセスを「アノテーション」と呼びます。

1. [ビルド] タブに戻り、ドキュメントを選択して [データセットの管理] コンソールを開きます。

2. オプションの中から、ドキュメントに適したラベルを選択します。提供されたサンプル ドキュメントを使用している場合は computer_vision を選択します。

   ラベル付けすると、ドキュメントは次のようになります。

3. ドキュメントのアノテーションが完成したら、[ラベル付きとしてマーク] を選択します。

   [データセットの管理] タブの [ドキュメント] パネルに、1 つのドキュメントにラベルが付けられていることが示されます。

ヒント: 手動でラベルを付ける場合や、バッチ ラベリングを使用する場合は、細心の注意を払ってください。Tidy ラベリングは、ゼロショット ラベリングと少数ショット ラベリングを使用して手法を改善します。

アノテーション付きドキュメントをトレーニング セットに割り当てる

このサンプル ドキュメントにラベルを付けるのが完了したので、これをトレーニング セットに割り当てることができます。

1. [データセットの管理] タブで、[すべて選択] チェックボックスをオンにします。

2. [セットに割り当て] リストから [トレーニング] を選択します。

[ドキュメント] パネルに、1 つのドキュメントがトレーニング セットに割り当てられていることが示されます。

事前にラベル付けされたデータをトレーニング セットとテストセットにインポートする

このガイドでは、あらかじめラベル付けされたデータが用意されています。 独自のプロジェクトで作業する場合は、データのラベル付けの方法を決定する必要があります。ラベル付けの方法をご確認ください。

Document AI カスタム プロセッサでは、ラベル付けするドキュメント タイプごとに、トレーニング セットとテストセットの両方で少なくとも 1 つのドキュメントが必要です。最適なパフォーマンスを得るには、ラベルにつき 10 個以上のドキュメントを含めることをおすすめします。5 つのラベルの場合、トレーニング用に 50 個、テスト用に 50 個のドキュメントが必要です。一般に、トレーニング データが多いほど精度が高くなります。

1. [ドキュメントをインポート] を選択します。

2. [ソースパス] に次のパスを入力します。このバケットには、事前にラベル付けされたドキュメントが Document JSON 形式で含まれています。

   cloud-samples-data/documentai/Custom/Patents/JSON/Classification-InventionType
   

3. [データ分割] リストから [自動分割] を選択します。こうすることで、トレーニング セットが 80%、テストセットが 20% になるようにドキュメントが自動的に分割されます。[ラベルの適用] セクションは無視します。

4. [インポート] を選択します。 インポートの完了には数分かかることがあります。

インポートが終了すると、[データセットの管理] タブにドキュメントが表示されます。

インポート時にドキュメントに一括ラベルを付ける

スキーマを構成したら、インポート時に特定のディレクトリにあるすべてのドキュメントにラベルを付けることで、ラベル付けにかかる時間を節約することもできます。



1. [ドキュメントをインポート] を選択します。

2. [ソースパス] に次のパスを入力します。このバケットには、ラベル付けされていないドキュメントが PDF 形式で含まれています。

   cloud-samples-data/documentai/Custom/Patents/PDF-CDC-BatchLabel
   

3. [データ分割] リストから [自動分割] を選択します。これにより、トレーニング セットが 80%、テストセットが 20% になるようにドキュメントが自動的に分割されます。

4. [ラベルを適用] で、[ラベルを選択] を選択します。

5. これらのサンプル ドキュメントには other を選択します。

6. [インポート] を選択し、処理が完了するまで待ちます。このページを離れて、後で戻ってくることもできます。 完了すると、[データセットの管理] タブにラベルが適用されたドキュメントが表示されます。

プロセッサをトレーニングする

トレーニング データとテストデータがインポートされたので、プロセッサをトレーニングできるようになりました。 トレーニングには数時間かかる場合があるため、トレーニングを開始する前に、適切なデータとラベルがプロセッサに設定されていることを確認してください。

ラベル付きデータを使用して、ファイン チューニングされたモデルとカスタムモデルをトレーニングできます。ファインチューニングされたモデルは生成 AI を使用します。カスタムモデルは、ラベル付きデータを使用して独自の大規模言語モデルをトレーニングします。スキーマには少なくとも 2 つのラベルが必要です。ラベルでは、トレーニング ドキュメントとテスト ドキュメントをそれぞれ 10 個ずつ使用することをおすすめします（最小 1 個）。

1. [新しいバージョンのトレーニング] を選択します。



注: ファインチューニングでは、基盤モデルがチューニングされます。これは推奨される方法です。[カスタムモデルをトレーニング] を選択すると、生成 AI を使用しない従来のモデルがトレーニングされます。

1. [バージョン名] フィールドに、このプロセッサ バージョンの名前（my-cdc-version-1 など）を入力します。

2. 省略可: [ラベルの統計データを表示] を選択して、カバレッジの判断に役立つ、ドキュメント ラベルに関する情報を確認します。[閉じる] を選択してトレーニングの設定に戻ります。

3. [トレーニングを開始] を選択します。ステータスはサイドパネルで確認できます。

プロセッサ バージョンをデプロイする

1. トレーニングが完了したら、[バージョンの管理] タブに移動します。トレーニングしたバージョンの詳細を表示できます。

2. デプロイするバージョンの横にある を選択し、[バージョンをデプロイ] を選択します。

3. ダイアログ ウィンドウから [デプロイ] を選択します。

   デプロイが完了するまで数分かかります。

プロセッサの評価とテストを行う

1. デプロイが完了したら、[評価とテスト] タブに移動します。

   このページでは、ドキュメント全体の F1 スコア、ドキュメント全体の適合率と再現率、個々のラベルなどの評価指標を表示できます。 評価と統計情報について詳しくは、プロセッサを評価するをご覧ください。

2. プロセッサのバージョンを評価するために使用できるように、これまでトレーニングやテストに関与していないドキュメントをダウンロードします。独自のデータを使用している場合は、この目的のために用意されたドキュメントを使用します。

   PDF をダウンロード

3. [テスト ドキュメントをアップロード] を選択し、ダウンロードしたドキュメントを選択します。

   [カスタム ドキュメント分類器の分析] ページが開きます。出力に、ドキュメントがどの程度適切に分類されたかが表示されます。

   別のテストセットまたは別のプロセッサ バージョンで評価を再実行することもできます。

新しくインポートしたドキュメントに自動的にラベルを付ける

トレーニング済みのプロセッサ バージョンをデプロイした後、自動ラベル付けを使用すると、新しいドキュメントをインポートしたときのラベル付けの時間を短縮できます。

1. [データセットの管理] ページで、[ドキュメントをインポート] をクリックします。

2. 次の Cloud Storage パスをコピーして貼り付けます。このディレクトリには、ラベルのない特許の PDF が 5 つ含まれています。[データ分割] プルダウン リストから [トレーニング] を選択します。

   cloud-samples-data/documentai/Custom/Patents/PDF-CDC-AutoLabel
   

3. [ラベルを適用] セクションで、[自動ラベル付け] を選択します。

4. ドキュメントのラベル付けを行う既存のプロセッサ バージョンを選択します。

   • 例: 2af620b2fd4d1fcf

5. [インポート] を選択し、処理が完了するまで待ちます。このページを離れて、後で戻ってくることもできます。 完了すると、[データセットの管理] ページの [自動的にラベル付け] セクションにドキュメントが表示されます。

6. ラベル付きとマークしないと、自動的にラベル付けされたドキュメントをトレーニングやテストで使用できません。[自動的にラベル付け] セクションに移動して、自動的にラベル付けされたドキュメントを表示します。

7. 最初のドキュメントを選択して、ラベル付けのコンソールを開きます。

8. ラベルを検証して正しいことを確認します。正しくない場合は調整します。

9. 完了したら、[ラベル付きとしてマーク] を選択します。

10. 自動的にラベル付けされたドキュメントごとにラベルの確認を繰り返します。その後、[データセットの管理] ページに戻り、トレーニング用のデータを割り当てます。

プロセッサを使用する

カスタム トレーニング済みのプロセッサ バージョンは、他のプロセッサ バージョンと同様に管理できます。詳細については、プロセッサ バージョンの管理をご覧ください。

カスタム プロセッサに処理リクエストを送信することもできます。また、レスポンスは他の分類器プロセッサと同じ方法で処理できます。

クリーンアップ

このページで使用したリソースについて、 Google Cloud アカウントに課金されないようにするには、次の手順を実施します。

1. Google Cloud コンソールのナビゲーション メニューで、[Document AI]、[マイプロセッサ] の順に選択します。

2. 削除するプロセッサと同じ行にある [その他の操作] を選択します。

3. [プロセッサを削除] を選択し、プロセッサ名を入力して、もう一度 [削除] を選択して確定します。

次のステップ

• 詳しくは、ガイドをご覧ください。
• プロセッサ リストを確認します。
• レイアウト パーサーを使用してドキュメントを読み取り可能なチャンクに分割します。
• Enterprise Document OCR を使用して、テキストを検出して抽出します。