この古いバージョンの AutoML Natural Language は非推奨となり、2024 年 3 月 15 日以降は Google Cloud で使用できなくなります。以前の AutoML Natural Language のすべての機能と新機能は、Vertex AI プラットフォームで使用可能です。リソースを移行する方法については、Vertex AI に移行するをご覧ください。

トレーニングデータの準備

カスタムモデルをトレーニングするには、分析するドキュメントの種類の代表的なサンプルを指定し、AutoML Natural Language への類似ドキュメントのラベリング指示と同じようにラベル付けします。トレーニングデータの品質は作成するモデルの有効性を大きく左右し、ひいてはそのモデルから返される予測の品質にも大きく影響します。

トレーニングドキュメントの収集とラベリング

まず、カスタムモデルで処理するドキュメントの範囲を反映した、さまざまなトレーニングドキュメントを収集します。ドキュメントのトレーニングの準備は、分類、エンティティ抽出、感情分析のどのモデルをトレーニングするかによって異なります。

分類

分類モデルの場合、トレーニングデータはドキュメントとそれに適用される分類カテゴリで構成されます。

ドキュメントカスタムモデルのトレーニングに使用するコンテンツを含むトレーニングドキュメントを 20～1,000,000 個用意する必要があります。使用できるドキュメントは、テキスト、PDF、または TIFF 形式です。ZIP ファイル形式に圧縮することもできます。
カテゴリのラベル。2 個以上、5,000 個以下の一意のラベルを指定する必要があります。各ラベルを 10 個以上のドキュメントに適用する必要があります。

高品質なトレーニングデータの提供

トレーニング用のデータには、予測を行うデータと同様に多様なものを使用します。さまざまな長さのドキュメント、異なるユーザーが作成したドキュメント、さまざまな言い回しやスタイルを使用したドキュメントなどを含めます。
人間が読んで容易に分類可能なドキュメントを使用します。一般的に、AutoML Natural Language モデルは、人間が割り当てることができないラベルを予測することはできません。そのため、ドキュメントを読んでラベルを割り当てるように人間をトレーニングすることができなければ、モデルもそのようにトレーニングすることはできません。
マルチラベル分類を使用する場合は、関連するすべてのラベルを各ドキュメントに適用します。たとえば、医薬品の詳細を提供するドキュメントにラベルを付ける場合、Dosage と Side Effects のラベルが必要です。ドキュメントに両方の種類の情報が含まれている場合は、必ず両方のラベルを適用してください。
1 ラベルあたり可能な限り多くのトレーニングドキュメントを用意することをおすすめします。ラベルあたりの最小ドキュメント数は 10 です。ただし、ラベルあたりの例を増やすことで、モデルの信頼スコアを上げることができます。より高い信頼スコアは、特に、モデルでドキュメントを分類して複数のラベルを返す場合に役立ちます。ラベルごとに 50 の例を使用してモデルをトレーニングし、結果を評価します。正確な目標を達成するまで、例を追加して再トレーニングします。これには、ラベルごとに数百または 1,000 個の例が必要になる場合があります。
モデルは、最も一般的なラベルのドキュメント数が、最も一般的ではないラベルのドキュメント数よりも、最大 100 倍存在する場合に最適に動作します。非常に低い頻度のラベルは削除することをおすすめします。
定義されたラベルのいずれとも一致しないドキュメントには、None_of_the_above ラベルを含めることを検討してください。たとえば、芸術やエンターテイメントに関するドキュメントにのみラベルを付けたものの、データセットにスポーツやテクノロジーなどの他のテーマに関するドキュメントが含まれている場合は、他のテーマに関するドキュメントに None_of_the_above というラベルを付けます。このようなラベルがない場合、トレーニング済みモデルは、不適切であってもすべてのドキュメントを定義されたラベルに割り当てようとします。None_of_the_above と意味は同じでも名前が異なるラベルを使用できます。
None_of_the_above コンテンツが多い場合、次のセクションをご覧ください。

「ドメイン外」ドキュメントの取り扱い

長期的な計画として、会社のドキュメントを種類別（請求書、ビジネス計画書、ポリシードキュメント、秘密保持契約書など）に分類するモデルをトレーニングするとします。ドキュメントの種類は数千種類にのぼりますが、テストでは 100 種類を定義するモデルをトレーニングすることから開始し、より包括的なモデルのトレーニングに進む計画を立てています。この初期段階では、分類に送信された最多ドキュメントが初期ラベルセットの「ドメイン外」になります。つまり、最初の 100 種類ではないドキュメントの種類です。最初の 100 個のラベルでトレーニングしたモデルをすべてのドキュメントに使用する場合、モデルは既存のラベルで「ドメイン外」ドキュメントの分類を試みるため、精度が低下します。

時間の経過とともにラベルセットが拡張するシナリオでは、最初の小さいラベルセットを使用して 2 つのモデルをトレーニングすることをおすすめします。

分類モデル: ドキュメントを現在のラベルセットに分類するモデル
フィルタリングモデル: ドキュメントが現在のラベルセットに収まるか「ドメイン外」かを予測するモデル

まず、各ドキュメントをフィルタリングモデルに送信し、「ドメイン内」のドキュメントのみを分類モデルに送信します。

上記の例では、分類モデルはドキュメントのタイプを識別し、フィルタリングモデルは、分類モデルがラベルを持つ 100 種類のドキュメントのいずれかに属するかどうかを 2 つの値で予測します。

フィルタリングモデルをトレーニングするには、分類モデルに使用したものと同じドキュメントセットを使用します。ただし、セットから特定のラベルを使用する代わりに、各ドキュメントを「ドメイン内」としてラベル付けします。現在のラベルセットが適切でないドキュメントを同数追加し、「ドメイン外」とラベル付けします。

エンティティの抽出

エンティティ抽出モデルをトレーニングするには、分析するコンテンツの種類の代表的なサンプルを指定し、AutoML Natural Language に識別させるエンティティの種類を識別するラベルでアノテーションを付けます。

カスタムモデルのトレーニングに使用するドキュメントは 50～100,000 個です。1～100 個の一意のラベルを使用して、モデルに抽出を学習させるエンティティにアノテーションを付けます。各アノテーションは、テキストの範囲と関連付けされたラベルです。ラベル名の文字数は 2～30 で、1～10 語のアノテーションを付けることができます。各ラベルはトレーニングデータセットで少なくとも 200 回使用することをおすすめします。

請求書や契約書などの構造または半構造化された文書の種類にアノテーションを付ける場合、AutoML Natural Language はアノテーションのページ上の位置を適切なラベルの要素の 1 つとみなすことができます。たとえば、不動産契約には同意日と履行日の両方がありますが、AutoML Natural Language はアノテーションの空間的位置に基づいてエンティティを区別できます。

トレーニングドキュメントのフォーマット

AutoML Natural Language にサンプルドキュメントを含む JSONL ファイルとしてトレーニングデータをアップロードします。ファイル内の各行は 1 つのトレーニングドキュメントで、次の 2 つの形式のいずれかで指定されます。

ドキュメントの完全な内容、10～10,000 バイト長（UTF-8 でエンコードされたもの）
プロジェクトに関連付けられた Cloud Storage バケットからの PDF または TIFF ファイルの URI

空間的位置は、PDF 形式のトレーニングドキュメントでのみ考慮されます。

テキストドキュメントにアノテーションを付ける方法には、次の 3 つがあります。

アップロードする前に、JSONL ファイルにアノテーションを直接追加する
アノテーションなしのドキュメントをアップロードした後に、AutoML Natural Language UI でアノテーションを追加する
AI Platform Data Labeling Service を使用して人間のラベル付け担当者に依頼する

ラベル付き JSONL ファイルをアップロードして UI で修正することで、最初の 2 つのオプションを併用できます。

PDF ファイルにアノテーションを付けるには、AutoML Natural Language UI のみ使用できます。

JSONL ドキュメント

JSONL トレーニングファイルを作成するため、AutoML Natural Language には書式なしテキストファイルを適切な形式の JSONL ファイルに変換する Python スクリプトが用意されています。詳細については、スクリプトのコメントを参照してください。

JSONL ファイルの各ドキュメントには、次のいずれかの形式があります。

JSONL ファイルでの各ドキュメントは、1 行でなければなりません。次の例では、読みやすくするため改行されています。JSONL ファイルでは改行を削除してください。詳細については、http://jsonlines.org/ をご覧ください。

アノテーションのないドキュメントの場合:

{
  "text_snippet":
    {"content": string}
}

アノテーション付きドキュメントの場合:

{
  "annotations": [
     {
      "text_extraction": {
         "text_segment": {
            "end_offset": number, "start_offset": number
          }
       },
       "display_name": string
     },
     {
       "text_extraction": {
          "text_segment": {
             "end_offset": number, "start_offset": number
           }
        },
        "display_name": string
     },
   ...
  ],
  "text_snippet":
    {"content": string}
}

各 text_extraction 要素が、text_snippet.content 内のアノテーションを識別します。text_snippet.content の始まりからアノテーション付きテキストの最初（start_offset）と最後（end_offset）までの文字数を指定することで、テキストの位置を示します。display_name はエンティティのラベルです。

start_offset と end_offset はどちらもバイトオフセットではなく文字オフセットです。end_offset の文字は、テキストセグメントに含まれません。詳しくは TextSegment をご覧くださいtext_extraction 要素はオプションです。AutoML Natural Language UI を使用してドキュメントにアノテーションを付ける場合は、省略できます。各アノテーションは最大 10 個のトークン（単語）をカバーできます。重複はできず、あるアノテーションの start_offset を、同じドキュメント内の異なるアノテーションの start_offset と end_offset の間に配置することはできません。

たとえば、この例のトレーニングドキュメントは、アブストラクトに記載されている特定の疾患を NCBI コーパスから特定します。

{
  "annotations": [
    {
      "text_extraction": {
        "text_segment": {
          "end_offset": 67,
          "start_offset": 62
        }
      },
      "display_name": "Modifier"
    },
    {
      "text_extraction": {
        "text_segment": {
          "end_offset": 158,
          "start_offset": 141
        }
      },
      "display_name": "SpecificDisease"
    },
    {
      "text_extraction": {
        "text_segment": {
          "end_offset": 330,
          "start_offset": 290
        }
      },
      "display_name": "SpecificDisease"
    },
    {
      "text_extraction": {
        "text_segment": {
          "end_offset": 337,
          "start_offset": 332
        }
      },
      "display_name": "SpecificDisease"
    },
    {
      "text_extraction": {
        "text_segment": {
          "end_offset": 627,
          "start_offset": 610
        }
      },
      "display_name": "Modifier"
    },
    {
      "text_extraction": {
        "text_segment": {
          "end_offset": 754,
          "start_offset": 749
        }
      },
      "display_name": "Modifier"
    },
    {
      "text_extraction": {
        "text_segment": {
          "end_offset": 875,
          "start_offset": 865
        }
      },
      "display_name": "Modifier"
    },
    {
      "text_extraction": {
        "text_segment": {
          "end_offset": 968,
          "start_offset": 951
        }
      },
      "display_name": "Modifier"
    },
    {
      "text_extraction": {
        "text_segment": {
          "end_offset": 1553,
          "start_offset": 1548
        }
      },
      "display_name": "Modifier"
    },
    {
      "text_extraction": {
        "text_segment": {
          "end_offset": 1652,
          "start_offset": 1606
        }
      },
      "display_name": "CompositeMention"
    },
    {
      "text_extraction": {
        "text_segment": {
          "end_offset": 1833,
          "start_offset": 1826
        }
      },
      "display_name": "DiseaseClass"
    },
    {
      "text_extraction": {
        "text_segment": {
          "end_offset": 1860,
          "start_offset": 1843
        }
      },
      "display_name": "SpecificDisease"
    },
    {
      "text_extraction": {
        "text_segment": {
          "end_offset": 1930,
          "start_offset": 1913
        }
      },
      "display_name": "SpecificDisease"
    },
    {
      "text_extraction": {
        "text_segment": {
          "end_offset": 2129,
          "start_offset": 2111
        }
      },
      "display_name": "SpecificDisease"
    },
    {
      "text_extraction": {
        "text_segment": {
          "end_offset": 2188,
          "start_offset": 2160
        }
      },
      "display_name": "SpecificDisease"
    },
    {
      "text_extraction": {
        "text_segment": {
          "end_offset": 2260,
          "start_offset": 2243
        }
      },
      "display_name": "Modifier"
    },
    {
      "text_extraction": {
        "text_segment": {
          "end_offset": 2356,
          "start_offset": 2339
        }
      },
      "display_name": "Modifier"
    }
  ],
  "text_snippet": {
    "content": "10051005\tA common MSH2 mutation in English and North American HNPCC families:
      origin, phenotypic expression, and sex specific differences in colorectal cancer .\tThe
      frequency , origin , and phenotypic expression of a germline MSH2 gene mutation previously
      identified in seven kindreds with hereditary non-polyposis cancer syndrome (HNPCC) was
      investigated . The mutation ( A-- > T at nt943 + 3 ) disrupts the 3 splice site of exon 5
      leading to the deletion of this exon from MSH2 mRNA and represents the only frequent MSH2
      mutation so far reported . Although this mutation was initially detected in four of 33
      colorectal cancer families analysed from eastern England , more extensive analysis has
      reduced the frequency to four of 52 ( 8 % ) English HNPCC kindreds analysed . In contrast ,
      the MSH2 mutation was identified in 10 of 20 ( 50 % ) separately identified colorectal
      families from Newfoundland . To investigate the origin of this mutation in colorectal cancer
      families from England ( n = 4 ) , Newfoundland ( n = 10 ) , and the United States ( n = 3 ) ,
      haplotype analysis using microsatellite markers linked to MSH2 was performed . Within the
      English and US families there was little evidence for a recent common origin of the MSH2
      splice site mutation in most families . In contrast , a common haplotype was identified
      at the two flanking markers ( CA5 and D2S288 ) in eight of the Newfoundland families .
      These findings suggested a founder effect within Newfoundland similar to that reported by
      others for two MLH1 mutations in Finnish HNPCC families . We calculated age related risks
      of all , colorectal , endometrial , and ovarian cancers in nt943 + 3 A-- > T MSH2 mutation
      carriers ( n = 76 ) for all patients and for men and women separately . For both sexes combined ,
      the penetrances at age 60 years for all cancers  and for colorectal cancer were 0 . 86 and 0 . 57 ,
      respectively . The risk of colorectal cancer was significantly higher ( p < 0.01 ) in males
      than females ( 0 . 63 v 0 . 30 and 0 . 84 v 0 . 44 at ages 50 and 60 years , respectively ) .
      For females there was a high risk of endometrial cancer ( 0 . 5 at age 60 years ) and premenopausal
      ovarian cancer ( 0 . 2 at 50 years ) . These intersex differences in colorectal cancer risks
      have implications for screening programmes and for attempts to identify colorectal cancer
      susceptibility modifiers .\n "
  }
}

JSONL ファイルには、この構造を持つ複数のトレーニングドキュメントをファイルの各行に 1 つずつ含めることができます。

PDF または TIFF ドキュメント

PDF または TIFF ファイルをドキュメントとしてアップロードするには、ファイルパスを JSONL document 要素内にラップします。

{
  "document": {
    "input_config": {
      "gcs_source": {
        "input_uris": [ "gs://cloud-ml-data/NL-entity/sample.pdf" ]
      }
    }
  }
}

input_uris 要素の値は、プロジェクトに関連付けられた Cloud Storage バケット内の PDF または TIFF ファイルへのパスです。PDF または TIFF ファイルの最大サイズは 2MB です。

感情分析

感情分析モデルをトレーニングするには、AutoML Natural Language で分析するコンテンツの種類の代表的なサンプルを指定し、コンテンツ内でどの程度ポジティブな感情かを示す値で各サンプルをラベル付けします。

感情スコアは、0（相対的にネガティブ）から選択した最大値（ポジティブ）までの整数です。たとえば、感情がネガティブか、ポジティブか、どちらともいえないかを識別するには、感情スコアを 0（ネガティブ）、1（どちらともいえない）、2（ポジティブ）とします。データセットの最大感情スコア（sentiment_max）は 2 です。5 段階の感情を使用して粒度を高くする場合でも、最もネガティブな感情を 0、最もポジティブな感情を 4 にしてドキュメントをラベル付けする必要があります。データセットの最大感情スコア（sentiment_max）は 4 です。

感情スコア値は 0 から始まる連続した整数でなければなりません。途中の整数が飛ばされている場合や 0 から始まらない場合は、0 から始まる連続した整数にスコアを再マッピングします。

最適な結果を得るには、トレーニングデータに、各感情スコアを含むドキュメント数をバランスよく設定します。特定の感情スコアのサンプルが多いと、モデルにバイアスが生じる可能性があります。感情値 1 つにつき少なくとも 100 個以上のドキュメントを指定することをおすすめします。

トレーニングドキュメントのインポート

ドキュメントのリスト（必要に応じてカテゴリラベルまたは感情値）を含む CSV ファイルを使用してトレーニングデータを AutoML Natural Language にインポートします。AutoML Natural Language は、リストされたドキュメントからデータセットを作成します。

トレーニングデータと評価データ

AutoML Natural Language は、トレーニングドキュメントをトレーニングセット、検証セット、テストセットの 3 つに分けて、モデルをトレーニングします。

AutoML Natural Language は、トレーニングセットを使用してモデルを構築します。モデルは、複数のアルゴリズムとパラメータを試行してトレーニングデータのパターンを検索します。パターンを識別すると、検証セットを使用してアルゴリズムとパターンをテストします。AutoML Natural Language は、トレーニングステージで特定されたものから、最適なアルゴリズムとパターンを選択します。

最適なアルゴリズムとパターンを識別すると、AutoML Natural Language はそれらをテストセットに適用して、エラー率、品質、精度をテストします。

デフォルトでは、AutoML Natural Language はトレーニングデータを 3 つのセットにランダムに分割します。

80% のドキュメントがトレーニングに使用されます。
10% のドキュメントが検証（ハイパーパラメータの調整と、トレーニングを停止するタイミングの決定）に使用されます。
テスト用に予約されるドキュメントは 10% です（トレーニング中は使用されません）。

トレーニングデータ内の各ドキュメントが属するセットを指定するには、次のセクションで説明するとおり、CSV ファイル内でドキュメントを明示的にセットに割り当てられます。

インポート CSV ファイルの作成

すべてのトレーニングドキュメントを収集したら、すべてのドキュメントをリストする CSV ファイルを作成します。CSV ファイルのファイル名に決まりはありませんが、ファイルは UTF-8 でエンコードする必要があり、拡張子は必ず .csv とします。このファイルは、プロジェクトに関連付けられた Cloud Storage バケットに保存する必要があります。

CSV ファイルには、トレーニングドキュメントごとに 1 つの行があり、各行には次の列があります。

この行内のコンテンツを割り当てるセット。この列は、オプションで、次の値のいずれかを指定できます。
- TRAIN - document を使用してモデルをトレーニングします。
- VALIDATION - document を使用して、トレーニング中にモデルが返す結果を検証します。
- TEST - document を使用して、モデルのトレーニング後にモデルの結果を検証します。
この列に値を指定してセットを指定する場合は、各カテゴリのデータの 5% 以上を特定することをおすすめします。トレーニング、検証、テストに 5% 未満のデータしか使用しなかった場合は、予期しない結果と効果のないモデルが生成される可能性があります。

注: トレーニングセット、検証セット、テストセットに明示的にドキュメントを割り当てる場合は、すべてのドキュメントを明示的に割り当てる必要があります。AutoML Natural Language は、セットに明示的に割り当てられていないドキュメントのみを自動的に割り当てます。
この列に値を指定しない場合は、各行をカンマで開始して、最初の列を空であると指定します。AutoML Natural Language ではドキュメントを 3 つのセットに分け、おおよそ、データの 80% がトレーニングに、10% が検証に、10% がテストに使用されます（検証とテストに使用されるペアは最大 10,000 です）。
分類するコンテンツ。この列には、ドキュメントの Cloud Storage URI が含まれています。Cloud Storage URI では大文字と小文字が区別されます。

分類と感情分析の場合、ドキュメントはテキストファイル、PDF ファイル、TIFF ファイル、または ZIP ファイルです。エンティティ抽出の場合は、JSONL ファイルです。

分類と感情分析の場合、この列の値は Cloud Storage の URI ではなく、引用符で囲んだインラインテキストです。
分類データセットの場合、ドキュメントを分類する方法を特定するラベルのカンマ区切りリストをオプションで指定できます。ラベルは文字で始まり、文字、数字、アンダースコア以外を含まないようにする必要があります。ドキュメントごとに最大 20 個のラベルを含めることができます。

感情分析データセットの場合、コンテンツの感情値を示す整数をオプションで指定できます。感情値の範囲は 0（最もネガティブ）、最大値は 10（最もポジティブ）です。

注: 分類または感情分析のデータセットには、複数のドキュメントを含む ZIP ファイル内でラベルを指定することもできます。次のインポート ZIP ファイルの作成をご覧ください。

たとえば、マルチラベル分類データセットの CSV ファイルには、次のようなものがあります。

TRAIN, gs://my-project-lcm/training-data/file1.txt,Sports,Basketball
VALIDATION, gs://my-project-lcm/training-data/ubuntu.zip,Computers,Software,Operating_Systems,Linux,Ubuntu
TRAIN, gs://news/documents/file2.txt,Sports,Baseball
TEST, "Miles Davis was an American jazz trumpeter, bandleader, and composer.",Arts_Entertainment,Music,Jazz
TRAIN,gs://my-project-lcm/training-data/astros.txt,Sports,Baseball
VALIDATION,gs://my-project-lcm/training-data/mariners.txt,Sports,Baseball
TEST,gs://my-project-lcm/training-data/cubs.txt,Sports,Baseball

.csv の一般的なエラー

ラベルに Unicode 文字を使用する。たとえば、日本語の文字はサポートされていません。
ラベルにスペースと英数字以外の文字を使用する。
空の行。
空の列（2 つの連続するカンマを含む行）。
カンマを含む埋め込みテキストが引用符で囲まれていない。
Cloud Storage パスの大文字と小文字が正しくない。
ドキュメントに不適切なアクセス制御が構成されている。サービスアカウントに読み取り以上のアクセス権があるか、ファイルが一般公開されている必要があります。
テキスト以外のファイル（JPEG ファイルなど）を参照している。同様に、テキストファイルでないファイルがテキストの拡張子を使用して名前変更されている場合も、エラーが発生します。
ドキュメントの URI が現在のプロジェクトとは異なるバケットを指定している。プロジェクトバケット内のテキストにのみアクセスできます。
CSV 以外の形式のファイル。

インポート ZIP ファイルの作成

分類データセットの場合、ZIP ファイルを使用してトレーニングドキュメントをインポートできます。ZIP ファイル内にラベルや感情値ごとにフォルダを 1 つ作成し、ラベルまたは値に対応するフォルダ内に各ドキュメントを保存して、ドキュメントに適用します。たとえば、ビジネス文書を分類するモデルの ZIP ファイルの構造は次のようになります。

correspondence.zip
    transactional
        letter1.pdf
        letter2.pdf
        letter5.pdf
    persuasive
        letter3.pdf
        letter7.pdf
        letter8.pdf
    informational
        letter6.pdf
    instructional
        letter4.pdf
        letter9.pdf

AutoML Natural Language は、フォルダ名をフォルダのドキュメントにラベルとして適用します。感情分析データセットの場合、フォルダ名は感情値です。

sentiment.zip
    0
        document4.txt
    1
        document3.txt
        document1.txt
        document5.txt
    2
        document2.txt
        document6.txt
        document8.txt
        document9.txt
    3
        document7.txt

次のステップ

データをインポートしてデータセットを作成する。