テキストを管理する

テキストの管理では、「有害なカテゴリ」や機密情報とみなされるトピックなど、安全性属性のリストに基づいてドキュメントが分析されます。ドキュメント内のテキストを管理するには、moderateText メソッドを呼び出します。

moderateText メソッドに対して返されるコンテンツ カテゴリの完全なリストについては、こちらをご覧ください。

安全性属性 説明
有害 粗暴、無礼、または理不尽なコンテンツ。
中傷 ID や保護されている属性をターゲットとする否定的なコメントや有害なコメント。
暴力的なコンテンツ 個人やグループに対する暴力を描写したシナリオ、または残虐行為の一般的な説明についての記述。
性的 性行為やわいせつな内容に関する情報が含まれるコンテンツ。
侮辱 個人またはグループに対する不快、挑発的、または否定的なコメント。
冒とく 呪いなどの非常識または乱暴な言葉。
死、害、悲劇 人の死、悲劇、事故、災害、自傷行為。
銃、武器 ナイフ、銃、個人用武器、および弾薬、ホルスターなどのアクセサリーについて言及するコンテンツ。
公共の安全 安心感を与え、公共の安全を維持するサービスや組織。
健康 人間の健康（健康状態、病気、障害を含む）、医学的治療、投薬、ワクチン、医療慣行、回復のためのリソース（サポート グループを含む）。
宗教、信仰 超自然的な法則や存在の可能性を扱う信条システム。宗教、信条、信仰、精神修行、教会、宗教施設。占星術や神秘学を含む。
違法ドラッグ 危険ドラッグと違法な薬物。麻薬道具、麻薬栽培、麻薬吸引関係の道具などを扱っている店など。一般的に娯楽として使用される薬物（例: マリファナ）の薬事使用を含む。
戦争、紛争 戦争、軍事衝突、多数の人が関与する大規模な物理的衝突。戦争や紛争と直接関係ない場合でも、軍務に関する議論を含む。
ファイナンス 消費者および企業向け金融サービス（銀行、ローン、クレジット、投資、保険など）。
政治 政治関連のニュースとメディア。地域や国の公共政策に関する議論。
リーガル 法律に関連するコンテンツ（法律事務所、法的情報、主要な法的資料、パラリーガル サービス、法律関連出版物とテクノロジー、鑑定人、訴訟コンサルタント、その他の法的サービス プロバイダなど）

安全性属性の信頼度スコア

各安全性属性には、特定のカテゴリに属する入力またはレスポンスの可能性を示す信頼度スコア（0.00～1.00）が関連付けられています。

レスポンスの例

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

信頼度のしきい値をテストする

Google の安全性フィルタをテストし、ビジネスに適した信頼度のしきい値を定義できます。これらのしきい値を使用することで、Google の利用ポリシーや利用規約に違反するコンテンツを検出し、適切な措置を取ることができます。

信頼度スコアは予測のみです。信頼性や精度に関してスコアに頼ることは避けてください。Google は、これらのスコアの解釈または使用をビジネス上の意思決定に使用することに対して責任を負いません。

確率と重大度の違い

信頼度スコアは、コンテンツが重大度ではなく、指定されたカテゴリに属していることを示します。コンテンツによっては、危害の重大度が高くても、安全でない確率が低くなるものもあるため、この点を考慮することが重要です。たとえば、次の文を比較します。

  1. ロボットが私をパンチした。
  2. ロボットが私を切り付けた。

安全でない確率は最初の文章の方が高くなりますが、2 つめの文章は暴力の観点で重大度が高いとみなすことができます。

したがって、エンドユーザーへの悪影響を最小限に抑えながら、ユースケースに対して適切なレベルでのブロックを慎重にテストし、検討することが重要です。

言語サポート

言語 ISO-639-1 サポート
英語 es ○
スペイン語 es ○
ポルトガル語 pt ○
フランス語 fr ○
イタリア語 it ○
ドイツ語 de ○
中国語 zh ○
日本語 ja ○
韓国語 ko ○
オランダ語 nl 制限付き
ロシア語 ru 制限付き
ヒンディー語 hi 制限付き
インドネシア語 id 制限付き
アラビア語 ar 制限付き

テキストを管理する方法

このセクションでは、ドキュメント内のテキストを管理する方法について説明します。ドキュメントごとに個別のリクエストを送信する必要があります。

次に、文字列として指定されたテキストを管理する例を示します。

プロトコル

ドキュメントに含まれるコンテンツを管理するには、documents:moderateText REST メソッドに対して POST リクエストを行います。リクエストには、次の例に示す適切なリクエスト本文を指定します。

この例では、Google Cloud Platform の gcloud CLI を使用してプロジェクト用に設定されたサービス アカウントのアクセス トークンを取得するために、gcloud auth application-default print-access-token コマンドを使用しています。gcloud CLI のインストールと、サービス アカウントを使用したプロジェクトの設定については、クイックスタートをご覧ください。

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

Cloud Storage のテキストを管理する

Cloud Storage 上のテキスト ファイルに保存されたテキストを管理する例を以下に示します。

プロトコル

Cloud Storage に保存されたドキュメントに含まれるテキストを管理するには、documents:moderateText REST メソッドに対して POST リクエストを行います。リクエスト本文には、次の例に示す適切なドキュメントへのパスを指定します。

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"