審核文字

文字管理功能會根據安全屬性清單分析文件,該清單涵蓋多種「有害類別」和可能較敏感的主題。如要審核文件中的文字,請呼叫 moderateText 方法。

以下完整列出 moderateText 方法傳回的類別:

安全性屬性 說明
惡意言論 內容粗魯、不尊重他人或不合理。
貶抑用語 針對特定身分和/或受保護特質發表負面或有害言論
暴力內容 描述對個人或群體施暴的情節,或一般血腥情節。
色情內容 提及性行為或其他猥褻情事的內容。
侮辱內容 針對個人或群體發布侮辱、煽動或負面評論。
不雅用語 淫穢或粗俗用語,例如咒罵。
死亡、傷害和不幸事件 死亡、悲劇、意外、災難和自傷。
槍支與武器 內容提及刀、槍、個人武器,以及彈藥、槍套等配件
公共安全 提供救災服務和確保公共安全的機構。
健康 人類健康,包括: 健康狀況、疾病和失調 醫療療法、藥物、疫苗、醫療實務,以及 康復資源,包括互助團體。
宗教與信仰 信仰系統,涉及超自然法則和生物的可能性;宗教、信仰、信念、靈性實踐、教堂和禮拜場所。包括占星術和神秘學。
違法藥物 消遣性和非法藥物;吸毒用具和毒品栽種、毒品專賣店等。包括通常用於消遣的藥物 (例如大麻) 的醫療用途。
戰爭與衝突 戰爭、軍事衝突和涉及大量人員的重大肢體衝突。包括討論軍事服務,即使與戰爭或衝突沒有直接關聯也一樣。
金融 消費者和企業金融服務,例如銀行、貸款、信貸、投資和保險。
政治 政治新聞與媒體;社會、政府和公共政策的討論。
法律 法律相關內容,包括律師事務所、法律資訊、主要法律材料、法律助理服務、法律出版品和技術、專家證人、訴訟顧問和其他法律服務供應商。

安全性屬性可信度分數

每個安全屬性都會對應至 0.00 和 1.00 之間的信心分數,也就是輸入內容或回覆屬於該類別的可能性。

回應範例

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

測試信心門檻

您可以測試 Google 的安全篩選器,並根據自家業務定義信心門檻。透過設定這些門檻,您可以採取全面措施,偵測違反 Google 使用政策或服務條款的內容,並採取適當行動。

可信度分數只是預測值,您不應依賴分數來判斷可靠性或準確性。Google 不負責解讀或使用這些分數來做為業務決策。

機率和嚴重程度的差異

信心分數代表內容屬於指定類別,而非嚴重程度。這點很重要,因為某些內容雖然可能造成嚴重傷害,但不一定會違反政策。例如,比較以下句子:

  1. 機器人打了我。
  2. 機器人把我劃傷了。

句子 1 可能會導致不安全的機率較高,但您可能會認為句子 2 在暴力方面屬於較嚴重的情況。

因此,請務必仔細測試並考量適當的封鎖層級,以便在保護使用者安全的同時,確保您的用途不受影響。

支援的語言

語言 ISO-639-1 支援
英文 es
西班牙文 es
葡萄牙文 pt
法文 fr
義大利文 it
德文 de
中文 zh
日文 ja
韓文 ko
荷蘭文 nl 有限
俄文 ru 有限
北印度文 有限
印尼文 id 有限
阿拉伯文 ar 有限

如何管理文字

本節將說明如何審核文件中的文字。請為每份文件分別提交要求。

以下是管理以字串形式提供的文字的範例:

通訊協定

如要管理文件內容,請向 documents:moderateText REST 方法發出 POST 要求,並提供適當的要求主體,如同下列範例所示。

範例中使用的 gcloud auth application-default print-access-token 指令,可取得使用 Google Cloud Platform gcloud CLI 為專案設定的服務帳戶存取權杖。如需安裝 gcloud CLI、使用服務帳戶建立專案的操作說明,請參閱快速入門

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

管理 Cloud Storage 中的文字

以下是管理儲存在 Cloud Storage 文字檔案中的文字的範例:

通訊協定

如要管理 Cloud Storage 中儲存文件的文字,請向 documents:moderateText REST 方法發出 POST 要求,並提供適當的要求主體及文件路徑,如同下列範例所示。

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"