審核文字

文字管理功能會根據安全屬性清單分析文件,該清單涵蓋多種「有害類別」和可能較敏感的主題。如要審查文件中的文字,請呼叫 moderateText 方法。

如要查看 moderateText 方法傳回的完整類別清單,請按一下這裡:

安全屬性 說明
惡意言論 粗魯、不敬或不合理的內容。
貶抑用語 針對特定身分和/或受保護特質發表負面或有害言論。
暴力內容 描述對個人或群體施暴的場景,或一般描述血腥內容。
色情內容 提及性行為或其他猥褻情事的內容。
侮辱內容 侮辱、煽動或負面評論特定人士或群體。
不雅用語 淫穢或粗俗用語,例如咒罵。
死亡、傷害和不幸事件 人類死亡、悲劇、事故、災難和自殘。
槍支與武器 提及刀械、槍枝、個人武器和配件 (例如彈藥、槍套等) 的內容。
公共安全 提供救濟服務和確保公共安全的服務與機構。
健康 人類健康,包括: 健康狀況、疾病和障礙 醫療療法、藥物、疫苗接種、醫療實務,以及 療癒資源,包括互助團體。
宗教與信仰 處理超自然法則和存在可能性的信仰體系;宗教、信仰、信念、靈修、教堂和禮拜場所。包括占星術和神祕學。
違法藥物 消遣性藥物和非法藥物、吸毒用具和毒品栽種、販售吸毒用具的商店等。包括一般用於消遣的藥物 (例如大麻) 的醫療用途。
戰爭與衝突 戰爭、軍事衝突,以及涉及大量人員的重大肢體衝突。包括討論軍事服務,即使與戰爭或衝突沒有直接關係。
金融 消費者和企業金融服務,例如銀行業務、貸款、信用、投資和保險。
政治 政治新聞與媒體;社會、政府和公共政策的討論。
法律 法律相關內容,包括律師事務所、法律資訊、主要法律資料、法律助理服務、法律出版品和技術、專家證人、訴訟顧問和其他法律服務供應商。

安全屬性可信度分數

每個安全屬性都會對應至 0.00 和 1.00 之間的信心分數,也就是輸入內容或回覆屬於該類別的可能性。

回覆範例

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

測試可信度門檻

您可以測試 Google 的安全篩選器,並根據自家業務定義合適的信心門檻。您可以使用這些門檻,全面偵測違反 Google 使用政策或服務條款的內容,並採取適當行動。

可信度分數僅為預測結果,請勿依據分數判斷可靠性或準確度。Google 不負責解讀或使用這些分數來制定業務決策。

機率與嚴重程度的差異

信心分數代表內容屬於指定類別,而非嚴重程度。請務必考量這點,因為即使某些內容造成嚴重危害的機率不高,舉例來說,比較以下句子:

  1. 機器人打了我。
  2. 機器人把我砍傷了。

第 1 句可能較容易出現不安全內容,但就暴力程度而言,您可能會認為第 2 句較為嚴重。

因此,請務必仔細測試並考量適合您用途的適當封鎖層級,同時盡量減少對使用者的傷害。

支援的語言

語言 ISO-639-1 支援
英文 es
西班牙文 es
葡萄牙文 pt
法文 fr
義大利文 it
德文 de
中文 zh
日文 ja
韓文 ko
荷蘭文 nl 有限
俄文 ru 有限
北印度文 有限
印尼文 id 有限
阿拉伯文 ar 有限

如何管理文字

本節說明如何審查文件中的文字。請分別提交各個文件的要求。

以下是管理以字串形式提供的文字範例:

通訊協定

如要管理文件內容,可向 documents:moderateText REST 方法傳送 POST 要求,並提供適當的要求主體,如下列範例所示。

範例中使用的 gcloud auth application-default print-access-token 指令,會取得使用 Google Cloud Platform gcloud CLI 建立的專案服務帳戶存取權杖。如需安裝 gcloud CLI、使用服務帳戶建立專案的操作說明,請參閱快速入門導覽課程

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

管理 Cloud Storage 中的文字

以下範例說明如何管理儲存在 Cloud Storage 文字檔案中的文字:

通訊協定

POST 要求,並提供適當的要求主體及文件路徑,如同下列範例所示。POSTdocuments:moderateText

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"