文字管理功能會根據安全屬性清單分析文件,該清單涵蓋多種「有害類別」和可能較敏感的主題。如要審核文件中的文字,請呼叫 moderateText
方法。
以下完整列出 moderateText
方法傳回的類別:
安全性屬性 | 說明 |
---|---|
惡意言論 | 內容粗魯、不尊重他人或不合理。 |
貶抑用語 | 針對特定身分和/或受保護特質發表負面或有害言論 |
暴力內容 | 描述對個人或群體施暴的情節,或一般血腥情節。 |
色情內容 | 提及性行為或其他猥褻情事的內容。 |
侮辱內容 | 針對個人或群體發布侮辱、煽動或負面評論。 |
不雅用語 | 淫穢或粗俗用語,例如咒罵。 |
死亡、傷害和不幸事件 | 死亡、悲劇、意外、災難和自傷。 |
槍支與武器 | 內容提及刀、槍、個人武器,以及彈藥、槍套等配件 |
公共安全 | 提供救災服務和確保公共安全的機構。 |
健康 | 人類健康,包括: 健康狀況、疾病和失調 醫療療法、藥物、疫苗、醫療實務,以及 康復資源,包括互助團體。 |
宗教與信仰 | 信仰系統,涉及超自然法則和生物的可能性;宗教、信仰、信念、靈性實踐、教堂和禮拜場所。包括占星術和神秘學。 |
違法藥物 | 消遣性和非法藥物;吸毒用具和毒品栽種、毒品專賣店等。包括通常用於消遣的藥物 (例如大麻) 的醫療用途。 |
戰爭與衝突 | 戰爭、軍事衝突和涉及大量人員的重大肢體衝突。包括討論軍事服務,即使與戰爭或衝突沒有直接關聯也一樣。 |
金融 | 消費者和企業金融服務,例如銀行、貸款、信貸、投資和保險。 |
政治 | 政治新聞與媒體;社會、政府和公共政策的討論。 |
法律 | 法律相關內容,包括律師事務所、法律資訊、主要法律材料、法律助理服務、法律出版品和技術、專家證人、訴訟顧問和其他法律服務供應商。 |
安全性屬性可信度分數
每個安全屬性都會對應至 0.00 和 1.00 之間的信心分數,也就是輸入內容或回覆屬於該類別的可能性。
回應範例
{
"moderationCategories": [
{
"name": "Toxic",
"confidence": 0.10
},
{
"name": "Insult",
"confidence": 0.12
},
{
"name": "Profanity",
"confidence": 0.07
},
{
"name": "Derogatory",
"confidence": 0.04
},
{
"name": "Sexual",
"confidence": 0.00
},
{
"name": "Death, Harm & Tragedy",
"confidence": 0.00
},
{
"name": "Violent",
"confidence": 0.00
},
{
"name": "Firearms & Weapons",
"confidence": 0.00
},
{
"name": "Public Safety",
"confidence": 0.01
},
{
"name": "Health",
"confidence": 0.01
},
{
"name": "Religion & Belief",
"confidence": 0.00
},
{
"name": "Illicit Drugs",
"confidence": 0.01
},
{
"name": "War & Conflict",
"confidence": 0.02
},
{
"name": "Politics",
"confidence": 0.01
},
{
"name": "Finance",
"confidence": 0.00
},
{
"name": "Legal",
"confidence": 0.00
}
]
}
測試信心門檻
您可以測試 Google 的安全篩選器,並根據自家業務定義信心門檻。透過設定這些門檻,您可以採取全面措施,偵測違反 Google 使用政策或服務條款的內容,並採取適當行動。
可信度分數只是預測值,您不應依賴分數來判斷可靠性或準確性。Google 不負責解讀或使用這些分數來做為業務決策。
機率和嚴重程度的差異
信心分數代表內容屬於指定類別,而非嚴重程度。這點很重要,因為某些內容雖然可能造成嚴重傷害,但不一定會違反政策。例如,比較以下句子:
- 機器人打了我。
- 機器人把我劃傷了。
句子 1 可能會導致不安全的機率較高,但您可能會認為句子 2 在暴力方面屬於較嚴重的情況。
因此,請務必仔細測試並考量適當的封鎖層級,以便在保護使用者安全的同時,確保您的用途不受影響。
支援的語言
語言 | ISO-639-1 | 支援 |
---|---|---|
英文 | es | 是 |
西班牙文 | es | 是 |
葡萄牙文 | pt | 是 |
法文 | fr | 是 |
義大利文 | it | 是 |
德文 | de | 是 |
中文 | zh | 是 |
日文 | ja | 是 |
韓文 | ko | 是 |
荷蘭文 | nl | 有限 |
俄文 | ru | 有限 |
北印度文 | 嗨 | 有限 |
印尼文 | id | 有限 |
阿拉伯文 | ar | 有限 |
如何管理文字
本節將說明如何審核文件中的文字。請為每份文件分別提交要求。
以下是管理以字串形式提供的文字的範例:
通訊協定
如要管理文件內容,請向 documents:moderateText
REST 方法發出 POST
要求,並提供適當的要求主體,如同下列範例所示。
範例中使用的 gcloud auth application-default print-access-token
指令,可取得使用 Google Cloud Platform gcloud CLI 為專案設定的服務帳戶存取權杖。如需安裝 gcloud CLI、使用服務帳戶建立專案的操作說明,請參閱快速入門。
curl -X POST \ -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \ -H "Content-Type: application/json; charset=utf-8" \ --data "{ 'document':{ 'type':'PLAIN_TEXT', 'content':'Shut up!' } }" "https://language.googleapis.com/v1/documents:moderateText"
管理 Cloud Storage 中的文字
以下是管理儲存在 Cloud Storage 文字檔案中的文字的範例:
通訊協定
如要管理 Cloud Storage 中儲存文件的文字,請向 documents:moderateText
REST 方法發出 POST
要求,並提供適當的要求主體及文件路徑,如同下列範例所示。
curl -X POST \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ https://language.googleapis.com/v1/documents:moderateText -d "{ 'document':{ 'type':'PLAIN_TEXT', 'gcsContentUri':'gs://<bucket-name>/<object-name>' } }"