文字管理功能會根據安全屬性清單分析文件,該清單涵蓋多種「有害類別」和可能較敏感的主題。如要審查文件中的文字,請呼叫 moderateText
方法。
如要查看 moderateText
方法傳回的完整類別清單,請按一下這裡:
安全屬性 | 說明 |
---|---|
惡意言論 | 粗魯、不敬或不合理的內容。 |
貶抑用語 | 針對特定身分和/或受保護特質發表負面或有害言論。 |
暴力內容 | 描述對個人或群體施暴的場景,或一般描述血腥內容。 |
色情內容 | 提及性行為或其他猥褻情事的內容。 |
侮辱內容 | 侮辱、煽動或負面評論特定人士或群體。 |
不雅用語 | 淫穢或粗俗用語,例如咒罵。 |
死亡、傷害和不幸事件 | 人類死亡、悲劇、事故、災難和自殘。 |
槍支與武器 | 提及刀械、槍枝、個人武器和配件 (例如彈藥、槍套等) 的內容。 |
公共安全 | 提供救濟服務和確保公共安全的服務與機構。 |
健康 | 人類健康,包括: 健康狀況、疾病和障礙 醫療療法、藥物、疫苗接種、醫療實務,以及 療癒資源,包括互助團體。 |
宗教與信仰 | 處理超自然法則和存在可能性的信仰體系;宗教、信仰、信念、靈修、教堂和禮拜場所。包括占星術和神祕學。 |
違法藥物 | 消遣性藥物和非法藥物、吸毒用具和毒品栽種、販售吸毒用具的商店等。包括一般用於消遣的藥物 (例如大麻) 的醫療用途。 |
戰爭與衝突 | 戰爭、軍事衝突,以及涉及大量人員的重大肢體衝突。包括討論軍事服務,即使與戰爭或衝突沒有直接關係。 |
金融 | 消費者和企業金融服務,例如銀行業務、貸款、信用、投資和保險。 |
政治 | 政治新聞與媒體;社會、政府和公共政策的討論。 |
法律 | 法律相關內容,包括律師事務所、法律資訊、主要法律資料、法律助理服務、法律出版品和技術、專家證人、訴訟顧問和其他法律服務供應商。 |
安全屬性可信度分數
每個安全屬性都會對應至 0.00 和 1.00 之間的信心分數,也就是輸入內容或回覆屬於該類別的可能性。
回覆範例
{
"moderationCategories": [
{
"name": "Toxic",
"confidence": 0.10
},
{
"name": "Insult",
"confidence": 0.12
},
{
"name": "Profanity",
"confidence": 0.07
},
{
"name": "Derogatory",
"confidence": 0.04
},
{
"name": "Sexual",
"confidence": 0.00
},
{
"name": "Death, Harm & Tragedy",
"confidence": 0.00
},
{
"name": "Violent",
"confidence": 0.00
},
{
"name": "Firearms & Weapons",
"confidence": 0.00
},
{
"name": "Public Safety",
"confidence": 0.01
},
{
"name": "Health",
"confidence": 0.01
},
{
"name": "Religion & Belief",
"confidence": 0.00
},
{
"name": "Illicit Drugs",
"confidence": 0.01
},
{
"name": "War & Conflict",
"confidence": 0.02
},
{
"name": "Politics",
"confidence": 0.01
},
{
"name": "Finance",
"confidence": 0.00
},
{
"name": "Legal",
"confidence": 0.00
}
]
}
測試可信度門檻
您可以測試 Google 的安全篩選器,並根據自家業務定義合適的信心門檻。您可以使用這些門檻,全面偵測違反 Google 使用政策或服務條款的內容,並採取適當行動。
可信度分數僅為預測結果,請勿依據分數判斷可靠性或準確度。Google 不負責解讀或使用這些分數來制定業務決策。
機率與嚴重程度的差異
信心分數代表內容屬於指定類別,而非嚴重程度。請務必考量這點,因為即使某些內容造成嚴重危害的機率不高,舉例來說,比較以下句子:
- 機器人打了我。
- 機器人把我砍傷了。
第 1 句可能較容易出現不安全內容,但就暴力程度而言,您可能會認為第 2 句較為嚴重。
因此,請務必仔細測試並考量適合您用途的適當封鎖層級,同時盡量減少對使用者的傷害。
支援的語言
語言 | ISO-639-1 | 支援 |
---|---|---|
英文 | es | 是 |
西班牙文 | es | 是 |
葡萄牙文 | pt | 是 |
法文 | fr | 是 |
義大利文 | it | 是 |
德文 | de | 是 |
中文 | zh | 是 |
日文 | ja | 是 |
韓文 | ko | 是 |
荷蘭文 | nl | 有限 |
俄文 | ru | 有限 |
北印度文 | 嗨 | 有限 |
印尼文 | id | 有限 |
阿拉伯文 | ar | 有限 |
如何管理文字
本節說明如何審查文件中的文字。請分別提交各個文件的要求。
以下是管理以字串形式提供的文字範例:
通訊協定
如要管理文件內容,可向 documents:moderateText
REST 方法傳送 POST
要求,並提供適當的要求主體,如下列範例所示。
範例中使用的 gcloud auth application-default print-access-token
指令,會取得使用 Google Cloud Platform gcloud CLI 建立的專案服務帳戶存取權杖。如需安裝 gcloud CLI、使用服務帳戶建立專案的操作說明,請參閱快速入門導覽課程。
curl -X POST \ -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \ -H "Content-Type: application/json; charset=utf-8" \ --data "{ 'document':{ 'type':'PLAIN_TEXT', 'content':'Shut up!' } }" "https://language.googleapis.com/v1/documents:moderateText"
管理 Cloud Storage 中的文字
以下範例說明如何管理儲存在 Cloud Storage 文字檔案中的文字:
通訊協定
POST 要求,並提供適當的要求主體及文件路徑,如同下列範例所示。POST
documents:moderateText
curl -X POST \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ https://language.googleapis.com/v1/documents:moderateText -d "{ 'document':{ 'type':'PLAIN_TEXT', 'gcsContentUri':'gs://<bucket-name>/<object-name>' } }"